याहू आईआईटी बॉम्बे को हडोप क्लस्टर लैब सेट अप करने में मदद करता है

याहू ने इंडियन इंस्टीट्यूट ऑफ टेक्नोलॉजी बॉम्बे को ओपन-सोर्स हैडोप सॉफ्टवेयर चलाने वाले सर्वरों का समूह दान करके मुंबई में एक हडोप क्लस्टर प्रयोगशाला स्थापित करने में मदद की है।

अपाचे हैडोप एक ओपन-सोर्स वितरित-कंप्यूटिंग प्रोजेक्ट है अपाचे सॉफ़्टवेयर फाउंडेशन जो याहू का समर्थन करता है।

याहू हडोप का उपयोग करके अपने महत्वपूर्ण परिचालनों की एक बड़ी संख्या चलाता है, और यह कंपनी के भीतर हडोप के आसपास आवश्यक सभी शोध नहीं कर सकता है, याहू लैब्स के वरिष्ठ उपाध्यक्ष और प्रमुख प्रभाकर राघवन ने कहा, गुरुवार को एक टेलीफोन साक्षात्कार।

याहू ने पिछले साल जून में हडोप के अपने वितरण की घोषणा की, अपाचे हैडोप समुदाय से ब्याज का हवाला देते हुए कहा कि यह हडोप के संस्करण को प्रकाशित करता है और यह अपने स्वयं के बड़े समूहों पर परीक्षण करता है और तैनात करता है।

क्लस्टर एम में प्रयोगशाला मुंबई अनुसंधान और रैंकिंग तकनीकों, सूचना निष्कर्षण और प्राकृतिक भाषा प्रसंस्करण जैसे संस्थान अध्ययन क्षेत्रों में शोधकर्ताओं की सहायता करेगा।

वेब-संबंधित मुद्दों पर शोध करने के इच्छुक अकादमिक शोधकर्ता आम तौर पर गणना संसाधनों और टेराबाइट तक पहुंच प्राप्त नहीं कर पाए हैं राघवन ने कहा, "वेब-स्केल समस्याओं" में अनुसंधान के लिए आवश्यक डेटा।

2007 में 4,000 प्रोसेसर सुपरकंप्यूटर के साथ कार्नेगी मेलॉन विश्वविद्यालय में हडोप शोधकर्ताओं को उपलब्ध कराने के साथ, याहू ने अमेरिका में अन्य विश्वविद्यालयों को हडोप स्थापित करने में मदद की है क्लस्टर, उन्होंने कहा।

राघवन ने आईआईटी में स्थापित क्लस्टर पर अधिक जानकारी नहीं दी, केवल यह कहकर कि सैकड़ों सीपीयू वाले सर्वर और टेराबाइट डेटा को संभालने की क्षमता वहां तैनात की गई है।

आईआईटी बॉम्बे, याहू के अलावा राघवन ने कहा कि जर्मनी और सिंगापुर में अकादमिक संस्थानों में समान क्लस्टर स्थापित करने में मदद कर रहा है। ये यू.एस. के बाहर पहले तीन अकादमिक संस्थान हैं जहां याहू ऐसे क्लस्टर स्थापित करने में मदद कर रहा है।

याहू बाद में "बड़ी उपयोगिता" बनाने के लिए दुनिया भर के कुछ समूहों को नेटवर्क करने की योजना बना रहा है। इससे पहले, एक संस्थान में किसी अन्य संस्थान में काम को दुर्घटनाग्रस्त करने के लिए हडोप की सिस्टम प्रशासन क्षमताओं को मजबूत किया जाना चाहिए।

याहू ने 2008 में कम्प्यूटेशनल रिसर्च लेबोरेटरीज (सीआरएल) के साथ मिलकर काम किया, जो कि भारत की एक प्रयोगशाला है। टाटा समूह, भारत में अकादमिक संस्थानों के लिए सुपरकंप्यूटिंग सुविधाओं की पेशकश करने के लिए जो बड़े पैमाने पर कंप्यूटिंग का शोध कर रहे हैं, खासकर हडोप के आसपास। राघवन के अनुसार, यह सहयोग जारी है, लेकिन उच्च प्रदर्शन सुपरकंप्यूटिंग पर केंद्रित है।

हडोप पर अकादमिक संस्थानों के साथ साझेदारी याहू को हडोप मंच से परिचित इंजीनियरों का एक पूल बनाने में मदद करता है, राघवन के अनुसार। राघवन ने कहा कि उनमें से कुछ को याहू ने भी किराए पर लिया है।

याहू ने उन विचारों से भी लाभान्वित किया है जो अकादमी संस्थानों से हडोप का उपयोग करके शोध कर रहे हैं। उन्होंने अकादमिक संस्थानों के साथ इस सहयोग से उठाए गए विचारों के विशिष्ट उदाहरण नहीं दिए।