Google Bot क्या है और कैसे काम करता है?

अगर आपकी अपनी वेबसाइट या कोई ब्लॉग है। तो आपने गूगल बॉट का नाम जरूर सुना होगा। इस पोस्ट में मैं आसान भाषा में आपको google Bot के बारे में बताने जा रहा हूँ। । Google Bot क्या है और कैसे काम करता है?

जब भी आप GoogleBot के बारे में सोचते हैं, तो आपका दिमाग यह सुझाव देता है कि यह Google World के सभी कोनों में चला जाए और ज्ञान इकट्ठा कर ले।

लोगों के लिए, यह विश्वास करना कठिन है कि GoogleBot अभी भी एक कंप्यूटर प्रोग्राम है जो वेब पेज को क्रॉल करता है और इंडेक्स करता है।

जब भी मैं Googlebot के बारे में सोचता हूं, मुझे एक प्यारा सा ,स्मार्ट रोबोट दिखाई देता है। जो हमेशा अज्ञात दुनिया के सभी कोनों में ज्ञान को खोजने और अनुक्रमित करने के लिए खोज पर तेजी से बढ़ रहा है।

यह याद दिलाना थोड़ा निराशाजनक है कि Googlebot Google द्वारा लिखा गया ‘केवल’ एक कंप्यूटर प्रोग्राम है जो वेब को क्रॉल करता है और वेब पेज को इंडेक्स करता है। यहाँ, मैं आपको क्रॉलर से मिलवाता हूँ और आपको दिखाता हूँ कि यह क्या करता है।

Googlebot? Web crawler? Spider? क्या है?

Googlebot Web crawler और Spider इन शब्दों का मतलब एक ही है: यह एक बॉट है जो वेब को क्रॉल करता है। Googlebot वेब पेजों को लिंक के माध्यम से क्रॉल करता है। यह नई और अपडेट की गई सामग्री पाता है और पढ़ता है और सुझाव देता है कि इंडेक्स में क्या जोड़ा जाना चाहिए। बेशक, इंडेक्स Google का मस्तिष्क है। यहीं पर सारा ज्ञान बसता है।

Google इन पृष्ठों को खोजने और उन पर क्या देखने के लिए वेब के हर गली नुक्कड़ पर अपने क्रॉलर को भेजने के लिए कई टन कंप्यूटर का उपयोग करता है। GoogleBot हाइपरलिंक के माध्यम से वेब को क्रॉल करेगा। यह नई, और अपडेट कंटेंट का विश्लेषण करेगा और सुझाव देगा कि इंडेक्स में क्या जोड़ा जाए और क्या नहीं जोड़ा जाए। Googlebot Google का वेब क्रॉलर या रोबोट है। सभी सर्च इंजन का अपना बॉट होता है।

गूगल बॉट कैसे काम करता है?

बॉट पिछले क्रॉल के दौरान खोजे गए लिंक के साइटमैप और डेटाबेस का उपयोग करता है ताकि यह निर्धारित किया जा सके कि आगे कहाँ जाना है। जब भी क्रॉलर किसी साइट पर नए लिंक पाता है, तो यह उन्हें अगले पेज पर जाने के लिए पृष्ठों की सूची में जोड़ता है। यदि Googlebot लिंक या Broken Link में परिवर्तन पाता है, तो यह उस पर ध्यान देगा ताकि index को अपडेट किया जा सके।

बॉट निर्धारित करता है कि यह कितनी बार पृष्ठों को क्रॉल करेगा। यह सुनिश्चित करने के लिए कि Googlebot आपकी साइट को सही ढंग से क्रॉल कर सकता है, आपको इसकी क्रॉलबिलिटी की जांच करने की आवश्यकता है। यदि आपकी साइट क्रॉलर के लिए उपलब्ध है, तो वे अक्सर आपकी साइट पर आते हैं।

Google Bot साइट को कब क्रॉल करता है?

फ़ाइल वर्शन को डाउनलोड करने और इस नए वर्शन के कंटेंट के साथ सर्च इंजन इंडेक्स को अपडेट करने के बीच आमतौर पर कुछ दिन होते हैं। Googlebot किसी पृष्ठ पर कितनी बार आता है, अन्य बातों के अलावा, इस पृष्ठ पर कितने external links हैं और इसका पेजरैंक वैल्यू कितना अधिक है, इस पर निर्भर करता है। ज्यादातर मामलों में, Googlebot केवल औसतन हर कुछ सेकंड में एक वेबसाइट का उपयोग करता है।

क्रॉल होने के बाद पेज तक पहुंच रखने के लिए, प्रत्येक क्रॉल प्रक्रिया को पहले सभी Googlebots द्वारा उपयोग किए जाने वाले कैश में संग्रहीत किया जाता है। यदि किसी निश्चित समय के भीतर किसी पेज को कई बॉट्स द्वारा देखा जाता है।

जब Googlebot वापस आता है तो विभिन्न कारकों पर निर्भर करता है। लिंक का उपयोग करके बॉट चलती है। इसलिए, PageRank और मौजूदा बैकलिंक की संख्या और गुणवत्ता महत्वपूर्ण है जब तक कि Googlebot पेज का नया क्रॉल नहीं करता है।

लोडिंग समय और वेबसाइट की संरचना के साथ-साथ कंटेंट को अपडेट करने कीफ्रीक्वेंसी भी एक भूमिका निभाती है। एक मानक मान निर्धारित नहीं किया जा सकता है। एक पेज जिसमें कई उच्च-गुणवत्ता वाले बैकलिंक्स हैं, उन्हें Googlebot द्वारा हर 10 सेकंड में पढ़ा जा सकता है। छोटे बैकलिंक्स वाले छोटे पृष्ठ कभी-कभी एक या अधिक महीने भी ले सकते हैं

Googlebot रोबोट मेटा फ़ाइल और HTML मेटा टैग में रोबोट के निर्देशों का पालन करता है। यह ध्यान दिया जाना चाहिए कि blocked CSS या JavaScript के साथ क्रॉल प्रक्रिया के दौरान गलतफहमी हो सकती है और Googlebot वेबसाइट की गलत व्याख्या कर सकता है।

GOOGLEBOT के लिएक्रॉलिंग के तीन स्टेप्स

• वेबसाइट से वेबसाइट पर जाने के लिए, Googlebot लिंक का अनुसरण करता है। बॉट SRC और HREF लिंक को पहचानता है। लंबे समय तक, Googlebot जावास्क्रिप्ट लिंक का पालन करने में असमर्थ था; इस बीच बदल गया है। Googlebot समानांतर में कई क्रॉलिंग प्रक्रियाओं को नियंत्रित कर सकता है, अर्थात, विभिन्न लिंक संरचनाओं के माध्यम से एक साथ आगे बढ़ सकता है; इसे मल्टी-थ्रेडिंग कहा जाता है।
• यदि बॉट किसी नए पृष्ठ पर जाता है, तो यह पहले सर्वर से एक अनुरोध करता है, जिसके लिए वह खुद को उपयोगकर्ता एजेंट आईडी “वेबबॉट” के साथ पेश करता है। क्रॉलर से अनुरोध सर्वर की लॉग फ़ाइलों में लॉग किए जाते हैं और वेबमास्टर्स को यह समझने की अनुमति देते हैं कि सर्वर से कौन अनुरोध कर रहा है।
• Google के स्वयं के कथनों के अनुसार, बॉट औसतन हर कुछ सेकंड में एक बार एक विशिष्ट वेबसाइट तक पहुँचता है। आवृत्ति आई। ए। बाहरी लिंक की संख्या के आधार पर जो पृष्ठ पर या पृष्ठ के पेजरैंक पर निर्भर करता है। वे वेबसाइटें जो कम मजबूती से जुड़ी हुई हैं, शायद हर कुछ दिनों में या कम बार बॉट द्वारा देखी जाती हैं।

नोट: Googlebot वेब साइट के cache का उपयोग वेब साइट पर कम यात्रा करने और क्रॉल कोटा को बचाने के लिए करता है। इसके अलावा, Google POST विधि के साथ रिसोर्स को कैश नहीं करता है।

GOOGLEBOT क्या करता है?

Googlebot लिंक से लिंक पर जाकर वेबसाइटों को देखता है और क्रॉल करता है। रोबोट द्वारा पाई गई सभी सामग्री Google रेल्वेंसी के आधार पर डाउनलोड और संग्रहीत की जाती है। Google पर सर्च रिजल्ट्स में अपने पेज को रखने के लिए Googlebot द्वारा विश्लेषण एक महत्वपूर्ण कदम है।

वेब सर्चेस के लिए Googlebot के अलावा, अन्य विशेष बॉट हैं। उदाहरण के लिए Googlebot-News, Googlebot-Video, या स्मार्टफोन पृष्ठों के लिए Googlebot-Mobile। यदि पेज को हाल ही में बॉट में से एक द्वारा क्रॉल किया गया था, तो यह अन्य क्रॉलर की जानकारी को कैश करता है।

GOOGLEBOTS के प्रकार

वेब खोजों के लिए Googlebot के अलावा, अन्य विशिष्ट Googlebots भी हैं। उदाहरण के लिए, केवल न्यूज़ के लिए एक Googlebot है, वीडियो के लिए एक Googlebot, स्मार्टफोन वेबसाइटों के लिए एक Googlebot मोबाइल, आदि विभिन्न Googlebots भी एक दूसरे के साथ सूचनाओं का आदान-प्रदान करते हैं।

यदि कोई बॉट एक पृष्ठ को क्रॉल करता है, तो यह अन्य बॉट्स के लिए उपलब्ध कराता है। जिसे (cache) कैश कहा जाता है।

कई अलग-अलग रोबोट हैं। उदाहरण के लिए, AdSense और AdsBot विज्ञापन गुणवत्ता की जांच करते हैं, जबकि मोबाइल ऐप्स Android Android ऐप्स की जांच करते हैं। हमारे लिए, ये सबसे महत्वपूर्ण हैं:

Name	User-agent
Googlebot (desktop)	Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot (mobile)	Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Video	Googlebot-Video/1.0
Googlebot Images	Googlebot-Image/1.0
Googlebot News	Googlebot-News

Googlebot आपकी साइट पर कैसे जाता है?

यह जानने के लिए कि Googlebot आपकी साइट पर कितनी बार आता है और वहाँ क्या करता है, आप अपनी लॉग फ़ाइलों में देख सकते हैं। या Google Search Console के Crawl section को देख सकते हैं।

यदि आप अपनी साइट के crawl performance को ऑप्टिमाइज़ करने के लिए वास्तव में उन्नत टूल चाहते हैं, तो आप Screaming Frog द्वारा बनाया Kibana या SEO Log File Analyser जैसे टूल का उपयोग कर सकते हैं।

Google उन IP addresses की सूचियों को साझा नहीं करता है जो कि इन एड्रेस के बदलने के बाद से विभिन्न Googlebots उपयोग करते हैं। यह जानने के लिए कि क्या कोई वास्तविक Googlebot आपकी साइट पर जाता है, तो आप एक रिवर्स IP लुकअप कर सकते हैं। स्पैमर या हैकर्स यूजर-एजेंट के नाम को आसानी से बिगाड़ सकते हैं, लेकिन आईपी पते को नहीं।

Googlebot – आपकी साइट के कुछ हिस्सों को देखने के लिए आप robots.txt का उपयोग कर सकते हैं। हालाँकि यह देखें कि यदि आप इसे गलत तरीके से करते हैं, तो आप Googlebot को पूरी तरह से आने से रोक सकते हैं। यह आपकी साइट को इंडेक्स से बाहर ले जाएगा। आपकी साइट को क्रॉल होने से रोक सकते हैं।

GOOGLEBOT को ब्लॉक करें

क्योंकि Googlebot लिंक का अनुसरण करता है, इसलिए कोई यह मान सकता है कि लिंक नहीं की गई वेबसाइटें नहीं मिल सकती हैं। वास्तव में, वेबसाइटों को इस तरह से गुप्त रखना लगभग असंभव है: जैसे ही किसी बाहरी सर्वर के “गुप्त” पेज के लिंक से पता चलता है, secret server reference प्रोटोकॉल का उपयोग करके गुप्त सर्वर की पहचान भी कर सकता है।

लेकिन आप Googlebot की पहुंच को सक्रिय रूप से रोक सकते हैं। एक संभावना है कि अपनी खुद की वेबसाइट के रूट डायरेक्टरी में robots.txt फ़ाइल को जोड़ना है। यह फ़ाइल बॉट को बताती है कि वेबसाइट के किन क्षेत्रों को क्रॉल करने की अनुमति है और कौन सी नहीं हैं।

हालाँकि, robots.txt फ़ाइल का उपयोग करने से 100% गारंटी नहीं मिलती है कि वेबसाइट Google खोज में दिखाई नहीं देगी। इसके लिए रोबोट मेटा टैग लगाना बेहतर है

यदि आप केवल Googlebot को बाहर करना चाहते हैं, तो आपको name attribute में “Googlebot” के साथ “रोबोट” को बदलना होगा।

आप nofollow मेटा टैग का भी उपयोग कर सकते हैं। यह बॉट को अपनी वेबसाइट पर किसी भी लिंक को ट्रैक करने से रोकता है। यदि बॉट को केवल कुछ लिंक का पालन नहीं करना चाहिए, तो आप संबंधित लिंक में केवल attribute rel = “nofollow” जोड़ें।

GOOGLEBOT की CRAWLING FREQUENCY कैसे बदलें

किसी वेबसाइट पर Googlebot एक निश्चित क्लॉक रेट पर वेबसाइट एक्सेस करता है; जैसे डिफ़ॉल्ट रूप से, यह एक विशिष्ट पेज पर प्रति पांच सेकंड का रिक्वेस्ट करता है। आप Googlebot को यह भी बता सकते हैं कि उसे प्रति सेकंड कितने रिक्वेस्ट करने चाहिए। बहुत बड़ी वेबसाइटों के लिए जो विशेष रूप से अक्सर बॉट द्वारा क्रॉल किए जाते हैं।

इसके परिणामस्वरूप बैंडविड्थ की अड़चनें आ सकती हैं – वेबसाइट तक पहुंचना और फिर धीरे-धीरे लोड करना अधिक कठिन है। इस मामले में, वेबमास्टर्स को प्रति सेकंड कम क्वेरी करने के लिए Google के सर्च कंसोल में बॉट को निर्देश देना चाहिए। क्रॉल दर को केवल कम किया जा सकता है, लेकिन सामान्य स्तर से आगे नहीं बढ़ाया जाता है।

Search Engine Optimization में गूगल बॉट की भूमिका

सर्च इंजन ऑप्टिमाइजेशन (एसईओ) के लिए Googlebot की कार्यक्षमता से परिचित होना महत्वपूर्ण है। ताकि नए कंटेंट को जल्द से जल्द इंडेक्स किया जा सके। इसका अर्थ है कि उपयोगकर्ता को उपलब्ध कराने के लिए Google इंडेक्सिंग में नए कंटेंट को यथासंभव शीघ्रता से कैसे रखा जाए?

एक तरीका है सर्च कंसोल में नए कंटेंट के यूआरएल डाला जाए। यह सुनिश्चित करता है कि अगले क्रॉल प्रक्रिया के दौरान नए पेजेज को ध्यान में रखा जाए।

एक दूसरा विकल्प एक्सटर्नल पेज से नए कंटेंट के लिए लिंक सेट करना है। जैसा कि Googlebot follow links का अनुसरण करता है, यह भविष्य में नए पृष्ठ पर आएगा।

क्रॉलिंग प्रक्रिया को बढ़ावा देने और सही इंडेक्सिंग को प्राप्त करने के लिए, साइटमैप बनाने की भी जरुरत होती है। साइटमैप किसी वेबसाइट के सभी व्यक्तिगत पृष्ठों का एक hierarchically structured representation है। क्रॉलर एक नज़र में एक वेबसाइट की संरचना को देखता है और जानता है कि वह किन लिंक्स का अनुसरण कर सकता है।

इसके अलावा, आप व्यक्तिगत रूप से 0 – 1 के बीच के वैल्यू के साथ अलग-अलग पृष्ठों को प्राथमिकता दे सकते हैं और सुनिश्चित कर सकते हैं कि क्रॉलर इन हाइलाइट किए गए पृष्ठों पर अधिक बार जाता है। साइटमैप का उपयोग तब विशेष मायने रखता है जब एक बड़ा पृष्ठ नया बनाया गया हो। साइटमैप को Googlebot को robots.txt और / या खोज कंसोल में सबमिट करके उपलब्ध कराया जा सकता है।

सर्च इंजन ऑप्टिमाइजेशन के लिए एक और महत्वपूर्ण बिंदु: Googlebot केवल फ़्लैश, अजाक्स और गतिशील सामग्री को एक सीमित सीमा तक ही संभाल सकता है। भले ही यह भविष्य में बदल सकता है, यह अभी भी मुख्य रूप से स्थिर वेबसाइट स्वरूपों पर ध्यान केंद्रित करने के लिए सलाह दी जाती है जब यह एसईओ की बात आती है। Googlebot इन प्रारूपों के साथ मज़बूती से बातचीत कर सकता है।

निष्कर्ष

Googlebot छोटा रोबोट है जो आपकी साइट पर जाता है। यदि आपने अपनी साइट के लिए तकनीकी रूप से उचित विकल्प चुना है, तो यह अक्सर आता है। यदि आप नियमित रूप से नई सामग्री जोड़ते हैं तो यह अधिक बार आती है।

कभी-कभी, जब भी आपने अपनी साइट में बड़े पैमाने पर बदलाव किए हैं, तो आपको उस प्यारे छोटे क्रॉलर को एक बार में कॉल करना पड़ सकता है, इसलिए परिवर्तनों को जल्द से जल्द सर्च रिजल्ट्स में रिफ्लेक्ट किया जा सकता है।