Blogging

Crawler क्या है और काम कैसे करता है— About Bots And Spider

Crawler क्या है और काम कैसे करता है
Written by Surbhi

Crawler, अगर आपकी कोई वेबसाइट हैं तो अपने एक ना एक बार ज़रूर Web Crawler का नाम सुना होगा | तो अगर आपको जानना है की Crawler क्या है और काम कैसे करता है, तो इस पोस्ट को पूरा पढ़िए क्युकी इसमें मैंने details मे बताया है इसके बारे मे |

Crawler क्या है?

Crawler एक प्रोग्राम है जो की वेबसाइट के webpages को read करता है और webpages के details को Search Engine को भेजता है, ताकि search engine उस webpage को अपने database मे enter कर सके | इंटरनेट पर जितने भी search engine है, सब के पास एक स्पेशल प्रोग्राम हैं जिसको हम Spider या Bot भी कहते हैं | इन spiders को इसलिए तरीके से प्रोग्राम किया जाता हैं की ये webpages को read कर सके और उसको बार बार visit कर ताकि उसमे अगर कोई अपडेट हो, यों search engine को उस अपडेट का पता चले | ऐसा नहीं हैं की अगर आप कोई webpage बनाते हैं तो Crawlerअपने आप आकर आपके webpage को crawl करना लेगा, नहीं… Crawler को बुलाने के लिए सबसे पहले आपको webpage को search engine मे submit करना पड़ेगा |

crawler-kya-hai-kaise-kaam-karta-hai

Crawler काम कैसे करता है?

इंटरनेट पूरी तरह से इनफार्मेशन से भरा हुआ है | अगर आपको इसमें से कोई इनफार्मेशन चाहिए तो आपको search engine का इस्तेमाल करना पड़ेगा | मान लीजिये आपको Black Hole के बारे मे कुछ इनफार्मेशन चाहिए | तो अब किसी भी search engine पर जायेंगे और “Black Hole” search करेंगे | इतना करने के बाद, search engine तुरंत अपने database मे देखेगा की “Black Hole” के नाम से कोई webpage है की नहीं | अगर search engine के पास ब्लैक होल के बारे इनफार्मेशन है तो वो web crawler की वजह से |

Crawler जब किसी भी webpage को read करता हैं तो उस page मे जितने भी words है, उनको read करता है | जिसको हम कीवर्ड कहते है | अगर आपके webpage मे “ब्लैक होल” नाम से कीवर्ड है तो आपका webpage Black Hole के नाम से save हो जायेगा, सर्च engine के database मे | Crawler सभी webpage को html मे read करता है |

Crawler और SEO का relation

जैसा की मैंने बताया की crawler आपके webpage को read करता हैं | तो इसका मतलब ये नहीं हैं की आप कुछ भी लिखेंगे तो crawler उसपर ध्यान देगा | Spider, words मतलब की कीवर्ड के पोजीशन को भी चेक करता हैं | जैसा मैंने बताया की अगर आप Black Hole के ऊपर पोस्ट लिख रहे है तो crawler सबसे पहले चेक करेगा की Black Hole कहा कहा है जैसे Headingमे हैं की नहीं या meta डिस्क्रिप्शन और H2 मे है या नहीं | तो crawler words के पोजीशन को भी देखता है, सब देखने के बाद किसी भी webpage को सही कीवर्ड के साथ index करवाता है | तो इसीलिए आपको अपने webpage का अच्छे से SEO करना चाहिए क्युकी Crawler और SEO साथ साथ चलते है |

Robots.txt का महत्व

robots.txt-kya-hai-uska-kya-use-hai

अब crawler ऐसे काम नहीं करता की वो आपके webpage के सभी elements को read करें | इसीलिए आपको robot.txtका फ़ाइल बना लेना चाहिए | इससे crawler को पता चलता हैं की webpage को पूरा स्कैन करना हैं या नहीं, अगर नहीं करना है तो किस part को स्कैन नहीं करना है | अगर सब कुछ सही रहा तो crawler उसका index बना के सर्च engine के database मे डाल देगा | लेकिन ऐसा कम ही होता है की कोई webpage पूरा स्कैन हो | दरअसल crawler कभी भी webpage को पूरा स्कैन नहीं करता और अगर करता भी हैं तो उसका जिसका seo बहुत ही अच्छे से किया गया हो | तो इसीलिए आपको ऐसे पोस्ट लिखना चाहिए ताकि crawler कल एक ही बार मे समझ मे आ जाये की ये पोस्ट किसके बारे मे हैं और उस webpage को search engine मे सही पोजीशन मिल जाये |

अब अगर आपका webpage index हो गया तो शायद आप ये सोच रहे होंगे की आपका काम हो गया लेकिन ऐसा नहीं है | अगर आपके webpage को search engine के पहले पोजीशन पर लाना है तो आपके webpage को search engine के सभी parameter पर खरा साबित होना होगा | तभी आपका webpage पहला पोजीशन पर आएगा | तो पहले पोजीशन पर webpage को रहने के लिए ये सब check होता है…

  • Webpage कब पब्लिश हुआ
  • Page मे फोटो है की नहीं
  • Webpage मे इंटरनल और एक्सटर्नल link है या नहीं
  • Webpage की क्वालिटी
  • उसका loading टाइम कितना है
  • Page पर कितने कमैंट्स और page का कितने सोशल शेयर्स है

ये सब check करने के बाद ही crawler किसी भी webpage को प्रायोरिटी देता है और उस webpage को रैंकिंग भी अच्छी मिलती है |

तो यही है web crawler के बारे मे सबकुछ | आशा करता हु की आपको Crawler के बारे मे सब कुछ समझ गया होगा की Crawler क्या है और काम कैसे करता है | अगर आपको इससे रिलेटेड कोई भी डाउट है तो आप बिलकुल Comment कर सकते है | और भी ज्यादा जानकारी और फ़ास्ट servicesके लिए आप हमारा Official App भी डाउनलोड कर सकते हैं | ये PlayStore पर available है। आप इसे नीचे फ़ोटो पर क्लिक कर के downlod कर सकते हो

About the author

Surbhi

मेरा नाम सुरभि है और ब्लोगिंग मेरा पेशन है. में अपने ब्लॉग पर आयुर्वेदिक और घरेलू नुस्खों के बारे में बताती हु. आप सभी जानते है की आयुर्वेदिक और घरेलू नुस्खे हमारे लिए कितना फायदेमंद है और इनका किसी तरह का साइड इफ़ेक्ट नहीं है. इसलिए में अपने ब्लॉग पर आपको आयुर्वेदिक और घरेलू नुस्खों के बारे में बताउंगी ताकि आप इन्हें अच्छे से जान सके और बिना किसी साइड इफ़ेक्ट के खुद में बदलाव ला सके.

Leave a Comment