shift

راهنمای گوگل بات، درباره خزنده گوگل بیشتر بدانید

راهنمای گوگل بات، درباره خزنده گوگل بیشتر بدانید

عاطفه
دسته: سئو  تگ ها: گوگل بات چیست , چگونه گوگل بات ها را کنترل کنیم , گوگل ایندکس چیست , تکنیک های گوگل بات برای خزش چیست , انواع مختلف گوگل بات کدام است , Googlebot - A guide to the Google webcrawler

 

گوگل بات چیست؟

  • گوگل بات خزنده وبی است که توسط گوگل طراحی‌شده است.
  • گوگل بات به‌وسیله گوگل استفاده می‌شود تا صفحات اینترنتی را پایش کند.
  • اطلاعاتی که به‌وسیله گوگل بات جمع‌آوری می‌شود، در بروز رسانی لیست وب‌سایت‌های موجود بر روی سرورهای گوگل استفاده می‌شود.


گوگل میلیاردها صفحه را تاکنون بررسی کرده است و به‌صورت مداوم در حال انجام این کار است.


خزنده وب چیست؟

خزنده وب (که به‌عنوان ربات، بات ها یا اسپایدرها شناخته می‌شوند) نوعی نرم‌افزار طراحی‌شده برای بررسی کردن لینک‌ها، جمع‌آوری اطلاعات و فرستادن آن اطلاعات به‌جای دیگر است.


گوگل بات چه‌کاری انجام می‌دهد؟

  • گوگل بات محتوای صفحات وب را جمع‌آوری می‌کنند (کلمات، کدها و منابعی که صفحات وب را ساخته‌اند)
  • اگر محتوایی که بازیابی می‌کند به موارد دیگری لینک دارد، موارد لینک شده هم بررسی می‌شوند.
  • گوگل بات سپس اطلاعات را به گوگل می‌فرستد.

 

گوگل بات و سایت شما

اطلاعاتی که بات های گوگل به سمت کامپیوترهای گوگل می‌فرستند، Index های گوگل را به‌روزرسانی می‌کنند. Index گوگل جایی است که صفحات وب مقایسه و رتبه‌بندی می‌شوند.

  • برای اینکه صفحات سایت شما در گوگل یافت شوند، آن‌ها باید توسط گوگل بات قابل‌مشاهده باشند.
  • برای اینکه صفحات سایتتان به رتبه‌بندی بهینه دست پیدا کنند، همه منابع وب سایتتان باید توسط گوگل قابل‌دسترسی باشد.


تفاوت بین گوگل بات و گوگل ایندکس

گوگل بات

  • گوگل بات محتوا را از وب بازیابی می‌کند.
  • گوگل بات محتوا را تحلیل نمی‌کند و فقط محتوا را بازیابی می‌کند.
  • تنها نگرانی گوگل بات این است که آیا من می‌توانم به این محتوا دسترسی پیدا کنم و آیا محتوای بیشتری وجود دارد که من بتوانم به آن دسترسی پیدا کنم.

 

INDEX گوگل

  • گوگل ایندکس محتوا را از گوگل بات بازیابی می‌کند و از آن برای رتبه‌بندی صفحه استفاده می‌کند.
  • اولین گام برای رتبه‌بندی در گوگل، بازیابی به‌وسیله گوگل بات ها است.
  • تضمین بدهید که گوگل بات می‌تواند صفحه شمارا ببیند.
  • گوگل بات راهی است که گوگل از طریق آن ایندکس‌های خود را بروز رسانی می‌کند، ضروری است که گوگل بات بتواند صفحاتتان را ببیند.

اولین سؤال‌های اساسی که یک وب مستر باید بپرسد.

  • آیا گوگل بات می‌تواند صفحه مرا ببیند.
  • آیا گوگل بات به همه منابع صفحه من دسترسی دارد.
  • آیا گوگل بات به همه محتوا و لینک‌های صفحات کاملاً دسترسی دارد.

بیایید نگاهی بیندازیم به هرکدام از سؤالات


 آیا گوگل بات صفحات من را می‌بیند؟


یک ایده برای اینکه ببینید چه تعداد از لینک‌هایتان در گوگل ایندکس شده است این است:
با گذاشتن "site:" جلوی نام دامنه‌تان، شما به گوگل درخواست می‌دهید تا صفحاتی از سایتتان که ایندکس شده‌اند را لیست کند و تعداد آن‌ها را نمایش دهید.
وقتی از این عبارت استفاده می‌کنید، مطمئن شوید که بین " site:" و نام دامنه سایتتان فاصله خالی وجود ندارد.
یک مثال آورده‌ایم.
اگر تعداد صفحاتی که ایندکس شده‌اند کمتر از تعداد مورد انتظار شماست، احتمالاً باید مطمئن شوید که توسط فایل robots.txt، گوگل بات ها را بلاک نکرده‌اید.


آیا گوگل بات کاملاً به همه محتوای لینک‌های من دسترسی دارد؟


گام بعدی این است که مطمئن شوید گوگل محتوای و لینک‌هایتان را به‌درستی می‌بیند.
به این دلیل که گوگل بات می‌تواند صفحات شمارا ببیند، به این معنی نیست که گوگل یک تصویر کامل، دقیقاً از محتوای صفحه شما دارد.


گوگل بات یک وب‌سایت را همانند انسان‌ها نمی‌بیند. در تصویر بالا یک صفحه وب با یک تصویر در آن وجود دارد. انسان‌ها یک تصویر را می‌بینند، اما چیزی که گوگل بات می ببیند فقط کدی است که آن عکس را صدا می‌زند. گوگل بات ممکن است که به صفحات وب (فایل HTML) دسترسی داشته باشد؛ اما قادر نباشد به تصویری که روی آن صفحه وب است - به دلایل مختلف - دسترسی پیدا کند. طبق این سناریو، ایندکس گوگل شامل آن عکس نمی‌شود. به این معنی که گوگل درک کاملی از صفحات وبتان ندارد.


چگونه گوگل بات یک صفحه را می‌بیند؟

گوگل بات به‌طور کامل صفحه هات وب را نمی‌بیند، تنها اجزای منحصربه‌فرد را می‌بیند. اگر هرکدام از اجزا قابل‌دسترس برای گوگل بات نباشد، پس گوگل بات نمی‌تواند اطلاعاتی را به گوگل ایندکس بفرستد.


مثال قبلی را دوباره مطرح می‌کنیم. در اینجا گوگل بات یک صفحه وب را می‌بیند (HTML,CSS) اما تصویر را نمی‌بیند؛ اما فقط آن‌یک تصویر نیست. بخش‌های مختلفی برای یک صفحه وب وجود دارد. 

گوگل برای اینکه توانایی داشته باشد به رتبه بهینه برای صفحات سایتتان به دست آورد، نیاز به تصویر کامل دارد. برای اینکه که گوگل بات ممکن است به محتوای سایت دسترسی نداشته باشد، سناریوهای بسیاری وجود دارد.
در اینجا چند مورد رایج را ذکر کرده‌ایم:

  1.  دسترسی به منابع توسط robots.txt مسدود شده است.
  2. لینک صفحات قابل‌خواندن نیست یا نادرست است.
  3.  استفاده از فلش یا تکنولوژی های دیگر که خزنده وب ممکن است با آن مشکل داشته باشد.
  4.  کدهای اشتباه، HTML های نادرست
  5.  لینک‌های پویای پیچیده

بیشتر این موارد را می‌توانید به‌سرعت با استفاده از Google guidelines tool بررسی کنید.
اگر یک اکانت گوگل دارید از ابزار fetch and render در گوگل وب مستر استفاده کنید. این ابزار یک مثال زنده از چیزی که دقیقاً گوگل می‌بیند برای یک صفحه شخصی ارائه می‌دهد.


آیا گوگل بات به همه منابع صفحه دسترسی دارد؟


اگر فایل‌های جاوا اسکریپت و CSS به‌وسیله فایل robots.txt بلاک شده باشند، می‌تواند باعث بسیاری از اشتباهات در مورد محتوای صفحه وبتان شود (خیلی بدتر از یک تصویر گم‌شده)
این جمله درست است که اگر منابع یک صفحه وب بارگذاری نشوند ممکن است واقعاً متفاوت باشد یا محتوای متفاوت داشته باشد. به‌طور مثال در یک صفحه که مخصوص موبایل طراحی‌شده است از CSS یا جاوا اسکریپت برای تعیین اینکه چه محتوایی برای چه دستگاهی نشان داده می‌شود وجود دارد. اگر گوگل بات نتواند به CSS یا جاوا اسکریپت آن صفحه دسترسی نداشته باشد، ممکن است که متوجه نشود که آن صفحه برای موبایل طراحی‌شده است.
طبق این سناریو و سناریوهای دیگر، گوگل صفحاتتان را می‌بیند و ممکن است حتی آن را درک کند؛ اما ممکن است آن را به‌اندازه کافی درک نکند که می‌تواند در بسیاری از سناریوهای دیگر رتبه‌بندی شود.
این موضوع می‌تواند با استفاده از Google guidelines tool نیز بررسی شود.


آیا من می‌توانم googlebot را کنترل کنم؟

بله.
گوگل بات از دستورالعمل‌هایی که از استاندارهای robots.txt پیروی می‌کند، استفاده می‌کند و حتی روش‌های حرفه‌ای‌تر برای کنترل گوگل بات که خاص گوگل هستند وجود دارد.
برخی از راه‌هایی که شما می‌توانید گوگل بات را کنترل کنید.
•    استفاده از فایل robots.txt
•    دستورالعمل‌های ربات در متاهای صفحه وبتان
•    دستورالعمل‌های ربات در هدرتان
•    استفاده از نقشه سایت
•    استفاده از وب کنسول گوگل
رایج‌ترین راه استفاده از فایل robots.txt است.


فایل robots.txt چیست؟


فایل robots.txt کنترل می‌کند که چطور اسپایدر موتورهای جستجو شبیه گوگل بات با صفحات وب شما ارتباط برقرار کند و آن‌ها را ببیند.
در جمله‌ای کوتاه یک فایل ربات به گوگل بات می‌گوید که وقتی صفحاتتان که با فهرستی از فایلها و پوشه‌ها است را نمی‌خواهید گوگل بات به آن‌ها دسترسی داشته باشد، چه‌کاری انجام دهد.
در مورد ربات بیشتر بدانید (لینک به مقالات)


سایت مپ و گوگل بات


سایت مپ ها یک روشی هستند که به‌وسیله آن می‌توانید به گوگل بات کمک کنید تا سایتتان را درک کند، یا همان‌طور که گوگل می‌گوید:
یک سایت مپ یک فایل است که شما می‌توانید لیستی از صفحات وب سایتتان را در آن قرار دهید تا به گوگل و سایر موتورهای جستجو در مورد سازمان‌دهی محتوای سایتتان اطلاعات بدهید. خزنده‌های موتورهای جستجو وب شبیه به گوگل بات این فایل را می‌خواند و سایت شمارا هوشمندانه‌تر خزش می‌کند.»
گوگل می‌گوید که سایت مپ ها در سناریوی مشخص بهتر استفاده می‌شوند. به‌طور خاص:

  • سایت شما واقعاً بزرگ باشد.
  • سایت شما یک بایگانی بزرگ از صفحات دارد که مجزا هستند یا به‌خوبی به یکدیگر لینک داده نشده‌اند.
  • سایت شما جدید است و تعداد لینک‌های خارجی آن کم است.
  • سایتتان با استفاده از محتوای رسانه‌های باکیفیت در اخبار گوگل نمایش داده می‌شود و یا از نقشه سایتهای سازگار استفاده می‌کند.

سایت مپ ها برای بسیاری موارد هم‌اکنون استفاده می‌شوند؛ اما برای گوگل بات ها اساساً یک لیستی از URL ها و سایر داده‌هایی را که گوگل بات می‌تواند هنگام بازدید از صفحه وبتان استفاده کند، ایجاد می‌کند.


گوگل بات و سرچ کنسول گوگل


مکان دیگری که شما می‌توانید گوگل بات را کنترل کنید، گوگل سرچ کنسول است. اگر گوگل بات به سرور شما به‌سرعت دسترسی پیدا می‌کند می‌توانید میزان آن را تغییر دهید.
شما همچنین می‌توانید یک نگاه کلی به اینکه چطور گوگل بات به سایتتان دسترسی پیدا می‌کند داشته باشید. robots.txt را تست کنید. خطاهای خزیدن (crawl errors) گوگل بات را ببینید و fetch and render درخواستی که به شما کمک می‌کند درک کنید که چگونه گوگل صفحاتتان را می‌بیند.


چه تعداد گوگل بات / خزنده‌های گوگل وب وجود دارند؟

نوع مختلف از خزنده‌های وب گوگل وجود دارند.

  • گوگل بات (جستجوگر وب گوگل)
  • گوگل اسمارت فون
  • گوگل موبایل
  • گوگل بات عکس
  • گوگل بات ویدئو
  • گوگل بات اخبار
  • گوگل AdSense

اگر نیاز به اطلاعاتی در مورد هرکدام از موارد بالا دارید، این لینک را ببینید.


عامل کاربری گوگل بات چیست؟

چون‌که چندین گوگل بات وجود دارد، چندین عامل کاربری گوگل بات هم وجود دارد. بیاید به موارد اصلی این لیست نگاه کنیم.
مطالب اینجا می‌آید
صفحه خزنده‌های گوگل کمک می‌کنند تا اطلاعات عامل کاربری درباره همه خزنده‌های وب گوگل فراهم شود و برای به‌روزرسانی و اطلاعات قابل‌اعتماد این مکان را بررسی کنید.


گوگل بات و زبان‌ها / مکان‌ها


اگر صفحات شما به زبان‌های مختلف نمایش داده می‌شوند یا محتوا بستگی به مکان یا زبان درخواست شده دارد، گوگل بات ممکن است همیشه همه محتوایتان را نبیند.
اما این مقاله در مورد گوگل بات است و آنچه گوگل بر اساس زبان و مکان محتوا انجام داده است جالب است.
لطفاً نگاه کنید:


وقتی کاربری صفحاتتان را بازدید می‌کند برای محتواهای مختلف راه‌حلی بر اساس زبان و مکان وجود دارد. پس یک کاربر در ایتالیا محتوای ایتالیایی را می‌بیند و یک کاربر در آمریکا محتوای انگلیسی را می‌بیند. گوگل باتی که در آمریکا مستقر است، چگونه کار می‌کند؟ آیا محتوای ایتالیایی را می‌بیند؟


خزیدن توسط گوگل بات آگاه به محل

گوگل بات دو تکنیک اصلی (که گوگل درباره آن به ما می‌گوید) برای خزش آگاهی به محل را به کار می‌گیرد:

  • خزیدن بر اساس بخش جغرافیایی: به نظر می‌رسد گوگل از آی‌پی‌های خارج از امریکا نیز استفاده می‌کند؛ اما ای پی هایی که مدت‌زمان زیادی است که گوگل از آن‌ها استفاده می‌کند عمدتاً از امریکا هستند.
  • خزش وابسته به زبان: گوگل بات بر اساس فیلدهای پذیرش زبان که در قسمت HTTP هدر قرار داده‌شده خزش می‌کند.

به‌عبارت‌دیگر، گوگل روش‌هایی را برای خزش وب بر اساس جایی که کاربر حضور دارد انجام می‌دهد (اما یک امای بزرگ) گوگل هنوز پیشنهاد می‌دهد که از hreflang استفاده کنید.


پیدا کردن صفحات کمک رسمی گوگل

بیشتر لینک‌های این مقاله به صفحات کمک رسمی گوگل ارجاع داده می‌شوند که مهم‌ترین منبع دسترسی به اخبار در این زمینه می‌باشند.
 

نظر خود را بنویسید...
ارسال نظر
لغو