6 اتفاقی که وقتی Googlebot نمی تواند وب سایت شما را بخزد می افتد
آزمایشی توسط کریستینا آزارنکو، کارشناس فنی سئو، نشان می‌دهد که چه اتفاقی می‌افتد که Googlebot را از خزیدن یک وب‌سایت با استفاده از robots.txt غیرفعال می‌کنید.
تا به حال به این فکر کرده اید که اگر برای چند هفته از خزیدن گوگل در وب سایت خود جلوگیری کنید، چه اتفاقی می افتد؟ کریستینا آزارنکو، متخصص سئو فنی، نتایج چنین آزمایشی را منتشر کرده است.
شش اتفاق شگفت‌انگیز که رخ داد. چه اتفاقی افتاد که Googlebot نتوانست سایت آزارنکو را از 5 اکتبر تا 7 نوامبر بررسی کند:
- فاویکون از نتایج جستجوی گوگل حذف شد.
- نتایج جستجوی ویدیو ضربه بزرگی خورد و هنوز پس از آزمایش بازیابی نشده است.
- موقعیت ها نسبتاً ثابت باقی ماندند، به جز اینکه در کانادا کمی نوسانات بیشتری داشتند.
- ترافیک تنها با کاهش جزئی مواجه شد.
- افزایش در صفحات فهرست شده گزارش شده در کنسول جستجوی گوگل. چرا؟ صفحات دارای تگ های متا روبات noindex ایندکس می شوند زیرا گوگل نمی تواند سایت را برای دیدن آن تگ ها بخزد.
- چندین هشدار در GSC (به عنوان مثال، “ایندکس شده، اگرچه توسط robots.txt مسدود شده است،” “Blocked by robots.txt”).
چرا ما اهمیت می دهیم. تست یک عنصر حیاتی در سئو است. همه تغییرات (عمدی یا غیرعمدی) می‌توانند بر رتبه‌بندی، ترافیک و نتایج شما تأثیر بگذارند، بنابراین خوب است بدانید که احتمالاً Google چگونه می‌تواند واکنش نشان دهد.
همچنین، اکثر شرکت ها قادر به انجام این نوع آزمایش نیستند، بنابراین دانستن این اطلاعات خوب است.
آزمایش. می‌توانید همه چیز را در نتایج غیرمنتظره My Google Crawling Experiment بخوانید.
آزمایش مشابه دیگری. پاتریک استوکس از Ahrefs همچنین نتایج مسدود کردن دو صفحه با رتبه بالا را با robots.txt به مدت پنج ماه به اشتراک گذاشته است. تاثیر بر رتبه بندی بسیار کم بود، اما صفحات تمام قطعات برجسته خود را از دست دادند.