چرا ربات های گوگل تمام صفحات سایت را خزش نمی‌کند؟

چرا ربات های گوگل تمام صفحات سایت را خزش نمی‌کند؟

در یک پاتوق Google SEO Office Hours Hours از جان مولر از Google س askedال شد که چرا Google به اندازه کافی صفحات وب را نمی خزد؟ شخصی که این س askingال را مطرح می کند توضیح داد که گوگل در حال خزیدن است که برای همگام سازی با یک وب سایت بسیار بزرگ کافی نیست. جان مولر توضیح داد که چرا Google ممکن است به اندازه کافی صفحات را خزنده نکند.

بودجه Google Crawl چیست؟

GoogleBot نام خزنده گوگل است که به صفحه وب می رود و آنها را برای اهداف رتبه بندی نمایه می کند.

اما از آنجا که وب گسترده است ، گوگل این استراتژی را دارد که فقط صفحات وب با کیفیت بالاتر را نمایه سازی کند و صفحات وب با کیفیت پایین را نمایه نکند.

طبق صفحه توسعه دهنده گوگل برای وب سایت های عظیم (در میلیون ها صفحه وب):

"به مقدار زمان و منابعی که Google به خزیدن یک سایت اختصاص می دهد ، معمولاً بودجه خزیدن سایت گفته می شود.

توجه داشته باشید که همه موارد موجود در سایت شما لزوماً فهرست نمی شوند. هر صفحه باید ارزیابی ، تلفیق و ارزیابی شود تا مشخص شود که آیا بعد از خزیدن ، نمایه می شود یا خیر.

بودجه خزیدن توسط دو عنصر اصلی تعیین می شود: محدودیت ظرفیت خزیدن و تقاضای خزیدن. "

چه چیزی بودجه خزیدن GoogleBot را تعیین می کند؟

شخصی که س askingال می کند سایتی با صدها هزار صفحه داشت. اما گوگل فقط در حدود 2000 صفحه وب در روز خزنده بود ، این سرعت برای چنین سایت بزرگی بسیار کند است.

شخصی که س askingال می کند س theال زیر را دنبال می کند:

"آیا توصیه دیگری برای دریافت اطلاعات در مورد بودجه خزنده فعلی دارید؟

فقط به این دلیل که احساس می کنم ما واقعاً در تلاش بوده ایم تا پیشرفت هایی انجام دهیم اما پرش صفحات در روز را مشاهده نکرده ایم. ”

مولر گوگل از شخص پرسید که این سایت به چه بزرگی است.

شخصی که س askingال می کند پاسخ داد:

"سایت ما در صدها هزار صفحه است.

و ما دیده ایم که ممکن است روزانه حدود 2000 صفحه در حال خزیدن است ، حتی اگر تعداد زیادی از این موارد مانند 60،000 صفحه کشف شده اما هنوز فهرست نشده یا خزیده نشده باشد. "

جان مولر از گوگل پاسخ داد:

"بنابراین در عمل ، من دو دلیل اصلی را می بینم که چرا این اتفاق می افتد.

از یک طرف اگر سرور به طور قابل توجهی کند است ، که… زمان پاسخ است ، فکر می کنم این را در گزارش آمار خزنده نیز می بینید.

این منطقه ای است که اگر ... اگر بخواهم به شما شماره ای بدهم ، می گویم برای چیزی کمتر از 300 ، 400 میلی ثانیه ، به طور متوسط ​​چنین چیزی را هدف قرار دهید.

زیرا این امر به ما امکان می دهد تا آنجا که نیاز داریم تقریباً خزیدن کنیم.

این همان چیزی نیست که سرعت صفحه در نوع خود باشد.

بنابراین این ... یک چیز است که باید مراقب آن باشید. "

کیفیت سایت می تواند بودجه خزیدن GoogleBot را تحت تأثیر قرار دهد

در ادامه جان مولر از گوگل به موضوع کیفیت سایت اشاره کرد.

کیفیت پایین سایت می تواند باعث خزنده GoogleBot در وب سایتی نگردد.

جان مولر از گوگل توضیح داد:

"دلیل مهم دیگر اینکه چرا زیاد از وب سایت ها نمی پریم این است که در کل از کیفیت اطمینان نداریم.

این چیزی است که در آن ، به خصوص با سایت های جدیدتر ، می بینم که بعضی اوقات با آن دست و پنجه نرم می کنیم.

و همچنین بعضی اوقات می بینم که مردم خوب می گویند ، ایجاد وب سایت با یک میلیون صفحه از نظر فنی امکان پذیر است زیرا ما یک پایگاه داده داریم و فقط آن را بصورت آنلاین قرار می دهیم.

و فقط با این کار ، اساساً از یک روز به روز دیگر تعداد زیادی از این صفحات را پیدا خواهیم کرد اما مانند آنها خواهیم بود ، هنوز از کیفیت این صفحات مطمئن نیستیم.

و تا زمانی که مطمئن نشویم کیفیت درستی خوب است کمی احتیاط بیشتری در مورد خزیدن و نمایه سازی آنها خواهیم داشت.

عواملی که بر تعداد صفحات Google خزنده تأثیر می گذارد

فاکتورهای دیگری نیز وجود دارد که می تواند در تعداد زیادی صفحات خزنده Google که ذکر نشده اند ، تأثیرگذار باشد.

به عنوان مثال ، یک وب سایت میزبان در یک سرور مشترک ممکن است نتواند صفحات را به سرعت به Google ارائه دهد زیرا ممکن است سایتهای دیگری نیز در سرور وجود داشته باشند که از منابع بیش از حد استفاده می کنند و باعث کند شدن سرعت سرور برای هزاران سایت دیگر در آن سرور می شود.

دلیل دیگر ممکن است این باشد که سرور توسط رباتهای سرکش مورد انتقاد قرار می گیرد و باعث کند شدن وب سایت می شود.

توصیه جان مولر برای یادآوری سرعت ارائه دهنده سرور به صفحات وب خوب است. حتماً ساعت ها در شب آن را بررسی کنید زیرا بسیاری از خزنده ها مانند Google در ساعات اولیه صبح می خزند زیرا این زمان به طور کلی زمان مختل تری برای خزیدن است و در آن ساعت تعداد بازدید کنندگان سایت در سایت ها کمتر است.

استناد

صفحه توسعه دهنده Google را در مورد بودجه خزیدن برای سایتهای بزرگ بخوانید:
راهنمای مالک سایت بزرگ برای مدیریت بودجه خزیدن خود