بهتر است چه فایل هایی را در Robots.txt مسدود یا بلاک کنیم؟

بهتر است چه فایل هایی را در Robots.txt مسدود یا بلاک کنیم؟

در آخرین قسمت Ask Google Webmasters جان مولر از گوگل توضیح می دهد که بهتر است چه فایل هایی در robots.txt از دسترسی ربات های گوگل مسدود شوند. در ادامه با رضا رحمتی همراه باشد.

جان مولر به سوال یکی از کاربران در خصوص اینکه استفاده از Robots.txt برای مسدود کردن فایل های مانند .css htaccess پاسخ می دهد.

یکی از کاربران سوال زیر را پرسیده است

 

آیا بستن دسترسی ربات های گوگل به برخی فایل ها، مانند زیر مشکل ساز است؟

‘disallow: /*.css$’, ‘disallow: /php.ini’, ‘disallow: /.htaccess

 

پاسخ جان مولر: گوگل به صاحبان سایت نمی گوید دسترسی یک فایل را نبندید یا در واقع disallow نکنید.

اما استفاده به این نحوه از Robots.txt بد به نظر می رسد، چون در نشان دادن یا render کردن سایت گوگل به برخی فایل ها نیاز دارد و باید خزش بشوند، در این صورت در render سایت مشکل پیش می آید.

در ادامه به بررسی این می پردازیم که مسدود کردن دسترسی گوگل به هر فایل چه معایبی خواهد داشت.

مسدود کردن فایل های CSS

خزش و خواندن فایل های css برای نشان دادن صحیح سایت قطعا لازم است.

ممکن است صاحبان سایت احساس کنند لازم است که فایل های CSS را مسدود کنیم تا به تنهایی ایندکس نشوند ، اما مولر می گوید معمولاً چنین اتفاقی نمی افتد.

به طور مثال برای تشخیص اینکه یک صفحه ریپانسیو یا mobile friendly است به فایل های css نیاز خواهیم داشت.

معمولا فایل های css ایندکس نمی شوند ولی ما به آنها نیاز داریم.

مسدود کردن فایل های PHP

مسدود کردن فایل های php به طور مثال php.ini لازم نیست، به این دلیل که دسترسی پیدا کردن به فایل php اصلا ساده و امکان پذیر نیست.

فایل های php نباید قابل دسترس حتی برای ربات های گوگل باشند و این کار به طور خودکار انجام می شود.

مسدود کردن php از طریق Robots.txt یک کار اضافه و بیهوده است، چون همانطور که توضیح دادیم دسترسی به آن امکان پذیر نیست.

مسدود کردن فایل htaccess

دسترسی به فایل htaccess نیز به مانند php امکان پذیر نیست, حتی برای ربات های گوگل.

در واقع برای دسترسی به این فایل های باید به طور مستقیم یا از طریق ftp به هاست یا سرور متصل شوید، گوگل تنها کد html و فایل های js,css ، تصاویر و ... یا به طور کلی frontend را می تواند مشاهده کند و دسترسی به backend ندارد.

موارد پیشنهادی جان مولر

مولر پیشنهاد می کند اگر اطلاعی کاملی درباره Robots.txt ندارید، فایل Robots.txt سایت مشابه سایت خودتان را کپی و از آن استفاده کنید.

مثلا اگر سایت فیلم دارید می توانید از Robots.txt سایتی با موضوع خودتان استفاده کنید.

البته خودم توصیه می کنم بدون مشورت این کار را نکنید، حتما کارشناسان سئو یا خود بنده شما را در این خصوص راهنمایی می کنیم.

به طور مثال base فایل Robots.txt سایت های وردپرسی مانند زیر است.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml

اگر می خواهید قسمتی از سایتتان خزش نشود آن را disavow کنید و حرکات خلاقانه مثل این دوست عزیزمان نزنید :)))