robots.txt

ثریا پرسیده شد6 ماه قبل

سلام راجب فایلهای robots.txt توضیح میدید لطفا؟

برچسب سؤالات:

1 پاسخ‌ها
وب وایت عضو سایت پاسخ داده شد6 ماه قبل

سلام شبتون بخیر. فایل robots.txt مجموعه ای از دستورالعمل ها برای ربات ها است. این پرونده در پرونده های منبع اکثر وب سایت ها موجود است. پرونده های Robots.txt بیشتر برای مدیریت فعالیت ربات های خوب مانند خزنده های وب در نظر گرفته شده است، زیرا ربات های بد احتمالاً از این دستورالعمل ها پیروی نمی کنند. ربات ها فقط در یک مکان خاص به دنبال آن پرونده می گردند که آن دایرکتوری اصلی شما است. اگر یک ربات به آدرس http://www.example.com/robots.txt مراجعه کند و پرونده رباتی را در آنجا پیدا نکند، فرض می کند سایت فاقد یک پرونده است و به شروع به خزیدن در صفحه های شما و شاید کل سایت کند.

[کل: 0 میانگین: 0]
این نوشته در ارسال شده است. این لینک مستقیم به این نوشته است.
دريافت مشاوره رايگان

به مشاوره نياز داريد؟

پس از تکمیل و ارسال فرم ما در سریع ترین زمان ممکن با شما تماس خواهیم گرفت.

09304852006