سلام شبتون بخیر. فایل robots.txt مجموعه ای از دستورالعمل ها برای ربات ها است. این پرونده در پرونده های منبع اکثر وب سایت ها موجود است. پرونده های Robots.txt بیشتر برای مدیریت فعالیت ربات های خوب مانند خزنده های وب در نظر گرفته شده است، زیرا ربات های بد احتمالاً از این دستورالعمل ها پیروی نمی کنند. ربات ها فقط در یک مکان خاص به دنبال آن پرونده می گردند که آن دایرکتوری اصلی شما است. اگر یک ربات به آدرس http://www.example.com/robots.txt مراجعه کند و پرونده رباتی را در آنجا پیدا نکند، فرض می کند سایت فاقد یک پرونده است و به شروع به خزیدن در صفحه های شما و شاید کل سایت کند.