robots.txt

Robots.txt — це текстовий файл, який містить параметри індексування сайту для роботів пошукових систем.
Після створення файлу robots.txt його потрібно помістити в кореневий каталог сайту. Пошуковий робот завжди звертається до файлу на site/robots.txt.
Основне завдання цього файлу — інформування роботів індексації. Головні вказівки або директиви robots.txt:

«Allow» (відповідає за дозвіл індексації певного розділу або файлу)
«Disallow» (відповідно, забороняє індексацію)
«User-agent» (визначає, до яких саме робіт належать дозвільні та заборонні директиви)
Але слід знати, що вказівки robots.txt мають рекомендаційний характер. Це означає, що за певних умов робот може їх проігнорувати.

Robots.txt є інструкцією для пошукового робота.