Краулер (Пошуковий робот)

Спеціальна пошукова програма, яка є частиною пошукової системи (Google, Bing та ін.) та призначена для індексування веб-сайтів.

Принцип роботи пошукового робота полягає в тому, що він постійно «блукає» відомими йому сайтами (ті, які проіндексовані), проходить за внутрішніми та зовнішніми посиланнями та заносить нову інформацію собі в базу. Сам по собі краулер є аналогією веб-браузера, тому перехід пошукового робота від однієї сторінки до іншої здійснюється за посиланнями, які є в тілі веб-сторінки.

Пошуковий робот таким чином знаходить нові сайти, нові сторінки і заносить собі в індекс, а також фіксує оновлення на раніше відомих йому сторінках. Цікаво, що пошуковий бот здатний визначити частоту оновлень інформації на вашій сторінці. Наприклад, якщо у вас новинний сайт оновлюється щодня, то пошукові роботи будуть відвідувати ваш сайт частіше, а якщо у вас бізнес сторінка з описом послуг компанії, де контент не змінюється роками, то і пошуковий робот до вас буде ходити теж раз на рік.

У кожної пошукової системи не один Краулер, а безліч ботів, де кожен заточений під певні завдання і відвідує ваш сайт з різною періодичністю в різний час.