Ведущие поисковые системы используют «пауков» для поиска страниц с результатами алгоритмического поиска. Страницы, на которые есть ссылки с проиндексированных страниц других поисковых систем, обнаруживаются автоматически. Некоторые поисковые системы, особенно Yahoo !, имеют платную услугу, которая гарантирует включение в базу данных и регулярное посещение сайта, но не достигает определенного ранга в результатах поиска. Два основных каталога, Yahoo Directory и Open Directory Project, требуют ручного ввода данных, а редактирование и проверка выполняется человеком. Google предлагает инструменты Google для веб-мастеров, для которых можно создать XML-карту сайта, которая является бесплатной и позволяет находить все страницы веб-сайта, особенно страницы, на которые невозможно перейти с помощью автоматического отслеживания ссылок. Дополнительно можно использовать Yandex Direct.
Пауки поисковых систем могут наблюдать за различными факторами при посещении сайта. Поисковые системы не всегда индексируют все страницы сайта. Расстояние страницы от основного каталога сайта также может влиять на то, будет ли страница посещена или нет. Также существует проблема, когда браузер посещает сайт, содержащий все виды графического контента, документы во флэш-памяти, переносимые документы и динамический контент.
