Serpstatbot: часто задаваемые вопросы
Для чего нужен serpstatbot?
Serpstatbot постоянно сканирует интернет для добавления новых ссылок и отслеживания изменений в нашей ссылочной базе данных. Мы предоставляем нашим пользователям доступ к одной из самых больших на рынке ссылочных баз данных для планирования и контроля маркетинговых кампаний.
Что происходит с просканированными страницами?
Данные о просканированных страницах добавляются в ссылочный индекс, доступ к которому вы можете получить в Serpstat.
Что вы делаете со страницами с 404 или 301 кодом ответа сервера?
Мы собираем исторические данные, чтобы никакие временные изменения не повлияли на ссылочный профиль вашего сайта. Если ссылки на страницы с кодом ответа сервера 404 или 301 все еще существуют, serpstatbot обнаружит их при повторном сканировании. Вы также можете ознакомиться с политикой Google в отношении 404 страниц.
Бот сканирует ссылки с атрибутом rel=nofollow?
Да, сканирует.
Как я могу заблокировать serpstatbot?
Serpstatbot учитывает директивы из robots.txt. Если вы не хотите, чтобы бот сканировал ваш сайт, добавьте следующий текст в файл robots.txt:
User-agent: serpstatbot
Disallow: /
Всегда проверяйте, доступен ли роботу сам файл robots.txt. Если файл недоступен, то serpstatbot будет по умолчанию сканировать ваш сайт.
Если вы считаете, что serpstatbot не выполняет директивы в robots.txt для вашего сайта, свяжитесь с нами по электронной почте serpstatbot@serpstatbot.com. Предоставьте адрес вашего веб-сайта и записи логов, показывающие, что бот пытается сканировать страницы, закрытые в robots.txt.
Какие команды в robots.txt поддерживает serpstatbot?
Serpstatbot поддерживает следующие дополнения к robots.txt:
- Crawl-delay до 20 секунд (большие значения приравниваются к 20 секундам).
- Редирект в пределах одного сайта при попытке получить robots.txt.
- Простые шаблоны в директивах Disallow, соответствующее спецификации Yahoo по использованию символа "*".
- Директивы Allow имеют преимущество перед Disallow, если они длиннее.
- Ошибки при получении файла robots.txt, например, 403 Forbidden, рассматриваются как отсутствие каких-либо запретов. В таком случае, бот будет краулить все физически доступные страницы.
Почему я не могу заблокировать serpstatbot в robots.txt?
Есть несколько причин:
- При запросе robots.txt бот перенаправляется на другой сайт: serpstatbot переходит только по редиректу на том же домене.
- Если на одном сервере есть несколько доменов, то некоторые серверы могут писать логи обращений к этим доменам в один файл без указания домена. Добавьте информацию о домене в логи или разделите логи для разных доменов.
Как я могу замедлить serpstatbot?
Вы можете замедлить работу бота, добавив следующие директивы в файл robots.txt:
User-Agent: serpstatbot
Crawl-Delay: 5
Значение Crawl-Delay (длительность ожидания между запросами в секундах) должно быть целым числом. Serpstatbot учитывает значения до 20 включительно. Большие значения Crawl-Delay уменьшат нагрузку на ваш сайт. Crawl-Delay также будет учитываться при использовании User-Agent: *.
Если наш бот обнаружит, что вы использовали директиву Crawl-Delay для любого другого бота, он автоматически замедлит процесс сканирования.
Могу ли я получить список IP адресов Serpstatbot?
Вот полный список IP адресов, которые использует Serpstatbot.
