Serpstatbot: запитання й відповіді
Для чого потрібен serpstatbot?
Serpstatbot постійно сканує інтернет для додавання нових посилань і відстеження змін в нашій базі даних посилань. Ми надаємо нашим користувачам доступ до однієї з найбільших на ринку баз даних посилань для планування і контролю маркетингових кампаній.
Що відбувається з просканованими сторінками?
Дані щодо просканованих сторінок додаються в індекс посилань, доступ до якого ви можете отримати в Serpstat.
Що ви робите зі сторінками з 404 або 301 кодом відповіді сервера?
Ми збираємо історичні дані, щоб ніякі тимчасові зміни не вплинули на профіль посилань вашого сайту. Якщо посилання на сторінки з кодом відповіді сервера 404 або 301 все ще існують, serpstatbot виявить їх при повторному скануванні. Ви також можете ознайомитися з політикою Google щодо 404 сторінок.
Бот сканує посилання з атрибутом rel = nofollow?
Так, сканує.
Як я можу заблокувати serpstatbot?
Serpstatbot враховує директиви з robots.txt. Якщо ви не хочете, щоб бот сканував ваш сайт, додайте наступний текст в файл robots.txt:
User-agent: serpstatbot
Disallow: /
Завжди перевіряйте, чи доступний роботу сам файл robots.txt. Якщо файл недоступний, то serpstatbot буде за замовчуванням сканувати ваш сайт.
Якщо ви вважаєте, що serpstatbot не виконує директиви в robots.txt для вашого сайту, зв'яжіться з нами за електронною поштою serpstatbot@serpstatbot.com. Надайте адресу вашого веб-сайту і записи логів, що показують, що бот намагається сканувати сторінки, що закриті в robots.txt.
Які команди в robots.txt підтримує serpstatbot?
Serpstatbot підтримує такі доповнення до robots.txt:
- Crawl-delay до 20 секунд (більші значення прирівнюються до 20 секунд).
- Редирект в межах одного сайту при спробі отримати robots.txt.
- Прості шаблони в директивах Disallow, згідно із специфікацією Yahoo щодо використання символу "*".
- Директиви Allow мають перевагу перед Disallow, якщо вони довші.
- Помилки при отриманні файлу robots.txt, наприклад, 403 Forbidden, розглядаються як відсутність будь-яких заборон. В такому випадку, бот буде краулити всі фізично доступні сторінки.
Чому я не можу заблокувати serpstatbot в robots.txt?
Є кілька причин:
- При запиті robots.txt бот перенаправляється на інший сайт: serpstatbot переходить тільки по редиректу на тому ж домені.
- Якщо на одному сервері є декілька доменів, то деякі сервери можуть писати логи звернень до цих доменів в один файл без вказівки домена. Додайте інформацію про домен в логи або розділіть логи для різних доменів.
Як я можу сповільнити serpstatbot?
Ви можете уповільнити роботу бота, додавши наступні директиви в файл robots.txt:
User-Agent: serpstatbot
Crawl-Delay: 5
Значення Crawl-Delay (тривалість очікування між запитами в секундах) має бути цілим числом. Serpstatbot враховує значення до 20 включно. Великі значення Crawl-Delay зменшать навантаження на ваш сайт. Crawl-Delay також буде враховуватися при використанні User-Agent: *.
Якщо наш бот виявить, що ви використовували директиву Crawl-Delay для будь-якого іншого бота, він автоматично сповільнить процес сканування.
Чи можу я отримати список IP Serpstatbot?
Так, ось повний список адрес Serpstatbot.
