Serpstatbot: запитання й відповіді

Для чого потрібен serpstatbot?

Serpstatbot постійно сканує інтернет для додавання нових посилань і відстеження змін в нашій базі даних посилань. Ми надаємо нашим користувачам доступ до однієї з найбільших на ринку баз даних посилань для планування і контролю маркетингових кампаній.

Що відбувається з просканованими сторінками?

Дані щодо просканованих сторінок додаються в індекс посилань, доступ до якого ви можете отримати в Serpstat.

Що ви робите зі сторінками з 404 або 301 кодом відповіді сервера?

Ми збираємо історичні дані, щоб ніякі тимчасові зміни не вплинули на профіль посилань вашого сайту. Якщо посилання на сторінки з кодом відповіді сервера 404 або 301 все ще існують, serpstatbot виявить їх при повторному скануванні. Ви також можете ознайомитися з політикою Google щодо 404 сторінок.

Бот сканує посилання з атрибутом rel = nofollow?

Так, сканує.

Як я можу заблокувати serpstatbot?

Serpstatbot враховує директиви з robots.txt. Якщо ви не хочете, щоб бот сканував ваш сайт, додайте наступний текст в файл robots.txt:

User-agent: serpstatbot

Disallow: /

Завжди перевіряйте, чи доступний роботу сам файл robots.txt. Якщо файл недоступний, то serpstatbot буде за замовчуванням сканувати ваш сайт.

Якщо ви вважаєте, що serpstatbot не виконує директиви в robots.txt для вашого сайту, зв'яжіться з нами за електронною поштою serpstatbot@serpstatbot.com. Надайте адресу вашого веб-сайту і записи логів, що показують, що бот намагається сканувати сторінки, що закриті в robots.txt.

Які команди в robots.txt підтримує serpstatbot?

Serpstatbot підтримує такі доповнення до robots.txt:

Чому я не можу заблокувати serpstatbot в robots.txt?

Є кілька причин:

Як я можу сповільнити serpstatbot?

Ви можете уповільнити роботу бота, додавши наступні директиви в файл robots.txt:

User-Agent: serpstatbot

Crawl-Delay: 5

Значення Crawl-Delay (тривалість очікування між запитами в секундах) має бути цілим числом. Serpstatbot враховує значення до 20 включно. Великі значення Crawl-Delay зменшать навантаження на ваш сайт. Crawl-Delay також буде враховуватися при використанні User-Agent: *.

Якщо наш бот виявить, що ви використовували директиву Crawl-Delay для будь-якого іншого бота, він автоматично сповільнить процес сканування.

Чи можу я отримати список IP Serpstatbot?

Так, ось повний список адрес Serpstatbot.

Send article

Save the link and read the article later.
Choose where to send the link to the article.

email_image Mail
pocket_image Pocket
flipboard Flipboard
facebook_image Messenger
telegram_image Telegram

Поделитесь статьей с вашими друзьями