Serpstatbot: часто задаваемые вопросы

Для чего нужен serpstatbot?

Serpstatbot постоянно сканирует интернет для добавления новых ссылок и отслеживания изменений в нашей ссылочной базе данных. Мы предоставляем нашим пользователям доступ к одной из самых больших на рынке ссылочных баз данных для планирования и контроля маркетинговых кампаний.

Что происходит с просканированными страницами?

Данные о просканированных страницах добавляются в ссылочный индекс, доступ к которому вы можете получить в Serpstat.

Что вы делаете со страницами с 404 или 301 кодом ответа сервера?

Мы собираем исторические данные, чтобы никакие временные изменения не повлияли на ссылочный профиль вашего сайта. Если ссылки на страницы с кодом ответа сервера 404 или 301 все еще существуют, serpstatbot обнаружит их при повторном сканировании. Вы также можете ознакомиться с политикой Google в отношении 404 страниц.

Бот сканирует ссылки с атрибутом rel=nofollow?

Хотя Google и утверждает, что ссылки с атрибутом rel=nofollow не влияют на Pagerank, но бот все равно сканирует целевые страницы. Используйте файл robots.txt, чтобы запретить serpstatbot сканировать страницы вашего сайта. Больше информации вы можете найти в соответствующей статье в Википедии.

Как я могу заблокировать serpstatbot?

Serpstatbot учитывает директивы из robots.txt. Если вы не хотите, чтобы бот сканировал ваш сайт, добавьте следующий текст в файл robots.txt:

User-agent: serpstatbot

Disallow: /

Всегда проверяйте, доступен ли роботу сам файл robots.txt. Если файл недоступен, то serpstatbot будет по умолчанию сканировать ваш сайт.

Если вы считаете, что serpstatbot не выполняет директивы в robots.txt для вашего сайта, свяжитесь с нами по электронной почте serpstatbot@serpstatbot.com. Предоставьте адрес вашего веб-сайта и записи логов, показывающие, что бот пытается сканировать страницы, закрытые в robots.txt.

Какие команды в robots.txt поддерживает serpstatbot?

Serpstatbot поддерживает следующие дополнения к robots.txt:

Почему я не могу заблокировать serpstatbot в robots.txt?

Есть несколько причин:

Как я могу замедлить serpstatbot?

Вы можете замедлить работу бота, добавив следующие директивы в файл robots.txt:

User-Agent: serpstatbot

Crawl-Delay: 5

Значение Crawl-Delay (длительность ожидания между запросами в секундах) должно быть целым числом. Serpstatbot учитывает значения до 20 включительно. Большие значения Crawl-Delay уменьшат нагрузку на ваш сайт. Crawl-Delay также будет учитываться при использовании User-Agent: *.

Если наш бот обнаружит, что вы использовали директиву Crawl-Delay для любого другого бота, он автоматически замедлит процесс сканирования.

Как я могу проверить, что запросы поступают от Serpstat?

К сожалению, мы не можем ограничить наших ботов набором статических IP-адресов. Тем не менее, мы можем отправлять специальную строку с идентификаторами вместе со всеми запросами к вашему сайту. Это могут быть HTTP-заголовки CRAWLER-IDENT или User-Agent. Serpstat не будет использовать эти идентификаторы для другого домена или поддомена, поэтому вы будете знать, что запросы, содержащие эту строку, поступают из нашей сети. Чтобы воспользоваться этой возможностью, свяжитесь с serpstatbot@serpstatbot.com с информацией о вашем сайте и идентификатором, который вы хотите отправить. Мы также можем сгенерировать случайный идентификатор для вас.

Send article

Save the link and read the article later.
Choose where to send the link to the article.

email_image Mail
pocket_image Pocket
flipboard Flipboard
facebook_image Messenger
telegram_image Telegram

Поделитесь статьей с вашими друзьями

Войти Регистрация

Вы исчерпали лимит запросов.

Or email
Забыли пароль?
Or email
Back To Login

Don’t worry! Just fill in your email and we’ll send over your password.

Are you sure?

Awesome!

To complete your registration you need to enter your phone number

Back

We sent confirmation code to your phone number

Your phone Resend code queriesLeft

smthWentWrong

contactSupport
telegramVerification telegramBotLink
Choose the project to view data on it

Персональная презентация сервиса

Serpstat is all about saving time, and we want to save yours! One of our specialists will contact you and discuss options going forward.

These may include a personal demonstration, a trial period, comprehensive training articles & webinar recordings, and custom advice from a Serpstat specialist. It is our goal to make you feel comfortable while using Serpstat.

Name
Email
Phone
We are glad of your comment

Upgrade your plan

Export is not available for your account. Please upgrade to Plan A or higher to get access to the tool. Learn more.

Sign Up Free

Спасибо, мы с вами свяжемся в ближайшее время

Invite
Просмотр Редактирование

E-mail
Message
Optional
E-mail
Message
Optional

У вас закончились лимиты

Вы достигли лимита на количество созданных проектов и больше не можете создавать новые проекты. Увеличьте лимиты или удалите существующие проекты.

Я хочу больше лимитов

Christmas is a time for miracles.

You are almost on the finish line of our Christmas quest. The last brick of your lego-promocode is left on the way ap 55% discount.

Did not find previous lego-bricks? Fill the form anyway.

Name
Email
Phone

Missing translations for "English" English | Русский | Українська | German

  • Такого пользователя...add
  • All-in-Oneadd
  • Блогadd
  • Поддержкаadd
  • This site uses cookies and other tracking...add
  • Accept and continueadd
  • Руководствоadd
  • Попробовать бесплатноadd
  • Pricesadd
  • Pressadd
  • Clients Serpstatadd
  • Customer Successadd
  • Communityadd
  • Member Perksadd
  • Affiliate Programadd
  • Webinarsadd
  • PPCadd
  • Toolsadd
  • Site auditadd
  • SERP crawlingadd
  • Languagesadd
  • in 2013. From 2015 - fully independent.add
  • Save the link and read the article later.add
  • Email is Emptyadd
  • The article is sent to you by mailadd
  • Регистрацияadd
  • Wrong emailadd
  • Passwordadd
  • Забыли пароль?add
  • I agree to Serpstat'sadd
  • Don’t worry! Just fill in your email and...add
  • Confirmadd
  • To complete your registration you need to...add
  • Backadd
  • Resend codeadd
  • contactSupportadd
  • Code is invalidadd
  • Персональная...add
  • Nameadd
  • Optionaladd
  • See Serpstat in actionadd
  • Upgrade your planadd
  • Upgrade planadd
  • Просмотрadd
  • Messageadd
  • Addadd
  • Select Alladd
  • У вас закончились лимитыadd
  • Christmas is a time for miracles.add
  • Write your discount codeadd
  • Successadd
  • Erroradd
  • Loading... Wait for a while.add
  • Некоторые функции...add
  • SEO platformadd
  • Тарифыadd
  • Улучшить планadd
  • By using the website, you agree to ouradd
  • Входadd
  • Language:add
  • or see our plans & pricesadd
  • About usadd
  • Bannersadd
  • Help centeradd
  • Knowledge baseadd
  • Blogadd
  • Experts We Loveadd
  • Discountsadd
  • Rankadd
  • Legal infoadd
  • Rank trackeradd
  • Competitor analysisadd
  • Keywords clusteringadd
  • Download pluginadd
  • Mailadd
  • Choose where to send the link to the article.add
  • Not valid emailadd
  • Поделитесь статьей с...add
  • Вы исчерпали лимит...add
  • Email Addressadd
  • Sign Inadd
  • Wrong phoneadd
  • Sign Up Freeadd
  • Send Emailadd
  • Canceladd
  • Telephone is invalidadd
  • We sent confirmation code to your phone...add
  • queriesLeftadd
  • telegramVerificationadd
  • Confirmation codeadd
  • Serpstat is all about saving time, and we...add
  • Emailadd
  • Textadd
  • Choose planadd
  • Export is not available for your account....add
  • Спасибо, мы с вами...add
  • Редактированиеadd
  • Optionaladd
  • Select somethingadd
  • Clear Alladd
  • Вы достигли лимита на количество...add
  • You are almost on the finish line of our...add
  • Add discount codeadd
  • Warningadd
  • Competitors list {start_name}{end_name}...add
  • Yesadd
  • Зарегистрируйтесь...add
  • Возможностиadd
  • Примерыadd
  • Запросить демоadd
  • Privacy Policyadd
  • FAQadd
  • Growth hacking tool for SEO, PPC and...add
  • Featuresadd
  • Statisticsadd
  • Contact usadd
  • Serpstat Академияadd
  • Serpsat APIadd
  • Send a guest postadd
  • User Testimonialsadd
  • Affiliate Program For Study Centersadd
  • SEOadd
  • Affiliate Agreementadd
  • Backlinksadd
  • Keyword researchadd
  • Text Analyticsadd
  • Was born and developed in SEO and PPC agencyadd
  • Send articleadd
  • Backadd
  • Submitadd
  • Войтиadd
  • Or emailadd
  • Cannot be emptyadd
  • Запомнить меняadd
  • Phoneadd
  • Back To Loginadd
  • Are you sure?add
  • Awesomeadd
  • Enter Phoneadd
  • Your phoneadd
  • smthWentWrongadd
  • telegramBotLinkadd
  • Choose the project to view data on itadd
  • These may include a personal...add
  • We are glad of your commentadd
  • Confirm that you are not a robotadd
  • Contact adminadd
  • Learn more.add
  • Inviteadd
  • E-mailadd
  • Canceladd
  • Searchadd
  • No results matchedadd
  • Я хочу больше лимитовadd
  • Did not find previous lego-bricks? Fill...add
  • No keywordsadd
  • Infoadd
  • Competitors list updated...add
  • Noadd