Как заблокировать доступ Google и Bing к вашему сайту? — WebNots

Google использует поискового робота Googlebot для сканирования и индексации веб-страниц не реже одного раза в день. Как правило, сканирование основывается на XML-файле Sitemap, который вы отправляете в Google Search Console. Однако частота сканирования новостных веб-сайтов может измениться и быть более высокой по сравнению с веб-сайтами с обычным содержанием. Точно так же Bing также сканирует страницы с помощью поискового робота Bingbot. С одной стороны, веб-мастера хотят, чтобы Google и Bing мгновенно проиндексировали их страницы, с другой стороны, есть ситуации, когда вам нужно заблокировать этих поисковых роботов, чтобы они перестали сканировать весь сайт или определенные страницы на вашем сайте. В этой статье мы объясним, как заблокировать роботов Googlebot и Bingbot, что произойдет, когда вы заблокируете сканеры, а также общие причины проблем со сканированием.

Блокировка роботов Google и Bingbot

Есть несколько способов заблокировать свои страницы от Google и Bing в зависимости от степени серьезности, которая вам нужна.

1. Блокировка с помощью Robots.txt

Самый популярный и распространенный способ заблокировать поисковые роботы — использовать директиву в файле robots.txt. Например, вставка следующих строк заблокирует доступ Google и Bing к странице вашего сайта.

User-agent: Googlebot
Disallow: /your-page-url

User-agent: Bingbot
Disallow:  /your-page-url

Хотя Google и Bing следуют за файлом robots.txt, он не работает, если на заблокированные страницы есть ссылки из другой проиндексированной статьи. Это может быть ваш сайт или внешний сайт, которым вы не можете управлять.

Программы для Windows, мобильные приложения, игры - ВСЁ БЕСПЛАТНО, в нашем закрытом телеграмм канале - Подписывайтесь:)

2. Использование .htaccess для блокировки

Хотя это редкость, некоторые люди предпочитают использовать директиву .htaccess для блокировки поисковых роботов. Это похоже на блокировку IP-адреса роботов Google и Bingbot, так что полный доступ будет заблокирован для упомянутых страниц или каталогов.

RewriteEngine On
RewriteCond %{REQUEST_URI} ^/your-page-url
RewriteRule ^(.*)$ - [F,L]

3. Блокировка IP-адресов роботов Googlebot и Bingbot.

Проблемы с вышеуказанными методами заключаются в том, что вам необходим доступ к серверу для редактирования файлов. Кроме того, вы также можете ошибиться при редактировании файлов robots.txt и .htaccess. Альтернативный и эффективный вариант — использовать блокировку IP-адресов роботов Googlebot и Bingbot. Google и Bing предоставлять их обновленные IP-адреса для поисковых роботов, которые вы можете использовать в целях блокировки. Эти IP-адреса находятся в формате JSON, из которого вам нужно извлечь диапазон IP-адресов и использовать. Помните, что они предназначены для поисковых роботов Googlebot и Bingbot, а не для других целей, таких как сканер AdSense или рекламный сканер Microsoft.

Использование панели хостинга

Если у вас есть доступ к серверу, вы можете использовать инструмент блокировки IP, доступный на панели вашего хостинга. Например, HostGator предлагает приложение «IP Blocker» под названием IP Deny Manager в своей cPanel в разделе «Безопасность».

Блокировщик IP в HostGator cPanel

Блокировщик IP в HostGator cPanel

Вы можете найти аналогичный инструмент во всех хостинговых компаниях cPanel, таких как Bluehost. Щелкните приложение IP Blocker и укажите диапазон IP-адресов робота Googlebot или Bingbot, чтобы заблокировать доступ. Например, вы можете использовать один из следующих методов для предоставления IP-адреса Googlebot:

  • Используйте формат CIDR, как указано в файле JSON, например 66.249.64.0/27.
  • Подразумеваемый диапазон IP-адресов, например 66.249.66.0-255
  • Диапазон подстановочных знаков, например 66.249. *. *
  • Просто введите googlebot.com, поскольку большинство пользовательских агентов Goolgebot создаются с этого имени хоста.

Заблокируйте Googlebot и Bingbot в cPanel

Заблокируйте Googlebot и Bingbot в cPanel

Как правило, для блокировки доступа достаточно блокировки одного или нескольких IP-адресов. Однако вы можете использовать подстановочный знак или имя хоста, чтобы заблокировать весь доступ.

Использование плагинов безопасности для WordPress

В противном случае, если вы используете системы управления контентом, такие как WordPress, у вас есть много плагинов безопасности для блокировки ботов и IP-адресов с панели администратора сайта без перехода к учетной записи хостинга. Например, плагин SiteGround Security позволяет отслеживать трафик на ваш сайт в реальном времени. Вы можете найти IP-адрес роботов Googlebot и Bingbot по имени пользовательского агента и заблокировать их несколькими щелчками мыши прямо из панели администратора.

Блокировать IP в плагине безопасности SiteGround

Блокировать IP в плагине безопасности SiteGround

Это эффективные способы, особенно если вы хотите заблокировать доступ Google и Bing ко всему вашему сайту.

4. Скрытие страниц с авторизацией

Это полезно для ограничения доступа поисковых систем к страницам путем установки разрешений. Например, банковские сайты и сайты членства скрывают персонализированный контент за авторизацией входа, чтобы поисковые системы не могли получить доступ к контенту. Исходя из конфиденциальности контента, вам может потребоваться применить брандмауэр, заблокировать профили пользователей и т. Д. Настоятельно рекомендуется нанять разработчика и правильно установить ограничения на необходимом уровне каталога, чтобы Google не сканировал запрещенный раздел.

Управление скоростью или частотой сканирования

Если вы обнаружите, что роботы Googlebot и Bingbot потребляют много ресурсов сервера, вы можете контролировать скорость сканирования или частоту сканирования. Скорость сканирования — это количество запросов в секунду, выполняемых роботом Googlebot или Bingbot для получения контента с вашего сайта. Для веб-сайтов с высоким трафиком контроль скорости сканирования ботов имеет решающее значение для настройки ресурсов сервера. Узнайте больше о том, как изменить скорость сканирования Bingbot в Инструментах Bing для веб-мастеров.

Однако Google автоматически использует оптимизированную скорость сканирования для получения контента с вашего сайта. Вы можете просмотреть это из учетной записи Google Search Console. Если вас не устраивает текущая частота сканирования, отправьте специальный запрос в Google. Новая скорость сканирования будет работать в течение следующих 90 дней, а по истечении этого периода будет сброшена на оптимизированные настройки. Узнайте больше о том, почему вам следует контролировать скорость сканирования Googlebot.

Что происходит при блокировке роботов Googlebot и Bingbot?

Когда вы блокируете страницу или URL-адрес сайта, вы увидите разные типы ошибок в Google Search Console и Bing Webmaster Tools соответственно. Вот некоторые из распространенных ошибок, которые вы можете заметить в аккаунте Search Console:

  • URL-адрес заблокирован файлом robots.txt при использовании директив robots.txt.
  • Мягкий 404 с сообщением типа «Отправленный URL-адрес кажется мягким 404».
  • Частично просканировано или на странице нет ошибки содержания.

Если кто-то, управляющий вашим сайтом, ошибочно заблокировал страницы на вашем сайте, вы можете проверить ошибки консоли поиска Google в разделе «Покрытие» и исправить их. Однако вы можете не столкнуться с проблемами при блокировке IP или использовании метода .htaccess. Самый простой способ — использовать инструмент проверки URL-адресов в Google Search Console, Google PageSpeed ​​Insights или удобный для мобильных устройств инструмент тестирования, чтобы проверить, можно ли сканировать живую страницу. Вы увидите ошибку и пустую страницу, когда робот Googlebot заблокирован для доступа к этой странице.

Заключительные слова

Вы можете использовать один из вышеуказанных методов, чтобы заблокировать сканирование вашего сайта роботами Googlebot и Bingbot. Однако не допускайте ошибок при блокировке определенной страницы или раздела вашего сайта. В частности, блокировка IP-адреса является наиболее опасным действием, которое полностью удалит ваши страницы из поиска Google. Возможно, вам придется повторно отправить страницы и дождаться переиндексации, что может привести к падению трафика и, следовательно, дохода. Поэтому, если вы не знаете, как заблокировать роботов Google и Bingbot, свяжитесь со своей хостинговой компанией. В качестве альтернативы можно нанять разработчика для индивидуальной разработки, например, для сокрытия конфиденциального контента за авторизацией.

Программы для Windows, мобильные приложения, игры - ВСЁ БЕСПЛАТНО, в нашем закрытом телеграмм канале - Подписывайтесь:)

Похожие записи

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *