Как исправить ошибку Googlebot, заблокированную Cloudflare? –

Cloudflare — популярный CDN и поставщик услуг безопасности, доступный для владельцев веб-сайтов. Платформа предлагает WAF (брандмауэр веб-приложений) и защищает ваш сайт от вредоносных ботов и атак. Однако проблема возникает, когда Cloudflare блокирует законных роботов Googlebot и Bingbot. Это может быстро привести к катастрофическим последствиям для трафика вашего сайта, поскольку блокировка робота Googlebot приведет к удалению страниц из результатов поиска. Если вы обнаружите, что Googlebot заблокирован Cloudflare, вот некоторые настройки, которые вы должны проверить в своей учетной записи.

Как узнать, что Cloudflare блокирует робота Googlebot?

Есть несколько способов понять, что вы блокируете поиск роботом Googlebot вашего сайта:

Первым признаком является то, что ваш трафик уменьшится после включения настройки Cloudflare для вашего сайта, и страницы начнут исчезать из результатов поиска Google. Таким образом, вы можете сразу понять, что что-то идет не так, если вы следите за посещаемостью вашего сайта. Следующий вариант — проверить проблемы с индексацией страниц в вашей учетной записи Google Search Console. Вы должны увидеть множество ошибок 5xx, указывающих на то, что страницы заблокированы на стороне сервера. Владелец веб-сайта также получает электронное письмо от Google Search Console, в котором говорится, что количество страниц, заблокированных сервером, увеличивается. Вы можете попробовать повторно отправить страницу с помощью инструмента проверки URL, который не покажет, что страница не может быть просканирована роботом Googlebot.

Наконец, вы также можете проверить это из своей учетной записи Cloudflare, перейдя в раздел «Перейти в «Безопасность> События». Отфильтруйте результаты по IP-адресу Google, чтобы просмотреть количество элементов, заблокированных по причинам. Ты можешь проверить эту официальную страницу от Google чтобы получить полный список IP-адресов последнего поискового робота Googlebot. Проверьте в столбце «Сервис» (если столбец не отображается, нажмите кнопку «Редактировать столбцы», чтобы добавить), чтобы найти причины блокировки.

Журнал активности фильтра для IP-адреса сервера

Щелкните любой из элементов, чтобы просмотреть дополнительные сведения, такие как URL-адрес, ASN и точную категорию блокировки. Как вы можете видеть на снимке экрана ниже в разделе «Управляемые правила», он показывает, что «управление определенными ботами» является причиной блокировки IP-адреса.

Найти сведения о безопасности для IP-адреса сервера

Это даст вам четкое представление о том, сколько URL-адресов заблокировано и какие настройки в вашей учетной записи Cloudflare вызвали блокировку.

Разблокировка робота Googlebot в Cloudflare

Проблема здесь в том, что Google может занять много времени для повторного сканирования и переиндексации исчезнувших страниц. Это означает, что вы потеряете трафик до тех пор, пока страницы не будут обнаружены снова. Если вы не устраните проблему немедленно, вы также можете навсегда потерять трафик от Google. Проанализировав события безопасности в учетной записи Cloudflare, мы перечислили следующие вещи, которые вы должны проверить, чтобы решить проблему.

1. Отключить режим бота

Первое, что вы должны отключить в Cloudflare, — это режим бота. Эта опция доступна для всех пользователей, включая бесплатную учетную запись. Хотя это предназначено для блокировки неизвестных и вредоносных ботов, Cloudflare также может блокировать IP-адреса роботов Google. Перейдите в раздел «Безопасность > Боты» и выключите переключатель напротив опции «Режим борьбы с ботами».

Отключить режим боя ботов в Cloudflare

2. Режим супербота для премиум-аккаунтов

Если вы используете Pro и другие премиум-планы в Cloudflare, у вас будет дополнительная опция Super Bot Fight Mode. Когда вы находитесь в разделе «Безопасность > Боты», нажмите ссылку «Настроить режим Super Bot Fight».

Проверьте режим Super Bot Fight в Cloudflare

Вы увидите список опций, показывающий тип ботов и действие, которое вы хотите предпринять для этого типа. В идеальном сценарии Cloudflare должен рассматривать Googlebot как проверенного бота и разрешать доступ по умолчанию. Однако, если вы видите, что Googlebot заблокирован в событиях безопасности, щелкните раскрывающийся список напротив пункта «Определенно автоматизировано» и выберите «Разрешить». Это позволит любым автоматическим ботам, таким как Googlebot, получить доступ к вашему сайту без блокировки.

Разрешить определенно автоматизированных ботов в Cloudflare

3. Проверьте блокировку IP

Многие пользователи вручную блокируют список IP-адресов в Cloudflare или даже полностью блокируют трафик из определенной страны. Если вы вручную добавили IP-адреса в список блокировки, рекомендуется просмотреть список. Поскольку у бота Google есть сотни IP-адресов, есть вероятность, что вы могли по ошибке заблокировать IP-адрес или ASN Google. Перейдите в раздел «Безопасность > WAF» и нажмите на вкладку «Инструменты». Проверьте, есть ли какие-либо элементы, которые отображаются как заблокированные, и просмотрите их.

Проверьте заблокированный IP-адрес в Cloudflare

Если вы видите, что в разделе событий безопасности заблокировано только несколько определенных IP-адресов Google, вы можете разрешить доступ к этим конкретным IP-адресам. Таким образом, вы можете продолжать использовать режим борьбы с ботами и избежать блокировки робота Googlebot.

4. Отключить правила брандмауэра

Cloudflare применяет набор правил брандмауэра как часть WAF для защиты вашего сайта. Пользователи бесплатной учетной записи не имеют возможности настраивать эти правила. Однако, если вы используете премиум-аккаунт, вы можете просмотреть эти наборы правил и отключить элементы, которые могут вызвать проблему. Когда вы находитесь в разделе «Безопасность> WAF», перейдите на вкладку «Управляемые правила» и выключите переключатель напротив опции «Управляемые правила».

Отключить управляемые правила WAF в Cloudflare

Если вы используете WordPress для своего сайта, прокрутите страницу вниз и отключите набор правил «Cloudflare WordPress».

Отключить набор правил брандмауэра Cloudflare для WordPress

Теперь вы можете проверить с помощью любого инструмента сканирования, может ли робот Googlebot видеть ваш контент. Для этой цели вы можете использовать инструмент проверки URL в Search Console или другие инструменты Google, такие как Mobile Friendly Tester или Google PageSpeed ​​Insight.

Заключительные слова

К сожалению, слишком много плохих ботов сканируют веб-сайт, доступный в Интернете. Это усложняет задачу Cloudflare по точному выявлению и блокировке незаконных ботов. В качестве ложного срабатывания Cloudflare может заблокировать или оспорить поисковых роботов и реальных пользователей. Если вы настроили режим вызова в Cloudflare, реальные пользователи могут ввести код проверки и посетить ваш сайт. Однако боты поисковых систем не могут этого сделать и просто не могут просканировать ваш сайт. Поэтому не экспериментируйте с настройками Cloudflare, такими как применение режима бота или блокировка IP-адресов, не зная последствий. После добавления вашего сайта в Cloudflare обязательно отслеживайте трафик вашего сайта, чтобы избежать непредвиденных проблем.