8 причин, по которым Google неправильно сканирует ваш сайт? –

После публикации статьи мгновенное отображение ее в результатах поиска Google является одной из основных задач для всех владельцев веб-сайтов. Некоторые даже пробуют инструмент проверки URL в Google Search Console для отправки запроса на сканирование вручную. Однако Google не гарантирует сканирование и индексирование контента для веб-сайтов. Хотя вы не можете изменить этот факт с помощью Google, существует множество других факторов, которые на самом деле могут повлиять на сканирование ваших статей Google. Если вы изо всех сил пытаетесь отобразить свой контент, вот некоторые из основных вещей, которые вам нужно проверить, чтобы разрешить роботам поисковых систем правильно сканировать ваш сайт.

Почему мгновенное сканирование важно?

Для вас может быть не так важно мгновенно показывать статьи в Google, когда вы публикуете учебные пособия или практические материалы. Однако мгновенное сканирование имеет смысл, особенно если контент не остается актуальным слишком долго. Например, акция к особому случаю, например, к Новому году, действует всего несколько дней. Вы должны убедиться, что контент доходит до вашей аудитории в этот период. Такая же ситуация со всеми новостями и СМИ, публикующими миллионы статей каждую секунду.

Типы проблем со сканированием, которые необходимо проверить

Существует несколько основных типов проблем со сканированием, с которыми вы можете столкнуться:

• Googlebot вообще не сканирует ваш контент
• Контент слишком долго отображается в результатах поиска
• Контент отображается в недопустимом формате

Вы можете выполнить простой поиск в Google или проверить учетную запись Search Console, чтобы найти эти проблемы на вашем сайте. Если вы обнаружите одну из этих проблем, узнайте, являются ли они причинами.

1. Используйте оптимизированную XML-карту сайта

Сначала убедитесь, что вы отправили XML Sitemap в Google Search Console. Помните, что вы должны были подтвердить право собственности на сайт, чтобы использовать функции учетной записи Search Console. Это основная информация для робота Googlebot, чтобы начать процесс сканирования, и вы можете увидеть дату последнего чтения в отношении отправленной карты сайта. Это поможет вам определить, сканирует ли робот Googlebot ваш контент, или возникли какие-либо проблемы, которые вы можете проверить в тех же разделах Sitemap или Coverage.

Некоторые файлы Sitemap не читаются роботом Googlebot

Многие пользователи считают, что автоматически сгенерированного файла Sitemap в формате XML более чем достаточно, чтобы Google мог сканировать ваш контент. Однако лучше представить правильно проверенный файл Sitemap для вашего сайта, который содержит всю необходимую информацию. Давайте возьмем пример файлов Sitemap с платформ Weebly и WordPress. И Weebly, и WordPress автоматически генерируют XML-карту сайта для вас, хотя вы можете создать собственный индекс карты сайта для WordPress с помощью таких плагинов, как Yoast SEO или Rank Math.

Пример Weebly Sitemap — Weebly Sitemap показывает URL-адрес и дату последнего изменения.

XML-карта сайта Weebly

Пример карты сайта WordPress, сгенерированный Yoast SEO. Карта сайта WordPress показывает URL-адрес, дату последнего изменения, количество изображений и, что наиболее важно, в формате индекса карты сайта.

XML-указатель карты сайта

Индекс показывает четкую структуру вашего сайта, и каждый отдельный файл Sitemap содержит соответствующие статьи, например, запись Sitemap содержит только записи, релевантные времени, без смешивания со статическими страницами.

Индивидуальная карта сайта для публикации в WordPress

Хотя обе платформы не используют приоритет в карте сайта, карта сайта WordPress четко сообщает Google о том, является ли статья публикацией или страницей, и связывает каждый URL-адрес с контентом. Googlebot также может получить подробную информацию о различных типах сообщений, доступных на вашем сайте, чтобы лучше понять структуру.

Кроме того, проверьте автоматически сгенерированный файл Sitemap на наличие страниц 301 и 404, а затем исправьте их. Убедившись, что ваш файл Sitemap чист, перейдите в Google Search Console и отправьте его повторно.

2. Проверьте наличие заблокированного контента

Иногда вы или ваш разработчик можете случайно заблокировать сканеры поисковых систем. Например, вы могли настроить правила блокировки на сайте разработки и, не заметив, перенесли изменения на действующий сайт. Хотя есть несколько способов заблокировать контент, самый популярный способ — оставить директиву disallow в файле robots.txt. Это может помешать роботу Googlebot и другим роботам поисковых систем сканировать определенные части вашего веб-сайта.

Заблокировано файлом robots.txt

Используйте инструмент Google Robots.txt Tester, чтобы проверить файл robots.txt вашего сайта, удалить заблокированные записи и повторно отправить URL-адреса в Google Search Console. Имейте в виду, что могут пройти недели, прежде чем веб-страницы снова будут просканированы и начнут отображаться в результатах поиска.

Тестер файла robots.txt

Кроме того, возможно, вы ошибочно заблокировали IP-адрес робота Googlebot, что может заблокировать сканирование. Проверьте в инструменте IP-менеджера своего хостинг-аккаунта и в панели управления вашего веб-сайта и удалите все заблокированные IP-адреса, принадлежащие роботу Googlebot. Наконец, проверьте метатег robots на уровне страницы и убедитесь, что на странице нет блокирующих метаатрибутов, таких как nofollow и noindex.

Примечание: Большинство систем управления контентом и инструментов для создания веб-сайтов также позволяют блокировать ботов поисковых систем при создании нового веб-сайта. Обязательно отключите эту функцию при отправке XML Sitemap в Google.

Отключить поисковые системы в WordPress

3. Исправьте отсутствующие структурированные данные

Использование структурированных данных помогает роботу Googlebot понять содержание вашей страницы и показать соответствующие детали в результатах поиска. Например, вы хотите показывать звездный рейтинг вместо обычного текста для своих обзорных статей. Хотя это не остановит Googlebot, как записи в файле robots.txt, вы можете увидеть неожиданные результаты.

Ошибка обзора фрагмента в Google Search Console

Вы можете добавить структурированную разметку данных с помощью JSON-LD в соответствии с рекомендациями Google. Обязательно протестируйте разметку структурированных данных вашего сайта с помощью Инструмент тестирования разметки схемы и исправить все проблемы. После этого используйте Инструмент проверки расширенных результатов чтобы узнать, как Google видит ваши структурированные данные при отображении в результатах поиска.

Инструмент проверки расширенных результатов Google

Это поможет вам добавить всю обязательную информацию для используемого вами типа схемы и отобразить привлекательный контент в результатах поиска. Хотя это выглядит технически, системы управления контентом, такие как WordPress, упрощают это с помощью плагинов.

4. Объедините повторяющиеся веб-страницы

Небольшие веб-сайты просты в обслуживании и, как правило, не имеют проблем с дублированием контента. Однако для крупных веб-сайтов, особенно веб-сайтов электронной коммерции, дублирование веб-сайтов является большой проблемой. Веб-сайты электронной коммерции могут использовать одну специальную веб-страницу для каждого варианта продукта. Это означает, что варианты продукта могут быть практически идентичными. Когда это произойдет, Google автоматически сделает одну из страниц вашей основной и проигнорирует все остальные страницы, считая их дубликатами.

Google выбирает другой канонический URL

Это может создать проблему, когда страницы с дешевыми вариантами появляются в результатах поиска вместо страниц с высокой конверсией продаж.

• Во-первых, избегайте дублирования контента, объединяя страницы и удаляя страницы с низкой ценностью. Обязательно настройте переадресацию 301, чтобы роботы поисковых систем понимали, какую страницу показывать в результатах поиска.
• Если неизбежно использование дубликатов веб-страниц на вашем веб-сайте, предпочтительно использовать канонический тег для идентификации родительской страницы.
• Наконец, вы можете использовать варианты цен и продуктов на одной странице продукта вместо создания нескольких страниц. Вы можете легко сделать это с помощью плагинов, таких как WooCommerce, при использовании WordPress.

5. Беспорядочная структура сайта

Как правило, URL-адрес не является фактором ранжирования для показа контента в Google. Однако наличие четко определенной и чистой структуры URL-адресов будет способствовать улучшению взаимодействия с пользователем, что, в свою очередь, приведет к более высокому рейтингу в результатах поиска. С точки зрения сканирования рассмотрите возможность использования простых URL-адресов страниц и используйте навигационную цепочку, чтобы указать поисковым системам, где именно находится текущая страница на вашем сайте. Каждая веб-страница может быть размещена непосредственно под основным доменом, чтобы структура URL была простой.

Вот что Google официально заявляет для использования сложных URL:

Чрезмерно сложные URL-адреса, особенно содержащие несколько параметров, могут создавать проблемы для поисковых роботов, создавая излишне большое количество URL-адресов, указывающих на идентичный или похожий контент на вашем сайте. В результате робот Googlebot может потреблять гораздо больше пропускной способности, чем необходимо, или может быть не в состоянии полностью проиндексировать весь контент на вашем сайте.

Google

Вы можете не указывать в URL-адресах следующие элементы, чтобы избежать проблем, связанных со сканированием:

• Если URL-адреса вашей веб-страницы по-прежнему автоматически генерируются с использованием случайных символов, рекомендуется исправить это. Также избегайте использования динамических параметров, чтобы избежать дублирования сканирования.
• Блокируйте результаты внутреннего поиска и другие повторяющиеся URL-адреса с параметрами, используя директивы файла robots.txt.
• Избегайте использования подчеркивания и вместо этого используйте дефис.
• Добавьте атрибут nofollow к гиперссылкам, где вы не хотите, чтобы сканеры переходили по ссылкам, и исправьте неработающие ссылки, избегая ошибок 404.

Несоблюдение правил приведет к тому, что робот Googlebot не просканирует ваш URL-адрес, и вы увидите такие ошибки, как «URL неизвестен Google» при проверке URL-адреса в Search Console.

URL неизвестен Google

6. Слишком много кода JavaScript

Блокировка рендеринга JavaScript — одна из самых популярных проблем, с которыми вы можете столкнуться при использовании инструмента Google PageSpeed ​​Insights для измерения скорости. Когда вы используете тяжелый JavaScript на своей странице, убедитесь, что он не блокирует загрузку содержимого страницы для поисковых роботов. Некоторые веб-сайты используют тяжелый код JavaScript для слайдеров, фильтрации портфолио и демонстрации динамических диаграмм. Проблема в том, что остальной текстовый контент на странице не будет загружаться до тех пор, пока JavaScript не будет загружен полностью. Это может привести к тому, что робот Googlebot не получит все содержимое вашей страницы.

Протестируйте свои страницы с помощью JavaScript, используя инструмент проверки URL в Google Search Console, чтобы увидеть, как робот Googlebot для смартфонов сканирует ваш сайт.

Скрипты и изображения заблокированы

Если вы видите частичное сканирование или пустой контент, вам может потребоваться проверить следующее:

• Проверьте свое решение для кэширования, и CDN работает правильно, доставляя полный контент без блокировки.
• Переместите файлы JavaScript на странице в нижний колонтитул, чтобы другой контент мог загружаться быстрее.
• Прошли те времена, когда для создания интерактивных веб-страниц приходилось использовать множество JavaScript, таких как jQuery. Найдите и замените элементы на основе JavaScript на своей странице статическим HTML или CSS.

Другая проблема с JavaScript связана с использованием кода со сторонних сайтов, таких как Google AdSense. К сожалению, вы не можете оптимизировать сторонний контент, и вы можете либо избегать их использования, либо откладывать их загрузку до тех пор, пока не произойдет взаимодействие с пользователем. Скрипты задержки не покажут их поисковым роботам, таким как Googlebot, и бот не увидит соответствующий контент на странице. Это может хорошо работать для рекламы, но для функций, связанных с текстовым содержимым, всегда лучше использовать HTML или CSS вместо JavaScript.

7. Большие и неоптимизированные изображения

Есть две возможности сканирования проблем с изображениями. Один не видит изображения в результатах поиска Google Image, а другой — изображения создают проблему для обычной страницы с текстовым содержимым.

• Если у вас есть такие веб-сайты, как портфолио, фотографии или произведения искусства, важно показывать отдельные изображения в результатах поиска. Лучший вариант здесь — использовать отдельный файл Sitemap для изображений, чтобы робот Googlebot мог сканировать их отдельно.
• Когда у вас есть большое неоптимизированное изображение в разделе заголовка вашей страницы, это может создать проблемы для робота Googlebot. Вы увидите ошибки, например, что отправленная страница не содержит контента в Search Console, поскольку робот Googlebot не может отображать оставшийся текстовый контент на странице. решение здесь состоит в том, чтобы использовать оптимизированные изображения меньшего размера и серверировать их в более легком формате, таком как WebP.

Помните, что Google использует Google-Image в качестве сканера для сканирования изображений. Поэтому при тестировании изображений обязательно используйте Google-Image в качестве бота, чтобы получить правильные результаты.

8. Медленный хостинг-сервер

Вы можете задаться вопросом, как скорость сервера может повлиять на сканирование Googlebot. Проблема возникает, когда у вас есть большое количество URL-адресов в XML Sitemap, и робот Googlebot не может просканировать их все из-за ограниченных ресурсов сервера. Как упоминалось выше, такие плагины, как Yoast SEO в WordPress, создают отдельные файлы Sitemap, каждый из которых содержит 1000 URL-адресов. Большинство серверов виртуального хостинга будут аварийно завершать работу при попытке открыть файл Sitemap в браузере. Если это так, вы не можете ожидать, что робот Googlebot просканирует файл Sitemap.

• Попробуйте разделить каждый файл Sitemap на 200 или менее URL-адресов.
• Проверьте оборудование и пропускную способность вашего сервера, чтобы оптимизировать производительность. Кроме того, вы можете перейти на VPS или выделенный хостинг, чтобы улучшить общую производительность. Для WordPress вы можете выбрать управляемые хостинговые компании WordPress, такие как SiteGround, Kinsta или WPEngine.

Помните, что скорость загрузки страниц на мобильных устройствах важна, поскольку Google по умолчанию использует поисковый робот для смартфонов для сканирования и индексации ваших страниц. Медленная загрузка страниц на мобильных устройствах может создать проблемы для поисковых роботов при захвате всего контента. Поэтому убедитесь, что у вас есть адаптивный веб-сайт, оптимизированный для скорости мобильных устройств. Помимо наличия сильного хостинг-сервера, обязательно кэшируйте свой контент, используйте CDN и нацельтесь на передачу Core Web Vitals. Эти факторы помогают повысить рейтинг ваших страниц в результатах поиска Google.

Заключительные слова

Все вышеупомянутые пункты являются руководством для владельцев веб-сайтов по отслеживанию и устранению проблем, связанных со сканированием на их сайте. Помните, что при индексировании с мобильных устройств Google по умолчанию использует сканер для смартфонов для сканирования и индексации вашего контента. Поэтому убедитесь, что у вас есть оптимизированный для мобильных устройств сайт с быстрой загрузкой текстового контента над областью сгиба и избегайте использования тяжелого JavaScript и изображений в заголовке. Эти факторы, наряду с правильной XML-картой сайта и чистым файлом arobots.txt, помогут поисковым роботам мгновенно находить и индексировать ваш контент.