Как редактировать файл robots.txt в Weebly? –

Включение файла robots.txt — это стандартный способ указать поисковым роботам, какой контент на вашем сайте сканировать, а какой нет. Вы можете напрямую получить доступ к файлу robots.txt и редактировать или контролировать видимость вашего сайта в поисковых системах из раздела администратора. Weebly — это бесплатная хостинговая платформа, которая не позволяет пользователям получать доступ к файлам на сервере. Следовательно, единственный доступный вариант — управлять настройками из редактора вашего сайта. Если вам интересно, как редактировать файл robots.txt из редактора сайта Weebly, вот инструкции для вас.

Что вы можете сделать с robots.txt?

Поисковые системы, такие как Google и Bing, используют веб-сканеры или роботов для поиска и индексации контента с вашего сайта. Эти роботы сначала проверят файл robots.txt в корневом каталоге сервера вашего сайта и получат инструкции исключить любые страницы или разделы из сканирования. Weebly также включает местоположение XML Sitemap в файле robots.txt, чтобы помочь поисковым системам легко найти ваш файл Sitemap. Вы можете исключить из своего сайта Weebly в файле robots.txt следующее:

• Weebly по умолчанию исключает некоторых ботов и каталоги
• Вы можете исключить отдельные страницы, блог или весь сайт

Блокировка страниц через файл robots.txt мгновенно удалит их из поисковой системы. Если вы разблокируете одни и те же страницы, поисковым системам потребуется больше времени для их переиндексации. По этой причине вы можете потерять рейтинг и трафик. Поэтому перед выполнением этой задачи обязательно заблокируйте правильные страницы и осознайте риск.

Файл Weebly Robots.txt по умолчанию

Всякий раз, когда вы нажимаете кнопку «Опубликовать» , Weebly автоматически создает файл robots.txt для вашего сайта. Это динамический файл, который вы не видите в редакторе кода Weebly, где вы можете найти исходные шаблоны и другие ресурсы. Однако вы можете просмотреть файл в своем браузере, добавив суффикс robots.txt к адресу вашего сайта. Ниже приведены примеры URL-адреса файла Weebly robots.txt:

Бесплатный сайт с доменом robots.txt FileDomain

По умолчанию файл Weebly robots.txt содержит следующие записи, которые вставляются для всех сайтов Weebly.

• XML-адрес карты сайта
• Запрещение NerdyBot доступа ко всему контенту на сайте
• Блокировка доступа всех роботов /аякс/ и /Программы/ каталоги на вашем сайте

За исключением папок сканера NerdyBot и папок ajax/apps, все остальное содержимое вашего сайта разрешено для индексирования при сканировании.

Записи файла robots.txt по умолчанию в Weebly

Обратите внимание, что user-agent — это строка для идентификации конкретного поискового робота. Например, Googlebot и Bingbot являются пользовательскими агентами для поисковых систем Google и Bing соответственно. Использование * в качестве пользовательского агента указывает, что правила применимы ко всем пользовательским агентам. В правиле должно быть указано о запрете или разрешении всего контента (обозначенного /), определенной папки или конкретной страницы. Вы должны добавить отдельную строку для каждого пользовательского агента, которому вы хотите добавить инструкции, и объединить все правила для этого пользовательского агента в одном блоке. Однако Weebly добавляет запись о запрете для пользовательского агента как *, и невозможно заблокировать страницы или сайт для определенного пользовательского агента. Вы можете прочитать нашу отдельную статью, чтобы узнать больше о файле robots.txt.

Теперь вы знаете, где находится файл robots.txt и как он работает. Давайте объясним, как добавить записи исключения для определенных страниц и блога в файл robots.txt Weebly.

Исключение всего сайта в файле robots.txt

Следуйте приведенным ниже инструкциям, если вы хотите, чтобы весь сайт был исключен из поисковых систем.

• Перейдите в раздел «Настройки» в редакторе сайта Weebly.
• Перейдите к настройкам «SEO» и прокрутите вниз.
• Найдите и включите опцию «Скрыть сайт от поисковых систем».
• Нажмите кнопку «Сохранить», чтобы сохранить изменения.
• Обязательно нажмите кнопку «Опубликовать», чтобы изменения были применены к вашему действующему сайту.

Заблокировать сайт с помощью файла robots.txt в Weebly

Теперь откройте файл robots.txt и проверьте, что в нем произошло. Weebly удалил бы все записи по умолчанию и запретил бы весь контент сайта для всех пользовательских агентов.

Файл Weebly Robots.txt с блокировкой всего сайта

Обратите внимание: если вы хотите перевести свой сайт в автономный режим без публичного доступа, перейдите в раздел «Общие». Прокрутите вниз и отмените публикацию вашего сайта.

Запрет страниц в файле robots.txt

Следуйте приведенным ниже инструкциям, если вы не хотите, чтобы поисковые системы индексировали определенную страницу вашего сайта.

• Перейдите в раздел «Страницы» в редакторе сайта Weebly.
• Выберите страницу, которую вы хотите скрыть, добавив ее в файл robots.txt.

Изменить настройки страницы в Weebly

Изменить настройки SEO страницы

• Прокрутите вниз до нижней части панели настроек SEO и установите флажок «Скрыть эту страницу от поисковых систем».

Скрыть страницу от поисковой системы

• Опубликуйте свой сайт, чтобы изменения вступили в силу.

Теперь проверьте файл robots.txt. Вы увидите, что страница запрещена правилом исключения и добавлена ​​к существующему набору правил для всех пользовательских агентов.

Страница Weebly заблокирована файлом robots.txt

Прежде чем исключать отдельные страницы или раздел блога, убедитесь, что вы отключили параметр «Скрыть сайт от поисковых систем», как описано выше. Нет смысла скрывать страницу, когда весь ваш сайт уже скрыт. Поэтому сначала сделайте свой сайт видимым для поисковых систем, а затем скройте одну страницу или пост.

Обратите внимание, что вы также можете скрыть определенную страницу, установив пароль доступа или предоставив доступ только участникам. Вы можете сделать это с помощью настройки «Видимость», выбрав страницу в разделе «Страницы».

Запрет сообщений блога в файле robots.txt

К сожалению, Weebly не позволяет заблокировать ни одну запись в блоге. Что вы можете сделать, так это запретить всю страницу блога, как скрытие стандартной страницы, как описано выше. Однако это заблокирует весь каталог «блог» и, следовательно, все сообщения в блогах на вашем сайте. Это будет иметь большое влияние, когда у вас будет больше опубликованных постов.

• Когда вы находитесь в редакторе сайта Weebly, перейдите в раздел «Страницы» и нажмите на страницу «Блог». обязательно выберите страницу своего блога, так как имя может быть любым, которое вы дали при создании своего блога Weebly.
• Перейдите в раздел «Настройки SEO» и выберите опцию «Скрыть эту страницу от поисковых систем».
• Опубликуйте свой сайт и проверьте файл robots.txt в отдельном окне браузера.

В отличие от запрета отдельной страницы, вы можете видеть, что все страницы, связанные с блогом, заблокированы в файле.

Блокировка блога Weebly в файле robots.txt

Вот подробная информация обо всех заблокированных элементах блога в файле Weebly robots.txt:

Заблокированная страница / SectionComplete URLDetails/blog.html — это страница блога, на которой показаны все сообщения. Тем не менее, эта страница будет перенаправлена ​​на страницу yoursite.com/blog в Weebly./1/ – это URL-адрес канала вашего блога./blog/ first-post last-post. /блог/ часть URL. Если вы откроете страницу yoursite.com/blog/, она будет перенаправлена ​​на yoursite.com/blog./blog — это фактическая страница блога, которую вы увидите в браузере при открытии страницы блога.

Если на вашем сайте несколько блогов, вы увидите соответствующие записи для всех страниц блога в файле robots.txt. URL канала изменится на /2/ для второго блога и так далее.

Ограничения редактирования файла Weebly Robots.txt

Хотя в Weebly легко заблокировать весь сайт и отдельные страницы, у вас будет много ограничений.

• По умолчанию все пользовательские агенты будут заблокированы, и нет возможности заблокировать только определенного бота.
• Вы не можете заблокировать отдельные сообщения в блоге, и блокировка всего блога будет плохой идеей для этой цели.
• Страницы магазина Weebly, такие как ваш продукт и страницы категорий, не могут быть заблокированы с помощью файла robots.txt. Однако Weebly блокирует публичный доступ ко всем загруженным файлам и содержимому магазина.

Запрет страницы в файле robots.txt также удалит эту страницу из вашего XML-файла Sitemap. Однако поисковые системы по-прежнему могут найти заблокированную страницу, если на нее есть ссылки с других страниц. Лучшим примером является использование окна поиска Weebly, которое покажет результат, включая заблокированные страницы.