Файлы sitemap давно не обновлялись что делать
Обновлено: 04.07.2024
Для поискового продвижения существует много различных программ, помогающих найти ошибки сайта, влияющих на поисковую выдачу. Один из основных таких сервисов предлагает сам Яндекс. Речь идет о бесплатном инструменте для проверки оптимизации Яндекс.Вебмастере , - основном помощнике любого оптимизатора. Вебмастер Яндекса проводит анализ веб-сайта и дает пользователю полную оценку всего ресурса с точки зрения SEO. Помимо общих данных о сайте, его ссылочной массе и информации о статусе страниц, кабинет вебмастера имеет целый раздел, посвященный ошибкам, о которых сегодня и пойдет речь.
Добавляя свой сайт в панель вебмастера, необходимо подождать 4-5 дней, чтобы робот собрал всю информацию и проанализировал полностью сайт. После обновления данных о ресурсе, необходимо перейти в раздел «диагностика сайта», где владельцу сайта будут показаны все ошибки, разбитые по группам.
Фатальные ошибки
По названию категории понятно, что это наиболее важные ошибки, которые нужно исправлять максимально быстро. Наличие фатальных ошибок у сайта сразу ставит крест на его продвижение и индексации, если их быстро не удалить. Другими словами, в поисковую выдачу веб-сайт с хотя бы одной фатальной ошибкой Яндекс не пустит.
Сайт закрыт от индексации . Самая частая ошибка, возникающая после окончания разработки сайта. В файле робота (robots.txt) стоит директива не индексировать сайт. Сделано это специально, чтобы поисковик не ранжировал недоделанный сайт на техническом домене
Серверная ошибки DNS . Чаще всего возникает при самостоятельном внесении изменений в настройке DNS в контрольной панели хостинга, или при падении серверов самого хостера.
Ошибка главной страницы . При попытке робота он не смог загрузить главную страницу из-за временной недоступности сайта. Это может быть снова из-за хостинга, или при удалении технической папки отвечающей за загрузку на сервере.
Нарушение безопасности. При переобходе сайта, робот нашел угрозу безопасности. Это может как безобидный самописный код, являющийся с точки зрения Яндекса потенциально опасным, так и вирус.
Критические ошибки
На критические ошибки Яндекс также сразу же обращает внимание и ставит им высший приоритет наряду с фатальными. Критических ошибок всего два вида, каждая из которых может сильно пессимизировать позиции сайта в поисковой выдаче.
Внутренние битые ссылки. Гиперссылки, отдающие при переходе 404 ошибку, говорят о несуществующей текущей страницы. Возможно она была удалена, возможно поменялся чпу адрес.
Долгий ответ сервера . На анализ сайта робот тратит определенное время, если за этот промежуток веб-сайт полностью не загрузился, то он сигнализирует об ошибке. Чаще всего это связано с внешними «тяжелыми» скриптами, установленными на страницах
Возможные проблемы
Данный раздел отвечает в основном за оптимизационные ошибки. Система может показать как ошибку по одному из параметров проверки, так и отсутствия корректной настройки, согласно общепринятому параметру соответствия сайта поисковым требованиям.
Ошибки, связанные с файлом robots.txt
- Файла робота нет на сайте . Файла нет в корне сайта по адресу вашомен/robots.txt.
- Файл робота содержит ошибки . Как правило, ошибки бывают при самостоятельном добавление этого документа. В чем именно ошибка понять сложно, так как их очень много разновидностей. От обычной опечатки в слове, до неправильного использования символа .*
Disallow: /admin/
Ошибки, связанные с картой сайта sitemap.xml
- Сайт не использует sitemap . Скорее всего динамическая карта просто не создана или её формат отличается от xml. На позиции сайта эта ошибка на прямую не повлияет, а вот на индексацию страниц может.
- Имеются ошибки в файле sitemap.xml . Обычно проблема связана с несуществующими страницами, отдающими 404 ошибку. Рекомендуется проверять карту вручную, для этого в кабинете вебмастера есть соответствующий раздел
- Карта сайта давно не обновлялась . Причина этой возможной ошибки, на сайте действительно не было обновлений контента, или sitemap перестал поддерживать автообновление.
Ошибки оптимизации
- Некорректно настроенастраница 404 (отображение несуществующих страниц). При вводе несуществующего url, должна появиться страница сайта (со всем оформлением), показывающая 404 ошибку, с гиперссылкой на главную страницу.
- Переадресация на другой сайт . При попытке загрузки сайта происходит перенаправление на другой домен. Это могло быть из-за ошибки редиректа, но чаще это дело вируса и вредного ПО.
- Сайт имеет дубли в большом количестве . Дублем считается страница с идентичным контентом, отличающая только ЧПУ. Подобных «парных» страниц не должно быть вообще, поэтому необходимо открыть список задвоенных урл, и устранить дубли. Подобной ошибкой часто грешат бесплатные CMS (Wordpress, Joomla, Opencart, MODx), которые по умолчанию делают дубли страниц, согласно заложенной структуре разработчика.
- Ошибка (или отсутствие) метатега title. Проверяя страницы робот должен увидеть метатег title на каждой из них. Этот тег не должен повторяться, часто его дублируют с тегом h1. Ошибкой это не является, хотя рекомендуется делать эти теги разными.
- Ошибка (или отсутствие) метатега description . Аналогично тегу title, каждая страница должна содержать уникальный description. Стоит обратить внимание на технические страницы, если они не закрыты от индексации, то также должны иметь вышеуказанные метатеги.
Остальные рекомендации
Вебмастер.Яндекс также дает рекомендации, добавлять их или нет которые решает оптимизатор. Некоторые пункты мы настоятельно рекомендуем вносить для улучшения видимости сайта в поисковых системах.
- Сайта нет в Яндекс.Справочнике . Если вы хотите видеть карточку компании при вводе брендового запроса – заполните все поля в справочнике и после проверки, Яндекс будет брать данные для карточки из справочника и выводить в профиле справа от выдачи.
- Не указан регион сайта . Этот пункт можно пропустить, если активно заниматься SEO вы не планируете. Со временем Яндекс сам присвоит регион сайта, или вы можете указать его сами.
- Отсутствует favicon сайта . Favicon это маленькая иконка сайта, находящаяся около заголовка в поисковой выдаче. Наличие фавикона повышает привлекательность сниппета, тем самым улучшая поведенческие факторы .
- Сайт не оптимизирован под мобильные и портативные устройства . Ещё несколько лет назад Yandex и Google не обращали внимание на адаптивную версию веб-сайта, но после ввода собственных форматов APM и Turbo, они не просто стали учитывать корректность отображения на мобильных устройствах, но и понижать позиции в мобильной выдаче при проблемах адаптации сайта.
- Ошибка счётчика Яндекс.Метрики . При анализе сайта, робот не нашел кода Яндекс.Метрики. Этот пункт можно пропустить, он не влияет на ранжирование, и необходим для получения данных конверсии и поведении пользователей на сайте
Безопасность и нарушение
Этот раздел многие оптимизаторы называют «страницей счастья», ведь именно сюда приходят оповещения при нарушении правил поисковой системы Яндекс и обнаружения вредоносного кода. В каком случае веб-сайт попадает в этот раздел?
- На сайте велось черно SEO продвижение
- Сайт покупал или продавал ссылки через биржу
- Сайт получил фильтр за переоптимизацию страниц
- После взлома или целенаправленно код сайта содержит вредоносное ПО
Яндекс дает тезисное объяснение за что сайт получил нарушение, или нарушил правила безопасности. Только в случае взлома ресурса и быстром устранении всех проблем можно избежать вылета из поисковой выдачи. Другие нарушения чреваты санкциями, на устранение которых уйдет не менее 6-8 месяцев.
После добавления файл попадает в очередь на обработку. Робот загрузит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в файл индекса Sitemap, обрабатывается роботом отдельно.
После загрузки напротив каждого файла вы увидите один из статусов:
Напротив файла отобразится дата последней загрузки.
Проиндексированные страницы появятся в результатах поиска в течение двух недель
Проверьте, доступен ли файл для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.
Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен.
Напротив файла отобразится дата последней загрузки.
Проиндексированные страницы появятся в результатах поиска в течение двух недель
Проверьте, доступен ли файл для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.
Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен.
Обновить Sitemap
Если вы изменили добавленный в Яндекс.Вебмастер файл Sitemap , его не надо удалять и загружать снова — робот регулярно проверяет файл на обновления и ошибки.
Чтобы ускорить обход файла, нажмите значок . Если вы используете файл индекса Sitemap, можно запустить обработку каждого перечисленного в нем файла. Робот загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.
Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.
Удалить Sitemap
Вопросы и ответы
Как правило, в Sitemap принято включать все значимые страницы сайта. Если на сайте множество страниц, вы можете удалить из Sitemap уже известные Яндексу страницы и вносить в файл только новые или часто обновляющиеся.
Если вы используете файл индекса Sitemap отметьте тегом lastmod файлы Sitemap , которые часто обновляются.
Определить, какие страницы сайта уже известны Яндексу, можно в Вебмастере на странице Индексирование → Статистика обхода .
Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»Отображение файла Sitemap и других XML-файлов как исключенных страниц носит только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .
Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу. Не смотря на это файлы Sitemap не участвуют в поиске.
При обработке Sitemap возникла ошибка «Неизвестный тег»Файл Sitemap может содержать только определенные XML-элементы. Если Вебмастер обнаружит в файле другие элементы, например, указание на мобильную версию, в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.
Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.
Файл Sitemap находится в статусе «Не проиндексирован»Файл Sitemap может быть не проиндексирован по нескольким причинам:
Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap . Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.Если проблема с доступом актуальна, обратитесь к администратору сайта или сервера, на котором он расположен. Если файл составлен корректно, он будет повторно обработан в течение двух недель с момента последнего запроса роботом. Проверить файл можно с помощью инструмента Анализ файлов Sitemap.
Файл Sitemap находится в статусе «Документ не содержит текст»Такой статус отображается в инструменте Проверка ответа сервера и сообщает, что робот не может проиндексировать файл как обычную страницу сайта и включить его содержимое в результаты поиска. На обработку Sitemap этот статус не влияет. Чтобы проверить корректность Sitemap используйте в Вебмастере инструмент Анализ файлов Sitemap.
Файл Sitemap находится в статусе «URL запрещён к индексированию тегом noindex»Как правило, файл Sitemap обрабатывается роботом в течение двух недель после добавления его в Вебмастер. Если этого не произошло, проверьте:
Перечень ошибок, возникающих при обработке файла Sitemap .
Загрузка файла Sitemap закончилась неудачно. Возможно URL файла задан неверно.
Размер файла Sitemap больше 50 МБ.
Указан невалидный URL файла Sitemap .
В процессе загрузки файла Sitemap сервер прервал соединение.
Не удалось загрузить файл из-за ошибки DNS. Возможно указан неправильный URL файла.
Файл Sitemap не удалось загрузить, так как не удалось соединиться с сервером.
URL файла Sitemap запрещен в файле robots.txt и поэтому не был загружен. Проверьте правильность файла robots.txt и адрес файла Sitemap .
При загрузке файла Sitemap сервер вернул пустой документ.
Произошла ошибка при распаковке файла Sitemap , сжатого с помощью gzip.
Указанный тег должен встречаться в данном контексте только один раз.
Указанный тег не должен встречаться в данном контексте.
Пропущен обязательный тег.
URL не соответствует стандарту.
Местоположение файла Sitemap определяет набор URL, которые можно включить в этот файл. Файл, расположенный в некотором каталоге, должен содержать URL, который размещен в этом же каталоге, либо в его подкаталогах. Подробнее см. Местоположение файла Sitemap.
Длина URL превышает установленный предел (1024 символа).
Указанный тег не должен быть пустым.
Указанный тег не должен содержать дочерние теги.
Указанный тег содержит слишком много данных.
Указанный тег не содержит необходимых данных.
Файл Sitemap не начинается с корректного префикса UTF-8 (0xEF 0xBB 0xBF). Он должен начинаться со строки <?xml version=\"1.0\" encoding=\"UTF-8\"?>
Файл Sitemap не является правильно построенным (well-formed) XML-документом, то есть не соответствует правилам синтаксиса XML.
В файле Sitemap обнаружено более 100 ошибок. Дальнейшая обработка файла прекращена.
Файл Sitemap может содержать не более 50000 URL. Если необходимо перечислить более 50000 URL, следует создать несколько файлов Sitemap и включить их в файл индекса Sitemap (см. Использование файлов индекса Sitemap).
Файл индекса Sitemap может содержать не более 50 000 URL файлов Sitemap .
Файл Sitemap начинается с идущих подряд некорректных URL. Дальнейшая обработка файла прекращена, так как скорее всего файл имеет неверный формат.
Файл индекса Sitemap может содержать ссылки только на файлы Sitemap , но не на другие файлы индекса Sitemap .
Вы создали карту сайта, загрузили ее в Google Search Console и Яндекс.Вебмастер, но файл не получил статус «Успешно» или «Ок»? А, может, отчет о файлах Sitemap выглядит хорошо, но поисковики игнорируют ваш файл Sitemap и не собираются индексировать многие страницы из карты сайта. Возникает вопрос, можно ли что-нибудь сделать для улучшения статистики индексирования. Отвечаем — можно, и даже расскажем, как это сделать.
Если у вас еще нет карты сайта и вы хотите узнать, зачем она нужна, ознакомьтесь с нашим вводным интенсивом по созданию файла Sitemap. Здесь мы расскажем о преимуществах использования карты сайта и действенных рекомендациях по работе с ней. Если вы пока не знаете, для чего используют теги <loc> и <lastmod>, что такое карта сайта для видео или файл индекса Sitemap, вводное руководство вам точно пригодится.
В первой части этой статьи перечислены все ошибки, с которыми вы можете столкнуться в отчетах о файлах Sitemap в Google Search Console и Яндекс.Вебмастере. Если же вы ищете способ устранить конкретные проблемы, воспользуйтесь содержанием, чтобы перейти к интересующим вас ошибкам.
Во второй части — рекомендации, которые помогут вам извлечь максимальную выгоду из карты сайта. Вы узнаете, как найти мусорные страницы в файле Sitemap, где искать страницы, которые вы могли пропустить и не добавить в карту сайта, и как заставить поисковики проиндексировать как можно больше страниц из файла Sitemap. Поэтому очень советую всем внимательно ознакомиться со второй главой этой статьи.
Исправление ошибок в отчете Sitemap
После загрузки карты сайта в Google или Яндекс в столбце «Статус» можно увидеть, удалось ли поисковикам обработать файл. Если ваш файл соответствует всем правилам, появится статус «Успешно» в Google Search Console или «Ок» в Яндекс.Вебмастере. В этой главе мы рассмотрим другие статусы, а именно «Не получено» и «Обнаружены проблемы» в Google, а также аналогичные «Не проиндексирован» и «Ошибка» — в Яндексе.
Проблемы со сканированием вашего файла Sitemap
Начнем с самого худшего сценария, когда поисковик не может обработать файл Sitemap. Сначала разберемся с Google — что делать, если статус вашей карты сайта «Не получено».
В этом случае вам придется использовать «Инструмент проверки URL», чтобы выяснить, что может быть причиной проблемы. В инструменте нажмите кнопку «Проверить страницу на сайте» и посмотрите статус получения страницы. Если написано «Успешно», значит ошибка на стороне Google.
Теперь давайте разберемся, что делать, если проблема возникла в Яндекс.Вебмастере. Если Яндекс не сможет обработать ваш файл Sitemap, его статус будет «Не проиндексирован».
Если сервер отвечает больше 10 секунд, файл не загрузится с помощью инструмента и не будет учитываться роботом при обходе.
Кроме того, как и в случае с Google Search Console, обратите внимание на файл robots.txt и плагины CMS.
Ошибка «Не получено» или «Не проиндексирован» может возникнуть как при загрузке отдельной карты сайта, так и в случае загрузки в Google Search Console и Яндекс.Вебмастер файла индекса Sitemap. Проблему нужно решить так же, как и с одной картой сайта.
Ошибки в файле индекса Sitemap
Теперь перейдем к случаям, когда поисковики просканировали добавленный вами файл и обнаружили ошибки. И начнем мы с ошибок файла индекса Sitemap.
Файл индекса Sitemap содержит ссылки на несколько карт сайта — поисковой системе необходимо обработать их все, чтобы наконец получить доступ к URL-адресам вашего сайта. В Google Search Console вы получите ошибку «Неполные URL в файле индекса Sitemap», если поисковик не сможет обработать URL-адреса, перечисленные в файле индекса Sitemap. Обычно это означает, что Google не удалось найти одну или несколько ваших карт сайта, потому что вы использовали относительные URL-адреса. Все URL-ы, которые указывают на отдельные карты сайта в файле индекса Sitemap, должны быть абсолютными, иначе Google не сможет их найти.
И последняя ошибка. В Google она звучит так «Слишком много файлов Sitemap в файле индекса», а в Яндексе — «Число файлов Sitemap превышает заданный предел». Это происходит с огромными сайтами, которые содержат более 50 000 карт сайта в одном файле.
Недопустимый размер файла Sitemap и ошибки сжатия
Ограничения по размеру применяются как к файлам индекса Sitemap, так и к отдельным картам сайта. Размер файла Sitemap в несжатом виде не должен превышать 50 МБ, а в карте сайта не должно быть более 50 000 URL-адресов. Если вы не соблюдаете эти правила, то получите ошибку «Превышен максимальный размер файла Sitemap» в Google и «Размер файла превышает заданный предел» в Яндексе. Узнать больше о том, как разделить карту сайта на несколько файлов, можно из нашего полного руководства по созданию файла Sitemap.
Карта сайта должна не только не превышать допустимые размеры, но и не быть пустой. Если вы загрузите пустой Sitemap, то получите соответствующую ошибку в Google. В Яндексе она звучит так — «Ответ не содержит данных».
Проблемы со сканированием URL-адресов в карте сайта
По ряду причин поисковики могут не просканировать некоторые URL-адреса, которые указаны в карте сайта. Давайте разберемся со всеми подобными ошибками.
«Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt» в Google и аналогичная «URL запрещен в файле robots.txt» в Яндексе — ошибка довольно простая, поскольку поисковики укажут вам на заблокированные URL-адреса. Все зависит от того, хотите ли вы, чтобы эти URL-ы были проиндексированы. Если да, то вам придется снять блокировку, в другом случае необходимо удалить адреса из карты сайта.
Всю необходимую информацию ищите в разделе «Код ответа сервера».
Google и Яндекс также выделяют другие не такие очевидные и простые ошибки. Кратко пройдемся по каждой из них.
Ошибка в Google «URL недоступны» означает, что поисковик обнаружил вашу карту сайта в указанном месте, но не смог получить все URL-адреса из списка. В этом случае вам снова нужно использовать «Инструмент проверки URL» и проверять доступность для сканирования каждого проблемного URL-а.
Ошибка в Google «Переход по URL не выполнен» возникает либо из-за того, что вы использовали относительные URL-адреса в карте сайта вместо абсолютных, либо из-за проблем с редиректами. Цепочки и циклы редиректов, временные редиректы, которые используют вместо постоянного перенаправления, а также HTML- и JS-редиректы могут привести к этим ошибкам.
Если инструмент обнаружит какие-либо ошибки, вы получите всю необходимую информацию по каждой из них — щелкнув на количество страниц, можно узнать, на какой странице есть проблема и как она связана с другими страницами сайта.
Яндекс.Вебмастер отдельно выделяет ошибку «Много некорректных URL в начале файла». Эта ошибка сообщает, что стоящие подряд URL-ы расположены за пределами каталога, в котором находится файл Sitemap. Скорее всего весь файл имеет неправильный формат, поэтому Яндекс не будет продолжать сканировать такую карту.
Наконец не забывайте, что длина каждого URL в файле не должна превышать установленный предел в 1024 символа. Иначе Яндекс.Вебмастер выдаст ошибку «Слишком длинный URL».
Google считает, что вы указали неправильные URL
В Яндекс.Вебмастере вы не увидите аналогичных ошибок, но, если вы хотите чтобы поисковик просканировал нужную вам версию URL-ов, стоит придерживаться описанных выше правил.
Синтаксические ошибки в карте сайта
В большинстве случаев вам не нужно беспокоиться о синтаксических ошибках в карте сайта — создав файл Sitemap с помощью одного из специальных сервисов, вы можете быть уверены, что с тегами и атрибутами не будет проблем. Однако, если вы самостоятельно сделали карту сайта, то можете столкнуться с одной из ниже описанных ошибок.
Также напомню, что Яндекс распознает не все теги, с которыми работает Google. Из-за этого часто возникают проблемы в отчете Яндекс.Вебмастера.
Давайте рассмотрим все подобные ошибки детально.
- «Недопустимое значение тега» в Google Search Console. Значение тега — это то, что вы указываете между начальным и конечным тегами — URL-адрес между тегами <loc>, или дата, которую вы определяете с помощью тега <lastmod>. Ошибка возникает, когда вы указываете недопустимое значение в карте сайта, например, устанавливаете приоритет вне диапазона от 0,0 до 1,0. В последнем случае Яндекс выдаст ошибку «Неверный формат приоритета URL». Также нельзя оставлять теги без значения в принципе. Если такое случится, в Яндекс.Вебмастере вы получите ошибку «Нет данных в теге».
- «Неверное значение атрибута» в Google Search Console. Значение атрибута указывается после знака равенства (=) в кавычках. В следующей строке кода перечислены различные языковые версии страницы в файле Sitemap.
- «Неправильно введена дата» в Google Search Console или «Неверное значение тега lastmod» в Яндекс.Вебмастере. Все довольно просто — вы использовали неправильный формат даты для тега <lastmod>. Единственный допустимый формат:
- «Неправильно указано пространство имен» в Google Search Console или «Ошибка в корневом теге» в Яндекс.Вебмастере. Пространство имен, указанное в вашем теге <urlset>, должно быть одним из принятых протоколов. В настоящее время используется следующий протокол:
Напомню, что специальные карты сайта для новостей, картинок и видео поддерживает только Google.
Если вы использовали неправильный протокол для своей карты сайта, вы получите ошибку «Неподдерживаемый формат файла» в Google Search Console. Она также может появиться из-за других всевозможных синтаксических ошибок, таких как использование неправильных кавычек (принимаются только прямые одинарные или двойные), отсутствие тега кодировки или некорректный префикс UTF-8. В последнем случае Яндекс.Вебмастер выдаст ошибку «Неверная кодировка».
Также Google выделяет несколько ошибок, связанных с файлом Sitemap для видео: «Слишком большой/маленький значок видео», «Адреса видео и страницы воспроизведения совпадают», «URL видео указывает на страницу воспроизведения». Вы можете найти более подробную информацию об этих ошибках здесь.
После устранения всех ошибок в файле Sitemap нужно повторно загрузить обновленную карту сайта в Google Search Console.
Такие действия заставят Google и Яндекс повторно просканировать ваш сайт и, наконец, проиндексировать страницы, которые они не смогли просканировать из-за ошибок.
Загруженные vs проиндексированные URL-адреса
Ваша карта сайта и файл индекса Sitemap могут получить статус «Успешно» или «Ок», но на этом ваша работа не заканчивается.
Давайте сначала разберем, что делать дальше в Google Search Console. Щелкните на значок диаграммы рядом с количеством выявленных URL-адресов, чтобы перейти к отчету об индексировании. Как только вы начнете анализировать его, вы скорее всего заметите, что не все отправленные страницы были проиндексированы.
Это нормально, когда страницы исключаются из индексации — Google не может оценить и проиндексировать все страницы вашего сайта, о которых он знает. Более того, почти на каждом сайте есть страницы, которые вебмастера не хотят индексировать: страницы защищенные паролем, служебные страницы и дубли. Что не нормально, так это наличие ошибок и предупреждений в вашем отчете об индексировании. Также недопустимо, чтобы количество исключенных страниц во много раз превышало количество страниц без ошибок.
Так почему же поисковики не могут проиндексировать страницы, которые были добавлены в карту сайта? В большинстве случаев это происходит, когда вы добавляете туда страницы, которых в карте сайта быть не должно. Возможно, поисковики просто не могут проиндексировать страницу из-за директивы noindex. Кроме того, поисковики могут запутаться, действительно ли вы хотите, чтобы страница была проиндексирована — например, когда вы добавляете неканонические страницы в карту сайта.
Удалите из карты сайта неиндексируемые и неканонические страницы. А если страницы были по ошибке помечены как неиндексируемые и неканонические, решите эту проблему.
Оптимизируйте карту сайта с подсказками от Google
Убедившись, что с вашей картой сайта все в порядке, изучите «Отчет об индексировании», чтобы найти случаи, когда ваше мнение о странице расходится с Google.
На вкладке «Исключено» можно увидеть еще две интересные категории страниц: «Просканированы, но пока не проиндексированы», и «Обнаружены, не проиндексированы». Оба типа обычно определяют некачественные страницы с малым содержанием, которые Google не хочет показывать пользователям. В первом случае страница была по крайней мере просканирована, а затем признана некачественной. А во втором случае поисковик даже не потратил краулинговый бюджет на страницу. Тщательно проанализируйте все такие страницы и посмотрите, что вы можете сделать, чтобы повысить их ценность: поработайте над контентом, взаимодействием с пользователем, внутренней линковкой и т. д.
Варианты оптимизации карты сайта для Яндекса
В отличие от Google, Яндекс обычно учитывает пожелания вебмастеров. Поэтому если страница помечена как noindex — поисковик не будет ее индексировать. Также Яндекс, как правило, индексирует канонические страницы. Но бывают и исключения. Чтобы увидеть проиндексированные неканонические страницы, выберите на вкладке «Последние изменения» статус «Добавлено: Неканоническая».
Если Яндекс посчитал, что неканоническая страница лучше той, которую выбрали вы, надо разобраться, что не так с канонической. Для начала проверьте, проиндексирована ли она — если да, вам придется столкнуться с каннибализацией ключевых слов. Если же каноническая страница выпала из индекса, то она по той или иной причине не понравилась поисковику. Доработайте каноническую страницу или послушайтесь Яндекса — поменяйте теги canonical и добавьте необходимую страницу в карту сайта.
В отличие от Google, у Яндекса нет возможности быстро проверить, каких проиндексированных страниц нет в вашей карте сайта. Но их можно легко найти с помощью SE Ranking. Ниже я описала, как это сделать.
Перейдите в инструмент «Анализ сайта» и кликните на зеленую линию в графике «Индексация страниц».
Вы увидите список страниц, открытых к индексации. Добавьте колонку «В карте сайта» и отфильтруйте страницы так, чтобы видеть только те, которых нет в файле Sitemap. Выгрузите список страниц, нажав на кнопку «Экспорт» и скопируйте из таблицы URL-aдреса.
Затем перейдите в инструмент «Проверка индексации», вставьте необходимые ссылки и нажмите «Начать проверку». Через пару минут вы увидите, какие страницы в индексе, а какие нет.
Теперь вы знаете, каких проиндексированных страниц не хватает в карте сайта. Добавьте их в файл Sitemap.
Теперь давайте вернемся в Яндекс.Вебмастер. Советую уделить внимание еще одной категории во вкладке «Последние изменения» — «Малоценные или маловостребованные страницы». Это страницы, которые были исключены из поиска по очевидной причине. Они не содержат контента, дублируют уже известные роботу страницы, или их контент не отвечает интересам пользователей. Так же как и в случае с Google, подумайте, что можно сделать, чтобы повысить ценность таких страниц.
Заключение
Благодаря разнообразию инструментов для создания карты сайта сделать файл Sitemap очень легко. Однако, если вы просто воспользуетесь одним из случайных инструментов и проигнорируете рекомендации по созданию карты сайта, то наверняка получите отчет о файле Sitemap с большим количеством ошибок, или отправите через карту сайта множество некачественных страниц на рассмотрение поисковикам.
Читайте также: