Нужно ли обновлять файл sitemap
Обновлено: 07.07.2024
Создание XML-карты сайта (sitemap.xml) — обязательный пункт в списке работ по внутренней оптимизации. Зачем нужен файл sitemap, где он находится и как его создать, разбираемся в статье.
Под термином «карта сайта» понимают 2 вида документов:
На сайте должны присутствовать и HTML карта, и XML. Первая нужна для пользователей, вторая — для роботов. Далее будем говорить об XML-карте сайта.
XML-карту удобно использовать для парсинга данных с сайтов. Парсер мета-тегов и заголовков системы PromoPult: быстро, с любого сайта. Соберем мета-теги и заголовки H1 с любого сайта. Подгрузите список страниц или карту сайта.
Первой строкой в файле sitemap указывается ссылка на пространство имен языка XML (описание стандарта, на основе которого составлен файл). Строка стандартная и всегда выглядит вот так:
XML-карта сайта должна иметь кодировку UTF-8 и содержать следующие теги:
- <urlset> — открывающий/закрывающий тег, в него заключаются все ссылки файла sitemap.
- <url> — заключает в себе всю необходимую для робота информацию о каждой ссылке: URL, с какой периодичностью обновляется информация по этому адресу, дату последнего обновления и приоритет в индексировании.
- <changefreq> — задает периодичность обновления информации на странице: always, hourly, daily, weekly, monthly, yearly, never (всегда, ежечасно, ежедневно, еженедельно, ежемесячно, ежегодно, никогда). Благодаря этому тегу робот может понять, насколько часто меняется содержание в документе и нужно ли его сканировать. Тег необязателен и сейчас используется крайне редко.
- <lastmod> — указывает на дату последнего обновления страницы. Так робот понимает, изменилось ли что-нибудь с момента его предыдущего посещения.
- <priority> — дает роботам рекомендацию о приоритете индексирования. Главная страница всегда имеет <priority> 1, остальные можно расставить в зависимости от предпочтений оптимизатора (например, 0,8, 0,6 и так далее до 0,1).
Модуль SEO в системе Promopult: все инструменты для улучшения качества сайта и поискового продвижения. Полный комплекс работ — с нами вы не упустите ни одной мелочи. Чек-листы, подсказки, прозрачная отчетность и рекомендации профессионалов. Гарантии, оплата работ в рассрочку.
Важно понимать, что указания в файлах robots.txt и sitemap.xml — только рекомендации для роботов.
Отсутствие файла sitemap не является критичной ошибкой. Но если поисковый бот не найдет файл sitemap.xml, он станет сканировать и добавлять в индекс документы по своему усмотрению, и тогда наличие «мусорных», служебных страниц, дублей, страниц с ошибкой 404 в индексе может стать препятствием к выходу сайта в топ.
1. Указать ссылку на файл в директиве sitemap файла robots.txt:
2. Добавить файл sitemap.xml в разделы «Индексирование — Файлы Sitemap» Яндекс.Вебмастера и «Файлы Sitemap» в Google Search Console.
Яндекс и Google не только просканируют добавленный файл, но и укажут на возможные ошибки.
При любом способе обратите внимание на следующие моменты:- Разместить файл sitemap.xml нужно в корень сайта.
- Ссылки в sitemap не должны конфликтовать с правилами в файле robots.txt. Иначе говоря, страниц, закрытых от индексации в robots.txt, не должно быть в XML-карте сайта.
- После автоматической генерации нужно проверить и скорректировать XML-карту на предмет попадания в нее ненужных для индексации URL.
Рассмотрим подробнее самые популярные способы создания XML-карты.
Если на сайте небольшое количество страниц, создайте sitemap при помощи онлайн-генераторов.
Большой недостаток онлайн-генераторов — они создают файл sitemap.xml раз и навсегда. Если на сайт постоянно добавляются новые страницы, такой способ не подходит.
Во всех популярных системах управления сайтом (CMS) есть возможность создать XML-карту. Файлы sitemap в этом случае обновляются автоматически, вам не придется генерировать карту сайта заново после каждой добавленной страницы.
Настройка sitemap.xml доступна в разделе «Маркетинг» административной панели сайта:
Добавьте файл, назовите его и активируйте чекбокс о добавлении ссылки в robots.txt:
Во вкладке «Файлы» выберите разделы, которые вы хотите предоставить для индексации поисковым роботам:
То же самое проделайте во вкладке «Инфоблоки».
Сохраните все изменения и нажмите кнопку «Запустить»:
XML-карта сайта настраивается в двух популярных SEO-плагинах: All in One SEO Pack и Yoast SEO. Есть также отдельный плагин для создания XML-карты — Google XML Sitemaps.
Покажем настройку на примере первого.
Сначала нужно установить плагин. Это делается в разделе «Плагины» консоли сайта. После установки он будет доступен для настройки. Нам нужен раздел «Управление модулями»:
В нем активируем модуль, который отвечает за XML-карту:
После активации модуль становится доступным для редактирования:
Далее вы можете оставить настройки по умолчанию или задать свои. Полная документация по модулю — здесь. Она на английском языке, но даже встроенный переводчик в Chrome поможет вам разобраться.
- Joomla: используйте плагины OSMap (бесплатная версия Free и платная Pro), jSitemap (платное расширение, фактически целый набор SEO-инструментов).
- Drupal: модуль XML Sitemap.
- Magento: настройте Site Map Configuration.
Выбирайте подходящий способ создания XML-карты сайта и сообщайте поисковым роботам, какие страницы им стоит посетить — это даст вам уверенность в том, что поисковый робот проиндексирует все нужные страницы вовремя.
Использовать новый дефолтный битриксовский генератор никому не советую: он генерит sitemap исходя из инфоблоков, в результате в карту сайта постоянно попадает разный мусор, который пользователю на сайте вообще не выводится. И еще при его использовании одна карта сайта разбивается на много мелких файлов, что нецелесообразно если только у вас не портал на миллионы страниц.
Старый генератор (Который не в "Маркетинге", а "Настройки" - "Поиск" - "Google Sitemap") адекватнее работает.
Для себя на битриксовских сайтах генерирую карту через Screaming Frog SEO Spider в ручном режиме. Им же генерится и отдельный sitemap для изображений, чего "из коробки" никак не сделать.
После добавления файл попадает в очередь на обработку. Робот загрузит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в файл индекса Sitemap, обрабатывается роботом отдельно.
После загрузки напротив каждого файла вы увидите один из статусов:
Напротив файла отобразится дата последней загрузки.
Проиндексированные страницы появятся в результатах поиска в течение двух недель
Проверьте, доступен ли файл для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.
Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен.
Напротив файла отобразится дата последней загрузки.
Проиндексированные страницы появятся в результатах поиска в течение двух недель
Проверьте, доступен ли файл для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.
Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен.
Обновить Sitemap
Если вы изменили добавленный в Яндекс.Вебмастер файл Sitemap , его не надо удалять и загружать снова — робот регулярно проверяет файл на обновления и ошибки.
Чтобы ускорить обход файла, нажмите значок . Если вы используете файл индекса Sitemap, можно запустить обработку каждого перечисленного в нем файла. Робот загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.
Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.
Удалить Sitemap
Вопросы и ответы
Как правило, в Sitemap принято включать все значимые страницы сайта. Если на сайте множество страниц, вы можете удалить из Sitemap уже известные Яндексу страницы и вносить в файл только новые или часто обновляющиеся.
Если вы используете файл индекса Sitemap отметьте тегом lastmod файлы Sitemap , которые часто обновляются.
Определить, какие страницы сайта уже известны Яндексу, можно в Вебмастере на странице Индексирование → Статистика обхода .
Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»Отображение файла Sitemap и других XML-файлов как исключенных страниц носит только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .
Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу. Не смотря на это файлы Sitemap не участвуют в поиске.
При обработке Sitemap возникла ошибка «Неизвестный тег»Файл Sitemap может содержать только определенные XML-элементы. Если Вебмастер обнаружит в файле другие элементы, например, указание на мобильную версию, в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.
Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.
Файл Sitemap находится в статусе «Не проиндексирован»Файл Sitemap может быть не проиндексирован по нескольким причинам:
Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap . Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.Если проблема с доступом актуальна, обратитесь к администратору сайта или сервера, на котором он расположен. Если файл составлен корректно, он будет повторно обработан в течение двух недель с момента последнего запроса роботом. Проверить файл можно с помощью инструмента Анализ файлов Sitemap.
Файл Sitemap находится в статусе «Документ не содержит текст»Такой статус отображается в инструменте Проверка ответа сервера и сообщает, что робот не может проиндексировать файл как обычную страницу сайта и включить его содержимое в результаты поиска. На обработку Sitemap этот статус не влияет. Чтобы проверить корректность Sitemap используйте в Вебмастере инструмент Анализ файлов Sitemap.
Файл Sitemap находится в статусе «URL запрещён к индексированию тегом noindex»Как правило, файл Sitemap обрабатывается роботом в течение двух недель после добавления его в Вебмастер. Если этого не произошло, проверьте:
Мой начальник утверждает, что записи в файле sitemap.xml должны быть отсортированы в порядке важности и даты обновления.
Робот сканирует страницу сверху вниз подряд.
Чем важнее для нас страница, тем выше она должна быть. Аналогично и с обновлением в той ситуации.
Их тут конечно не много, но всё равно робот не пробегает весь сайт за 1 раз, поэтому тоже важно что мы ему отдаём в первую очередь
Я в корне с этим не согласен. Т.к. в файл выгружаю даты обновления. А что касается важности страницы для этого существует поле priority. Поправьте меня если я не прав.
Напишите в поддержку Яндекса они ответят, ответ покажите начальнику в качестве доказательства. Не могу написать им) Уже час гуля по ссылкам в разделе поддержки и ни как не выйду на форму обращения) ProfBiss: хм, действительно, теперь так.
Не совсем корректное место, хотя и релевантное, но по пути "Мой сайт плохо индексируется", "Вопрос о файле sitemap", "Файл Sitemap не обрабатывается" расположено что-то похожее на форму связи (в урле айдишник сайта прикручивается, так что прямую ссылку дать не смогу).
ProfBiss не спорьте с начальником, сделайте как просит. На спор Вы потратите больше времени, чем на саму задачу по сортировке ссылок небольшого сайта. Даже доказав что начальник был не прав Вы не получите премию, а получите подпорченное самомнение начальника, который может это Вам потом припомнить. Лучше пусть он считает Вас исполнительным. То о чем Вас просят, не принесет ни пользы, ни вреда.
lastmod это необязательный атрибут, поисковики его чаще игнорируют, чем учитывают. Сейчас у них достаточно мощностей для регулярной перепроверки и анализа всего контента любого ресурса.
что касается важности страницы для этого существует поле priority.
Это тоже необязательный атрибут, который не первый год игнорируется поисковиками. Да, его в редких случаях могут учитывать, но в большей степени поисковые системы полагаются на свои внутренние алгоритмы и на реальные факторы. Отчасти история этих атрибутов повторяет историю мета тега keywords, который в доисторические времена был важен и учитывался, а сейчас является скорее рудиментом, чем нужным и полезным сигналом.
Посмотрите на ситуацию с точки зрения здравого смысла и логики. По мере появления новых страниц, обычно, они добавляются в конец списка в карте сайта. Первой всегда будет главная, далее вполне логично разместить ссылки на наиболее важные разделы и материалы, которые по идее тоже появляются на сайте в первую очередь. Постоянная сортировка страниц "по важности" в карте сайта ничего не даст, кроме пустой траты времени. Вполне логично добавлять ссылки на новые публикации ниже прочих ссылок. Вообще карта сайта и наличие в ней ссылок не гарантирует индексацию всех материалов (не зависимо от порядка ссылок), это скорее небольшое дополнение, которое может помочь поисковикам найти и просканировать контент, ссылки на который перечислены в карте сайта.
В прошлый раз я рассказывал про файл robots.txt , а в этой статье я поведаю о его хорошем друге, файле sitemap.xml. Файл sitemap называют картой сайта – она помогает ориентироваться поисковым роботам среди папок и документов вашего ресурса.
А как выглядит sitemap.xml, мы сейчас подробно разберем.
Предназначение sitemap.xml
Файл Sitemap расположен в корне сайта и содержит данные о его страницах. В карте сайта должны быть ссылки на все страницы сайта. Поисковые роботы Яндекса и Гугла заходят на ваш сайт и гуляют по нему до тех пор, пока не кончится рабочий день. Рабочий день у робота — это краулинговый бюджет. То есть объем страниц и файлов, которые робот может изучить за определенный период времени. Чтобы не задерживать робота и в то же время улучшить индексацию, помогает карта сайта.
Существует еще и HTML-карта сайта, но она нужна пользователям ресурса, а не роботам. Поскольку данный формат устарел, говорить о нем мы не будем. Просто знайте, что есть еще и HTML-карта, но ее путайте ее с файлом sitemap.xml.
В каких случаях нужна карта сайта
Несложно догадаться, что одностраничным сайтам sitemap.xml не нужен. А вот кому он точно пригодится, так это:
- сайтам без хлебных крошек (навигационных цепочек),
- сайтам с большим количеством страниц,
- сайтам, на которых есть страницы с глубокой вложенностью, например, « Главная/Каталог/Видео » или « Фото/Видеокамеры/Экшн-камеры/GoPro/GoPro 7 ».
Если у робота перед глазами будет карта, он без проблем доберется до GoPro 7, а также до других мелких аксессуаров.
Требования к файлу
Яндекс рекомендует создавать карту сайта в XML-формате. Также поддерживается и формат TXT. В txt-формате карта сайта сообщает только адреса. Она выглядит следующим образом:
Но я прислушаюсь к рекомендациям Яндекса и создам файл в формате XML.
В формате XML вы можете указать роботу:
- адрес страницы,
- дату последнего обновления,
- частоту изменения страницы,
- приоритет страницы.
Пример файла в формате XML:
Кодировка файла должна быть UTF-8. Файл не должен превышать 50 мегабайт и содержать более 50000 страниц. Файлов может быть несколько.
Как sitemap.xml влияет на SEO
Я уже говорил, в каких случаях необходима карта сайта. Но что если у вас небольшой сайт, страниц на 20, с хлебными крошками и неглубокой вложенностью? Если вы не создадите файл, то после добавления сайта в Google Search Console и Яндекс.Вебмастер вы увидите ошибку, что данного файла не хватает. Из-за этой ошибки поисковики могут пессимизировать ваш сайт. Как мы знаем, чем меньше ошибок на сайте, тем он успешнее в продвижении. Не стоит дразнить поисковики.
Создаем карту сайта быстро и бесплатно
В создании карты сайта нет никаких сложностей. Вбиваем в поисковой строке «сгенерировать сайтмап » и переходим в любой онлайн-генератор. Например, MySiteMapGenerator.
Вбиваем адрес сайта и переходим к созданию файла. Вводим капчу и ожидаем. До 500 страниц – создание бесплатно.
Затем скачиваем файл, переименовываем его в sitemap.xml и закидываем в корень сайта. Осталось только сообщить поисковикам, что на вашем сайте появилась карта.
Сообщаем поисковикам, что на сайте есть sitemap.xml
В Яндекс.Вебмастере переходим в « Индексирование – Файлы Sitemap » и добавляем ссылку. Если вы добавили сайтмап в корень сайта, то ваша ссылка будет похожа на мою:
То же самое делаем в Google Search Console.
Хочу добавить, что существуют плагины для CMS, которые позволяют один раз создать данный файл и навсегда о нем забыть. Установив такие плагины, вам не придется время от времени обновлять карту сайта, потому что это будет происходить автоматически.
Читайте также: