Как в файле robots txt указать sitemap

Обновлено: 04.07.2024

В Google поддерживается несколько форматов файлов Sitemap.

Во всех форматах следует использовать стандартный протокол. В настоящее время Google не учитывает в файлах Sitemap атрибут <priority> .

Вот пример простого XML-файла Sitemap с одним URL:

RSS, mRSS и Atom 1.0

Текст

Правила создания текстовых файлов Sitemap

Необходимо использовать кодировку UTF-8.
В файл Sitemap можно добавлять только URL.
Этому текстовому файлу можно дать любое имя, но необходимо использовать расширение .txt (например, sitemap.txt).

Файлы Sitemap с расширенным синтаксисом

Google поддерживает расширенный синтаксис файлов Sitemap для перечисленных ниже MIME-типов. С помощью дополнительных элементов можно описывать видео, изображения и другой плохо поддающийся анализу контент, чтобы они лучше индексировались.

Общие рекомендации в отношении файлов Sitemap

Кроме того, все URL (включая адрес вашего файла Sitemap) должны быть правильно экранированы и закодированы, чтобы их мог обработать веб-сервер. Обычно это выполняется автоматически, если для создания URL вы применяете какой-либо скрипт, инструмент или файл журнала, то есть не вводите адреса вручную. Если при отправке файла Sitemap вы получаете оповещение о том, что Google не удалось найти ваши URL, убедитесь, что они соответствуют стандарту RFC-3986 для URI, стандарту RFC-3987 для IRI и стандарту XML.

Ниже приведен пример URL, где есть символ, не относящийся к кодировке ASCII ( ü ), а также символ, который требует экранирования ( & ):

Этот же URL в кодировке ISO-8859-1 (для размещения на сервере, использующем ее) и с экранированием:

Этот же URL в кодировке UTF-8 (для размещения на сервере, использующем ее) и с экранированием:

Этот же URL, содержащий маскирование:

Как создать файл Sitemap

Создавая файл Sitemap, вы сообщаете поисковым системам, какие из ваших URL следует выбирать для показа в результатах поиска. Такие URL называются каноническими. Если вы разместили одинаковый контент по нескольким URL, выберите основной вариант страницы и включите в файл Sitemap только его.

Выбрав URL, которые следует добавить в файл Sitemap, создайте его одним из перечисленных ниже способов. Оптимальный вариант будет зависеть от архитектуры и размеров сайта.

Файл Sitemap можно сгенерировать с помощью системы управления контентом.
Если в файле несколько десятков URL или меньше, попробуйте создать его вручную.
Если ожидается, что файл Sitemap будет очень велик, создавайте его автоматически.

Как создать файл Sitemap с помощью системы управления контентом

Если вы работаете с системой управления контентом, такой как WordPress, Wix или Blogger, то возможно, что она уже сгенерировала файл Sitemap, доступный поисковым системам. Попробуйте найти сведения о том, как ваша система управления контентом создает файлы Sitemap, или о том, как подготовить такой файл, если она не сделала этого автоматически. Например, если вы работаете с Wix, введите в Google Поиске запрос "wix sitemap".

В остальных случаях вам потребуется создать файл Sitemap самостоятельно.

Как создать файл Sitemap вручную

Если вы планируете добавить в файл Sitemap не более чем несколько десятков URL, его можно будет создать вручную. Для этого откройте текстовый редактор, такой как Блокнот (Windows) или nano (Linux, macOS), и начните вносить в новый файл данные в соответствии с синтаксисом, который описан в разделе Форматы файлов Sitemap выше.

Вручную можно создавать и крупные файлы Sitemaps, но это очень трудоемкий процесс.

Как создать файл Sitemap автоматически

Если вам нужно включить в файл Sitemap множество URL, то удобнее будет создавать его автоматически. Сгенерировать файл Sitemap можно с помощью различных инструментов, но лучше всего воспользоваться для этого средствами вашего сайта. Например, вы можете извлечь URL, относящиеся к сайту, из его базы данных и экспортировать эти адреса на экран или в файл на вашем веб-сервере. При необходимости обратитесь к разработчикам или менеджеру сервера. Ознакомьтесь с нашей подборкой сторонних генераторов файлов Sitemap: вы можете создать на их основе аналогичный инструмент.

Как сделать файл Sitemap доступным для Google

Файл Sitemap анализируется только при первом его обнаружении, а не при каждом сканировании сайта. Чтобы файл был обработан повторно, сообщите нам, что данные в нем изменились. Это делается с помощью запроса ping. Не добавляйте несколько раз одинаковые файлы Sitemap и не отправляйте запросы ping, если в файл не вносились изменения и он не новый.

Если вы обновляли страницы, включенные в такой файл, отметьте их с помощью поля <lastmod> . В XML-файлах других типов есть аналогичные поля (например, в Atom XML это поле <updated> ). Подробнее о том, как определить нужную дату…

Предоставить Google доступ к файлу Sitemap можно несколькими способами:

Отправьте файл через интерфейс специального отчета.
Выполните запрос ping. В браузере или командной строке отправьте запрос GET на приведенный ниже адрес, указав полный URL файла Sitemap и убедившись, что этот файл доступен:

Устранение неполадок, возникающих при обработке файлов Sitemap

Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trademark of Oracle and/or its affiliates.

Файл sitemap.xml - это карта сайта, предназначенная для поисковых машин. С помощью файла sitemap.xml веб-мастеры могут сообщать поисковым системам о веб-страницах, которые доступны для сканирования. Но файл Sitemap.xml не является гарантией того, что веб-страницы будут проиндексированы поисковыми системами, это всего лишь дополнительная подсказка для сканеров, которые смогут выполнить более тщательное сканирование Вашего сайта.

В сайте главное - структура. Структура определяет удобство для пользователя, а также и для поисковой системы, и для вас самих. Структуру необходимо разрабатывать с самого начала, на самом первом этапе планирования сайта.

Карта сайта необходима для навигации по сайту, также как географическая карта необходима для навигации морской. Только помните, что карта сайта совсем необязательно должна отражать внутреннюю, технически обусловленную структуру. Карта сайта должна быть смысловой структурой сайта, для того чтобы правильно ее построить необходимо хорошо понимать свою целевую аудиторию, то зачем пользователь приходит к вам на сайт и то, как он настроен воспринимать информацию. Собственно, это воображение должно определять все компоненты сайта - его программирование, дизайн и контент. Если у вас небольшой сайт с интуитивно понятной структурой, то вы в общем-то можете обойтись без карты сайта. Но в любом случае полезно просто для себя начертить эту схему, чтобы потом, уже после программирования сайта, не возникало вопросов «и о чем же мы будем рассказывать в этом разделе, какой поместим контент?». Такой вопрос свидетельствует о том, что вы плохо продумали ваше веб-творение. Цель карты сайта - это поставить в соответствие каждой странице сайта некий визуально-текстовый объект, а затем упорядочить эти объекты по логике их смысловых связей.

Файл Sitemap.xml представляет собой XML-файл в кодировке UTF-8, в котором перечислены URL-адреса веб-сайта в сочетании с метаданными, связанными с каждым URL-адресом (дата его последнего изменения, частота изменений, его приоритетность на уровне сайта), чтобы поисковые cистемы могли более грамотно сканировать этот сайт.

Ниже приведен пример файла Sitemap, в котором содержится только один URL-адрес и использованы все необязательные теги. Необязательные теги выделены курсивом.

Итак, давайте подробнее рассмотрим, какие же теги используются в файле sitemap.xml.

Инкапсулирует этот файл и указывает стандарт текущего протокола.

always
hourly
daily
weekly
monthly
yearly
never

В файле Sitemap должна использоваться кодировка UTF-8. В XML-файлах для всех значений данных (включая URL-адреса) должно использоваться маскирование служебных символов, эти символы перечислены в таблице.

Символ		Маскирование
Амперсанд	&	&
Одинарные кавычки	'	'
Двойные кавычки	"	"
Больше	>	>
Меньше	<	<

Маскирование так же применяется для всех не-ASCI символов, используемых в документе.

В следующем примере показан файл Sitemap в XML-формате. Sitemap в этом примере содержит небольшое число URL-адресов, каждый из которых использует разное сочетание необязательных параметров.

Можно создать несколько файлов Sitemap, однако в каждом из этих файлов должно быть не более 50000 URL, а размер каждого из этих файлов не должен превышать 10 МБ. При необходимости файл Sitemap можно сжать с помощью архиватора gzip, чтобы уменьшить требования к пропускной способности канала. Однако размер файла sitemap без сжатия не должен превышать 10 МБ. Если необходимо перечислить более 50000 URL-адресов, следует создать несколько файлов Sitemap.

Для проверки Вашего файла Sitemap или файла индекса Sitemap по этой схеме в XML-файл нужно добавить дополнительные заголовки, как показано ниже.

Файл индекса Sitemap:

После того как файл Sitemap создан и размещен на веб-сервере, необходимо сообщить о местонахождении этого файла поисковым системам, поддерживающим этот протокол. Это можно сделать следующим образом.

передать файл Sitemap с помощью интерфейса передачи поисковой системы
указать местоположение файла Sitemap в файле robots.txt

После чего поисковые системы смогут извлечь файл Sitemap и разрешить своим сканерам доступ к URL-адресам.

Чтобы указать местоположение файла Sitemap в файле robots.txt, нужно добавить в этот файл строку следующего вида:

Можно указать несколько файлов Sitemap:

Эта инструкция не зависит от строки агента пользователя, поэтому неважно, где она размещается в файле. При наличии файла индекса Sitemap можно включить местоположение только этого файла. Перечислять каждый отдельный файл Sitemap, указанный в файле индекса, не нужно.

Единственное, что может делать файл robots.txt - это закрывать от индексации файлы и каталоги, причем делать это он может выборочно, ориентируясь на имена роботов поисковых машин. Если Вы хотите, чтобы ваш сайт был проиндексирован корректно, то присутствие файла robots.txt в корневой папке сайта обязательно, имя файла должно быть в нижнем регистре. Файл с именем robots.txt, находящийся в других каталогах или содержащий буквы верхнего регистра, будет проигнорирован. Файл robots.txt формируется из записей, по две строки в каждой: первая строка содержит имя робота, вторая - перечень закрываемых каталогов и/или страниц.

Пример записи, которая ничего не запрещает:

Звездочка в строке User-agent говорит, что эта запись относится ко всем роботам. Строка Disallow не содержит записей, что означает отсутствие запретов. В этой строке запрещено использовать маски множественных выделений, например *.vbs

Пример записи, запрещающий роботу Yandex любую индексацию сайта, разрешающий любую индексацию для робота Google, а так же для любых других роботов:

Пример запрета индексации файлов в определенных каталогах:

В указанном примере всем роботам закрыт доступ в каталоги "cgi-bin", "news/img", а так же закрыт доступ к конкретному файлу "my/my.html" и ко всем файлам, начинающимся с "script", размещенных в каталоге "my".

В дополнении ко всему перечисленному, каждая страница может содержать метатег, в которой указано как она будет индексироваться.

Теги <meta> - это теги, содержащие информацию документа о самом себе, а так же команды для браузера. В первые годы развития интернета эти теги использовались поисковыми системами как источник информации, но теперь, из-за повсеместного использования этих тегов в целях поискового спама, они потеряли свое значение. В настоящий момент большинство метатегов не учитывается поисковыми системами. Как правило, сейчас функцию мета-тегов для индексации выполняет тег <title>.Исключение составляют служебные, предложенные самими поисковыми системами, например тег с ключем доступа к определенным службам или тег проверки принадлежности сайта.

В связи с тем, что мета-теги несут чисто служебную функцию, и, кроме того, значительно увеличивают размер гипертекстового документа, начинающие веб-разработчики зачастую предпочитают их игнорировать. Тем не менее, давайте рассмотрим, как же использовать тег <meta>.

Функция тегов - идентификация автора или принадлежности документа. Эти теги, как правило, не используются одновременно. Тег Author содержит имя автора Интернет-страницы, в том случае, если сайт принадлежит какой-либо организации, целесообразнее использовать тег Copyright. Выглядит данный тег следующим образом:

Кроме этого, теги Author и Copyright могут содержать дополнительный атрибут "lang", позволяющий определить язык

Данный тег используется при создании краткого описания страницы, используется поисковыми системами для индексации, а так же при создании аннотации в выдаче по запросу. При отсутствии тега поисковые системы выдают в аннотации первую строку документа или отрывок, содержащий ключевые слова.

Этот тег также используется при индексации страницы в поисковых системах. Тег может принимать два значения: "Static" и "Dynamic". Значение "Static" отмечает, что системе нет необходимости индексировать документ в дальнейшем, а "Dynamic" позволяет регулярно индексировать страницу. Тем не менее, значение "Static" не означает, что страница будет проиндексировать только один раз. Обычно роботы поисковых систем время от времени проверяют все страницы сайта, если они, конечно, не запрещены для индексации вообще.

Используется генераторами гипертекста. Как правило редко несет в себе смысловую нагрузку, а лишь означает редактор, в котором создавалась страница.

Данный мета-тег поисковые системы использовали для того, чтобы определить релевантность ссылки. При формировании данного тега необходимо использовать только те слова, которые содержатся в самом документе. Рекомендованное количество слов в данном теге - не более десяти.

В настоящее время этот тег не учитывается поисковыми машинами.

Тег Resource-type описывает свойство или состояние страницы. Если значения тега отличается от "Document:, то поисковые системы его не индексируют. Возможные значения тега "build", "site-languages", "document", "rating", "version", "operator", "formatter", "creation" и другие.

Тег позволяет управлять частотой индексации документа в поисковой системе. Для переиндексации сайта раз в две недели используется тег следующего вида:

Тег формирует информацию для роботов поисковых систем. Значения тега могут быть следующими: "Index" (страница должна быть проиндексирована), "Noindex" (документ не индексируется), "Follow"(гиперссылки на странице отслеживаются), "Nofollow" (гиперссылки не прослеживаются), "All" (включает значения index и follow), "None" (включает значения noindex и nofollow).

Определяет тематику документа. Практически бесполезен из-за отсутствия четкой и согласованной классификации тем в различных поисковых системах.

Тег прекращает индексацию страницы поисковой системой, и перенаправляет робота поисковой машины по указанной ссылке. Тег применяется для отмены индексации "зеркала" и генерируемых страниц.

Тег позволяет указать язык, на котором создан документ. Используется поисковыми машинами при индексировании, хотя большинство из них умеют различать язык по тексту.

Некоторые значения тега Content-Language:

de	Немецкий
el	Греческий
en	Английский
es	Испанский
fr	Французский
it	Итальянский
ja	Японский
he	Иврит
nl	Голландский
ru	Русский
pt	Португальский
zh	Китайский

В спецификации HTML 4.0 есть альтернативная возможность явного указания языка:

Определяет язык программирования сценариев. Если этот тег не прописан, то следует указать язык программирования в каждом теге <script>, к тому же тег <script> обладает более высоким приоритетом по сравнению с Content-Script-Type.

Некоторые значения тега Content-Script-Type:

text/javascript	JavaScript
text/perlscript	PerlScript
text/tcl	TCL
text/vbscript	VBScript

Указание языка таблицы стилей, по умолчанию используется значение "text/css". тег <style>, в котором указан тип языка таблицы стилей, обладает более высоким приоритетом по сравнению с Content-Style-Type

Определяет тип документа и его кодировку. Применяя этот тег нужно учитывать следующее:

кодировка символов текста должна соответствовать кодировке, указанной в теге;
сервер не должен менять кодировку текста при обработке запроса браузера;
сервер меняет кодировку текста, он должен скорректировать или удалить мета тег Content-Type.

В противном случае сервер автоматически определит кодировку запроса клиента и отдаст страничку клиенту перекодированной. Клиент, в свою очередь, будет читать документ в соответствии с мета тегом Content-Type. И, если кодировки не совпадут, то прочитать документ можно будет только после ручного выбора трубуемой кодировки документа.

Некоторые значения тега Content-Type:

Управляет кэшированием. Если указанная в теге дата прошла, то клиент должен сделать повторный сетевой запрос, а не использовать копию из кэша. Если изначально указать прошедшую дату, то документ не будет кэшироваться. Но следует учитывать, что некоторые поисковые роботы могут отказаться индексировать документ с устаревшей датой. Дата должна указываться в стандарте RFC850.

Тег PICS-Label (Platform-Independent Content rating Scheme Label) - указывает уровень доступности сайта (в связи с возможными тематиками sex и violence), но может использоваться и в других целях.

Контроль кэширования при страницах, получаемых путем работы заданного скрипта.

Задержка времени (в секундах) перед тем, как браузер обновит страницу. Кроме того, может использоваться автоматическая загрузка другой страницы.

Пример ежеминутного обновления страницы

Настройка cookie браузера. Перед запросом к серверу, браузер проверяет cookie. И если атрибуты NAME, DOMAIN и PATH сохраненного cookie совпадают, то браузер посылает это cookie серверу. Если cookie принимает новое значение, старое значение удаляется.

Значения тега Set-Cookie:

Мета тег определяет окно текущей страницы. Приведенный пример может быть использован для прекращения появления новых окон браузера при применении фреймовых структур.

В этой статье вы узнаете, как создавать robots.txt и sitemap.xml (карту сайта). Вот только прежде, чем начать что-то создавать, нужно в первую очередь понять, что же это такое и для чего оно вообще нужно? И хотя некоторые сеошники утверждают, что в последние годы файл robots.txt в принципе и не нужен, потому что поисковые роботы прекрасно обходятся и без него. Я же предпочитаю, ограничивать ранжирование моих файлов. Боту всё равно, что индексировать, а вот мне нет.

В общем, решайте сами создавать его вам или нет. В любом случае моя статья вам пригодится, даже в плане обучения и саморазвития. Потому что такие вещи вы должны знать.

Что такое robots txt

Далее поисковые роботы, проводя индексацию сайта первым делом будут искать его и проверять. А там у нас указаны правила для них, куда им можно сунуть свой нос, а куда нельзя. Проще говоря, в этом документе указано какой файл можно или нельзя показывать обозревателям.

Да-да, не всё нужно открывать для роботов поисковиков, иначе они проиндексируют ваши данные и выставят в поисковую систему, тем самым раскрыв для всех как вашу личную информацию, так и информацию ваших подписчиков. Вот поэтому нужно правильно составлять файл robots.

Что запрещать индексировать поисковым роботам:

Вот чтобы не случилось непоправимого нужно запретить им посещать некоторые разделы и директории сайта. А именно:

Далее наблюдая за развитием и работой вашего проекта вы уже сами сможете вносить изменения в этот файл. Например, что-то открыть или закрыть для индексации.

И теперь можно переходить непосредственно к созданию robots.

Как создать robots txt

Мы не станем зарываться в глубокие технические дебри, оставим это для технарей-сеошников, а разберёмся с теми основами, что необходимо знать для создания файла robots.txt и которых вам будет вполне достаточно для работы. Естественно, если у вас возникнет желание изучить эту тему более глубоко и подробно, то дерзайте, это даже полезно. Но наша статья посвящена другой теме, поэтому не станем отвлекаться.

Важные аспекты!

Файл должен быть в текстовом формате
Должен располагаться непосредственно в корне сайта
Должен называться только robots.txt, латинскими буквами нижнего регистра
Должен иметь кодировку UTF-8
В каждой строке должно быть только одно правило

Шаблон файла robots.txt

Вы, наверное, уже заметили, что в файле роботс используются:

две директивы: Disallow (запретить) и Allow (разрешить)

три директивы о поисковых ботах: от Яндекс (Yandex) , от Гугл (Google of) и все остальные в совокупности (*) , отмеченные директивами: User-Agent

строка, указывающая путь к карте сайта (Sitemap) .

Так что разобраться в нём достаточно просто.

Как создать robots txt с помощью плагина

Сначала активируем robots.txt, потом прописываем имя бота (user-agent). Выбираем разрешить или запретить (Allow или Disallow). И наконец прописываем правила. В общем у нас получается по такому вот порядку: имя бота -правило -путь к каталогу, к которому это правило применять.

Если честно, то как по мне, так лучше создавать этот файл вручную. Это надёжнее и точнее, да к тому же и возни меньше. К тому же плагины постоянно обновляются и не факт, что обновление установится корректно, а это может нечаянно нарушить какую-нибудь функцию в его работе, что может плохо отразится на robots, а он должен быть постоянным. Так что думайте сами, как вам удобнее.

Вот в принципе и всё, что вам пока нужно знать о файле robots.txt. И теперь давайте разберёмся с Sitemap.xml

Что такое Sitemap xml

В таком файле может содержаться не более 50000 ссылок. Поэтому, если ваш сайт достаточно большой вам придётся разбить карту на несколько файлов.

Как создать Sitemap xml

Файл Sitemap.xml можно создать и вручную, и автоматически. И вот в этом случае гораздо удобнее его сделать с помощью плагина. Почему? Да потому что в сайте может быть огромное количество страниц и вручную всё это писать замучаешься. И к тому же в отличие от роботс файла с картой сайта плагины справляются намного корректнее.

Выставляем нужные галочки, как на скриншотах, остальные оставляем как есть.

Не забываем обновить параметры и пожалуйста карта сайта сгенерирована. Можете посмотреть её:

Sitemap — это файл со ссылками на страницы сайта, который сообщает поисковым системам об актуальной структуре сайта. Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию.

Примечание. Яндекс не гарантирует, что все указанные в файле URL попадут в результаты поиска.

В каких случаях нужен файл Sitemap

Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью внутренних и внешних ссылок — переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap , если на сайте:

Поддерживаемые Яндексом форматы

Яндекс поддерживает протокол Sitemap. Чтобы передать информацию, используйте следующие элементы:

Тег	Обязательно	Описание
loc	Да	Адрес страницы.
lastmod	Нет	Дата последнего обновления страницы.

Максимальный размер — 100 байтов.

Тег	Обязательно	Описание
loc	Да	Адрес страницы.
lastmod	Нет	Дата последнего обновления страницы.

Максимальный размер — 100 байтов.

Используйте этот формат, чтобы сообщить только об адресах страниц.

Также с помощью Sitemap вы можете передать информацию о локализованных страницах сайта и об изображениях (см. раздел Справки Яндекс.Картинок).

Чтобы передавать информацию о видео, в файле Sitemap укажите ссылки на XML-фиды (см. подробно в Справке поиска Яндекса по видео).

Ограничение. Поиск Яндекса не поддерживает передачу RSS и Atom-фидов с помощью файла Sitemap .

Требования к файлу

Используйте кодировку UTF-8. Кириллические URL робот Яндекса распознает как в закодированном виде, так и в оригинале. Максимальное количество ссылок — 50 000. Вы можете разделить Sitemap на несколько отдельных файлов и указать их в файле индекса Sitemap. Указывайте ссылки на страницы только того домена, на котором будет расположен файл. Разместите файл на том же домене, что и сайт, для которого он составлен.

Как создать файл и сообщить о нем Яндексу

Определите канонические URL для страниц, которые будут указаны в файле Sitemap . Это необходимо, если на сайте есть несколько страниц со схожей информацией. Выберите формат и с помощью одного из сторонних ресурсов сформируйте файл. Укажите ссылку на файл в robots.txt или в разделе Файлы Sitemap Яндекс.Вебмастера.

Вопросы и ответы

Как правило, в Sitemap принято включать все значимые страницы сайта. Если на сайте множество страниц, вы можете удалить из Sitemap уже известные Яндексу страницы и вносить в файл только новые или часто обновляющиеся.

Если вы используете файл индекса Sitemap отметьте тегом lastmod файлы Sitemap , которые часто обновляются.

Определить, какие страницы сайта уже известны Яндексу, можно в Вебмастере на странице Индексирование  → Статистика обхода .

Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»

Отображение файла Sitemap и других XML-файлов как исключенных страниц носит только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .

Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу. Не смотря на это файлы Sitemap не участвуют в поиске.

При обработке Sitemap возникла ошибка «Неизвестный тег»

Файл Sitemap может содержать только определенные XML-элементы. Если Вебмастер обнаружит в файле другие элементы, например, указание на мобильную версию, в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.

Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.

Файл Sitemap находится в статусе «Не проиндексирован»

Файл Sitemap может быть не проиндексирован по нескольким причинам:

Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap . Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.

Если проблема с доступом актуальна, обратитесь к администратору сайта или сервера, на котором он расположен. Если файл составлен корректно, он будет повторно обработан в течение двух недель с момента последнего запроса роботом. Проверить файл можно с помощью инструмента Анализ файлов Sitemap.

Файл Sitemap находится в статусе «Документ не содержит текст»

Такой статус отображается в инструменте Проверка ответа сервера и сообщает, что робот не может проиндексировать файл как обычную страницу сайта и включить его содержимое в результаты поиска. На обработку Sitemap этот статус не влияет. Чтобы проверить корректность Sitemap используйте в Вебмастере инструмент Анализ файлов Sitemap.

Файл Sitemap находится в статусе «URL запрещён к индексированию тегом noindex»

Как правило, файл Sitemap обрабатывается роботом в течение двух недель после добавления его в Вебмастер. Если этого не произошло, проверьте:

Читайте также: