Почему в истории браузера дублируются страницы
Обновлено: 03.07.2024
Дублированный контент или просто дубли – это страницы на вашем сайте, которые полностью (четкие дубли) или частично (нечеткие дубли) совпадают друг с другом, но каждая из них имеет свой URL. Одна страница может иметь как один, так и несколько дублей.
Как появляется дублированный контент на сайте?
Как для четких, так и для нечетких дублей есть несколько причин возникновения. Четкие дубли могут возникнуть по следующим причинам:
- Они появляются из-за CMS сайта. Например, с помощью replytocom в WordPress, когда добавление новых комментариев создает автоматом и новые страницы, отличающиеся только URL.
- В результате ошибок веб-мастера.
- Из-за изменения структуры сайта. Например, при внедрении обновленного шаблона с новыми URL.
- Делаются владельцем сайта для определенных функций. Например, страницы с версиями текста для печати.
Нечеткие дубли на вашем сайте могут появиться по следующим причинам:
-
Если есть частичное повторение одинакового текста на разных страницах сайта.
Пример страниц пагинации. Они находятся под цифрами 1, 2, 3 и т. д. Такое можно встретить, например, в блогах, где много статей или в многостраничных каталогах. И чтобы бесконечно не скролить вниз, делается их разбивка на внутренние страницы по номерам:
Почему дублированный контент вредит сайту?
- Негативно влияет на продвижение в поисковой выдаче. Поисковые роботы отрицательно относятся к дублированному контенту и могут понизить позиции в выдаче из-за отсутствия уникальности, а следовательно, и полезности для клиента. Нет смысла читать одно и то же на разных страницах сайта.
- Может подменить истинно-релевантные страницы. Робот может выбрать для выдачи дублированную страницу, если посчитает ее содержание более релевантным запросу. При этом у дубля, как правило, показатели поведенческих факторов и/или ссылочной массы ниже, чем у той страницы, которую вы целенаправленно продвигаете. А это значит, что дубль будет показан на худших позициях.
- Ведет к потере естественных ссылок. Когда пользователь делает ссылку не на прототип, а на дубль.
- Способствует неправильному распределению внутреннего ссылочного веса. Дубли перетягивают на себя часть веса с продвигаемых страниц, что также препятствует продвижению в поисковиках.
Как проверить, есть у вас дубли или нет?
Чтобы узнать, есть у страниц сайта дубли или нет, существует несколько способов.
На примере показано, что у страницы сайта нашлось несколько дублей через расширенный поиск Яндекс
Вступление
Дубли страниц это повторение содержимого статьи или ее части под разными URL в свободной выдаче поисковиков. Дубли страниц могут создаваться системой управления сайтом автоматически или администратором сайта вручную (чаще не преднамеренно). В этой статье мы говорим о дубле страниц в рамках одного домена.
Что такое дубли страниц
Прежде всего, давайте поймем, что такое дубли страниц.
Под дублями страниц понимается, что одну и ту же страницу ресурса или ее части можно найти по разным URL адресам.
Пойдем дальше, вспомним, как формируется контент сайта. Статья публикуется на сайте и записывается под своим URL в базу данных. Это и есть оригинал статьи с уникальным адресом URL. Нельзя сказать, что он единственный в математическом понимании. Любой SEF модуль перепишет его в SEF ссылку. Но опять-таки, эта SEF ссылка уникальна в единственном экземпляре.
В идеале, в индекс должно попадать столько URL страниц, сколько опубликовано. Это и есть золотое правило SEO — каждая страница должна быть доступна только по одному адресу. А что же происходит в реальности?
Прежде чем разобраться откуда берутся дубли страниц, поймем, почему поисковики «не любят» сайты с большим количеством дублированных страниц.
Ранжирование сайта и дубли страниц
Поисковики постоянно сканирует не закрытое от них содержание сайта. На сканирование и индексацию тратятся реальные ресурсы поисковых систем. Было бы странно, если поисковым системам нравились сайты, заполненные дублированными страницами. Ведь, по сути, получается, что поисковик листает одну и ту же страницу десятки и сотни раз.
Отсюда и появляются фильтры, накладываемые на сайты с большим количеством дублей, или сайт понижается в ранжировании (читать про ранжирование). Снижение ранжирования, отодвигает позиции в выдаче, а отсюда борьба «сеошников» с этими самыми дублями страниц. Вот такой логический цикл.
Но это не самая важная причина борьбы поисковиков с дублями страниц. Более веской причиной включения в поисковые алгоритмы санкций за дублирование страниц, стала борьба со ссылочным продвижением, когда масса ссылок разбрасывалась по сайту по одинаковым текстам (черные схемы оптимизации).
Читать по теме: SEO анализ конкурентов на этапе подготовки проектаПричина появления дублей
Поняв, что такое дубли страниц сайта, давайте разберемся в причинах появления дублей страниц, в рамках одного домена. В рамках одного домена в создании дублей страниц есть следующие виновники:
- Человек (человеческий фактор);
- Традиции Интернет;
- Специфика CMS;
- Также, дубли могут появляться на сайте независимо от Вас. Ваша CMS сама «родит» дубли.
Примечание: Слышал мнение, что дубли страниц плодят SEO расширения, которые вы используете на сайте. Это не так. SEO расширения не создают дубли, они их выявляют и записывают в свою базу. От того, что в их базе появляются новые дубли, они не виноваты.
Как появляются дубли страниц
Проследим, как появляются дубли на сайте, без примеров, только общие тенденции.
Именно по этому, после настройки всех параметров сайта по формированию URL , после настройки всех SEO расширений, установленных на сайте перестраивать ничего не нужно.
Зачем бороться с дублями страниц
Кроме опасности попасть из-за дублей страниц под поисковой фильтр, есть еще пару причин этой борьбы:
- Дубли рассеивают тИЦ страниц сайта. Поэтому очень важно избавиться от дублей перед очередным апдейтем поисковых систем.
- Чем больше дублей, тем меньше уникальность сайта, что также снижает ранжирование статей в выдаче.
Выводы
Мы разобрались, что такое дубли страниц сайта и поняли, чтобы снизить количество дублей необходимо:
Яндекс.Браузер, как и любой другой веб-обозреватель, во время использования сохраняет различные пользовательские данные и историю поиска. Иногда у юзера появляется желание удалить эти данные с целью оптимизации работы браузера или из-за соображений конфиденциальности.
Далее я расскажу о том, как это сделать на компьютере и смартфоне в актуальной версии данной программы.
Очищаем историю в Яндекс.Браузере
Ничего специфического в процедуре очистки истории поиска и кэша в браузере нет. Единственная трудность, с которой могут столкнуться пользователи, – несоответствие реального вида программы с представленными скриншотами. Скорее всего, это связано с тем, что вы используете устаревшую версию веб-обозревателя, поэтому нужно либо самостоятельно отыскать описываемые меню, либо обновиться до актуальной сборки.
Вариант 1: Программа на компьютере
Яндекс.Браузером активно пользуются как на компьютере, так и на мобильных устройствах. Начну с программы для Windows, остановившись детально на всех действиях, которые нужно выполнить, чтобы очистить историю Яндекса, куки и кэш.
Запустите браузер и откройте его меню, нажав на значок в виде трех горизонтальных полос на панели справа.
Из появившегося списка выберите раздел «Настройки».
Перейдите на вкладку «История» и снизу щелкните по кнопке «Очистить историю».
В выпадающем списке укажите, за какой период нужно очистить историю браузера. Это может быть один час, день или все время.
Отметьте галочками те данные, от которых хотите избавиться. Более детально о каждом пункте речь пойдет под инструкцией. Нажмите «Очистить» для подтверждения действия.
Через несколько секунд на экране появится уведомление о том, что данные успешно удалены, и вы можете возвращаться к нормальному использованию браузера. Теперь давайте остановимся более детально на каждом пункте очистки.
Просмотры. Сюда как раз и входит история посещений сайтов, которые отображаются перед переходом в меню очистки. То есть это обычная история вашего пребывания в сети.
Загрузки. Очищаются записи о скачивании файлов со всех сайтов. Обычно их можно посмотреть в разделе с аналогичным названием.
Данные автозаполнения форм. По умолчанию функция автозаполнения включена, поэтому Яндекс предложит сохранять вводимые данные в полях на сайтах, чтобы не указывать их каждый раз. Если отметить этот пункт галочкой, все данные об автозаполнении удалятся.
Файлы, сохраненные в кэше. Обычно очистка кэша нужна для оптимизации работы браузера, когда с ним возникают проблемы. Однако находящиеся в кэше файлы позволяют страницам, которые вы посещали ранее, загружаться быстрее.
Файлы cookie и другие данные сайтов и модулей. При переходе на некоторые сайты вы подтверждаете то, что разработчик занимается сбором куки. Это пользовательские файлы, необходимые для аутентификации. Их можно удалить, но при следующем взаимодействии с веб-ресурсами запрос на сбор куки снова появится.
Настройки содержимого. Это особые разрешения на использование камеры, микрофона или JavaScript. При очистке содержимого все разрешения или запреты, выданные ранее, придется расставлять заново.
Данные приложений. Очищается информация о работе в связанных приложениях. Обычно речь идет о магазине расширений.
Вариант 2: Мобильное приложение
Многие пользователи взаимодействуют с Яндекс.Браузером на мобильных устройствах, поэтому предлагаю остановиться на инструкции по очистке истории в Яндекс.Браузере на смартфоне.
После запуска приложения нажмите по кнопке вызова меню на нижней панели.
Среди списка всех плиток отыщите «Настройки».
Опуститесь по названиям доступных параметров и выберите пункт «Очистить данные».
Установите галочки напротив всех пользовательских данных, от которых вы хотите избавиться, после чего подтвердите очистку.
Детальнее о значении каждого пункта рассмотренного меню читайте в завершающем абзаце предыдущего раздела этой статьи.
Очистка истории при помощи сторонних программ
Одна из таких программ – CCleaner. Она доступна как на ПК, так и на смартфоне, функционируя на обеих платформах по одному и тому же принципу. Вам понадобится запустить инструмент стандартной очистки и убедиться в том, что напротив пункта с очисткой истории в Яндекс.Браузере стоит галочка.
Примерно так же работает и другой софт, очищающий мусор на устройстве. Вы можете использовать любую известную вам программу, загрузив ее с официального сайта. Главное, перед очисткой убедиться в том, что все параметры выставлены правильно.
Восстановление удаленной истории
В завершение вкратце расскажу, как восстановить историю в Яндекс.Браузере. Нет стопроцентной рекомендации, которая помогала бы во всех случаях, поэтому упомяну все доступные методы, а вам останется только путем перебора найти действенный.
Если на компьютере включена автоматическая архивация папок, найдите каталог Яндекс.Браузера, щелкните по нему правой кнопкой мыши, перейдите в «Свойства» и на вкладке «Предыдущие версии» отыщите вариант отката до точки восстановления. Этот вариант сработает только в том случае, если предварительно архив был укомплектован системой.
Точно так же вы можете откатиться до точки восстановления, если ранее настроили их периодическое автоматическое создание. Если вы уже настроили данную функцию, то, скорее всего, знаете, как ей пользоваться.
Используйте программы, предназначенные для восстановления утраченных данных. Обычно они помогают, поскольку при очистке истории из папки браузера удаляются файлы. Вам останется только найти их через программу и восстановить.
Как видно, нет ничего сложного в том, чтобы удалить историю в Яндексе на смартфоне или компьютере. Все действия выполняются в пару кликов, и даже случайную очистку можно отменить при помощи рекомендаций из последнего раздела статьи, но лучше не допускать появления подобных ситуаций.
Дубли можно разделить на 2 категории: полные и не полные. В перовом случае дублируется вся страница, во втором, только ее часть, например, после анонса в RSS.
Если на своем сайте Вы обнаружили дубли контента, то вот с какими проблемами Вы можете столкнуться при продвижении:
- Потеря внутреннего ссылочного веса. Это может произойти из-за того, что ссылки ведут на дублированные страницы, вместо того чтобы увеличивать вес продвигаемой. Простой пример: при внутренней перелинковке, Вы можете случайно ошибиться и сослаться на дублированную страницу, в таком случае вес страницы пропадает в пустую.
- Подмена основной страницы в индексе. Дублированная страница может быть расценена поисковиками как оригинальная и свободно попасть в основной индекс. Если такое произойдет, то все усилия по ее продвижению будут напрасны и соответственно позиции по нужным запросам просядут.
- Если дублей очень много, то есть риск попадания под фильтр Яндекса АГС.
Теперь, когда мы узнали определение и последствия дублей, можно приступать к их поиску и устранению. Устранение сводиться к тому, чтобы запретить дублям индексироваться
Устранение самых распространенных дублей
Сайт доступен с www и без www
Делается это очень просто. Если вы хотите сделать сайт доступным без www, то в конец файла .htaccess пишем этот код:
Если с www, этот:
В индексе присутствуют страницы с параметрами page=1; .php и т.д.
Дубли со слешами на конце
Суть в том, что страница доступна по ссылке со слешем (/) и без него. Проверяется следующим образом:
Если одни и те же страницы будут открываться со слешем и без него, то это дубль:
Устранить эту проблему можно прописав в конец файла .htaccess следующее правило:
RewriteBase / RewriteCond % (.*) RewriteCond % /$ [NC] RewriteRule ^(.*)(/)$ $1 [L,R=301]
Этими действиями мы предотвратили появление в индексе дублированного контента, но что делать, если таковой уже имеется в выдаче? В таком случае нужно отыскать, и избавится от него вручную.
Поиск дублированного контента в индексе
Есть множество способов найти дублированный контент, давайте рассмотрим самые основные:
Расширенный поиск Яндекса. Заходим в этот поисковик и жмем “расширенный поиск”:
Берем кусок текста из старого поста, заключаем его в кавычки и вставляем в строку поиска. Далее вводим адрес блога и жмем “Найти”:
Если по таким запросам показывается несколько страниц, то это дубли. Заметьте, что нужно брать текст из середины или конца поста, потому как первые предложения могут встречаться на главной странице или в рубриках блога.
Если найдены дубли, то удалите их с помощью инструмента из Яндекс Вебмастера.
Конечно, если на Вашем сайте тысячи страниц то проверять его ручками можно вечно, поэтому для упрощения работы придумана программа XENU.
Проверка с помощью программы Xenu. Эта программа проанализирует все ссылки Вашей площадки и укажет на возможные ошибки. Программка на английском, но разобраться в ней несложно.
Итак, скачиваем ее отсюда (жмем кнопку Download) и устанавливаем на компьютер. После установки запустите программу, перейдите в раздел “file” и выберите подраздел “check URL”:
Здесь введите адрес нужного сайта и нажмите ok. Начнется процесс проверки ссылок. Прошу заметить, что полная проверка может длиться достаточно долго, поэтому не переживаем.
Все ошибки будут подсвечены красным цветом, поэтому распознать проблемные страницы будет несложно. После анализа, программа предложить сделать карту сайта, но этого делать не нужно.
Еще одним удобным способом проверки дублированных страниц является инструмент в Google Webmaster. Если Ваш сайт добавлен туда, то перейдите в раздел “оптимизация”, а затем в “оптимизация html”. Здесь будут показаны одинаковые тайтлы и description, что говорит о дублированном контенте. Если все good, то ы увидите следующие:
После нахождения дублей анализируйте их появление, и устраняйте вышеперечисленными способами. Если найдены дубли с непонятными адресами, то закрывайте их от индексации через robots.txt. Также если на Вашем сайте есть архив записей, то его тоже лучше закрыть от индексации в robots.txt либо через All in One Seo Pack.
На этом все, надеюсь, Вы выявили все проблемные страницы Вашего сайта и с успехом удалили их. Если возникли вопросы по поводу дублей, не стесняйтесь, я всегда открыт для общения.
Песенка на закуску
Буду благодарен за подписку и за репост в социальных сетях. Удачного лета друзья.
p.s. Стал писать реже, потому что уехал в Крым :3
Лично у меня с Яндексом вообще проблем нет, в индексе всего 145 страниц, как и должно быть. Это я добился тупо через файл robots.txt. Прописал там необходимые для меня параметры и забыл.
А вот google не хочет его брать. точнее он его индексирует но не принимаем в серьез. Уже около 2000 страниц в индекса. Я заметил что так почти у всех, но есть люди у которых также как и у Яшки, то есть, google лишнее не забирает. Пытался у них разузнать что да как. но бело в том, что они сами не знаю. Беда.
Уже столько различных статей прочитал и у самого google спрашивал, но итога нет. Вот я и думаю. стоит мне все это проделывать, если в Яншку лишнее не лезет. Мне нужно на google повлиять. Поможет то, о чем ты в статье написал? Как думаешь? Или знаешь?
Я вот у тебя поглядел через анализатор, в индексе google более 2000 страниц. То если если ты на своем блоге все о чем написал применяешь, значит это не поможет. Тогда может ты можешь подсказать где найти то что мне надо?
Кстати, я у себя конкурс запустил. Забегай поучаствуй. Думаю, будет весело. Такого конкурса я еще ни у кого не видел. Моя, так сказать, собственная мысля. Придешь? Ну, я тебе на почту на всякий случай написал.
P.S. Хочу у тебя одну статейку попросить. Ну, если ты разбираешься в этом. Как можно рекламное объявление в Яндекс.Директор заказать чтобы продавать инфопродукты. Я слышал, у тебя был опыт хороший. Ну, помнишь ты говорил что как-то продавал через яндекс директор продукт про похудание, вреде. Купил рекламу на 300 и получил чистой прибыли , вроде 900 рублей. Хочу попробовать повторить. Ну не то чтобы такой же продукт продавать и столько же заработать, а просто заработать на этом хочу. Деньги есть для рекламы, нужно теперь их увеличить! Расскажешь что-нибудь интересное на этому тему? Может поделишься, посоветуешь что-то?
P.S. Кстати, помнишь ты делал обзор моего блога? Так вот я все твои советы применил, и уже вывел блога на 100-150 посетителей. Очень доволен результатом :) Спасибо за советы и проделанную работу. Давай нам еще вечерний борщь, другим поможешь!?
Ну почему же не использую, я использую, только с гуглом беда и robots он тоже читать не хочет. С Яндексом у меня нормально все :)
С конкурсом ознакомлюсь. Про статейку, думаю можно будет написать, почему нет.
Поздравляю Андрюха, Воскресный борщ не будет заброшен, вернусь из Крыма и продолжу обзоры :)
Хорошо, буду ждать статью с нетерпением. Уж очень хочется попробовать свои силы в этом и с читателями поделиться :) Спасибо.
Гугл robots.txt читает, но понимает он его очень специфично. Все страницы запрещенные к индексации он отправляет в дополнительный индекс. Если хотите снизить показатель то нужно просто зайти в инструменты Гугл вебмастера и удалять страницы через Удалить URL-адреса. Работа конечно же нудная но после этого должна повысится лояльность гугла, сам начал понемногу удалять страницы, надеюсь будет эффект.
Читайте также: