На что надо ориентироваться создавая персональную ленту новостей в социальной сети rss ридер

Обновлено: 06.07.2024

По умолчанию в CMS WordPress включена RSS-лента, предназначенная для добавления информации, которая содержится на страницах блога. Ее использование может помочь целевой аудитории отслеживать обновленные и вновь созданные публикации на вашем ресурсе.

Сегодня мы разберемся, как правильно настроить RSS-ленту в WordPress, а также рассмотрим популярные сервисы для сбора и чтения статей.

Что такое RSS-лента

Раньше не было социальных сетей – пользователи мониторили различные блоги, чтобы найти нужную информацию. Представьте, если бы во ВКонтакте не существовало ленты и требовалось постоянно отслеживать различные паблики на наличие новых публикаций – на это уходила бы уйма времени. Так было и в то время, когда популярность новостных сайтов была на пике, а получить информацию хотелось с каждого ресурса. Если таких всего несколько, то не составит никакого труда посмотреть наличие новых публикаций, но что делать, если в вашем арсенале их десятки, а то и сотни?

Для таких случаев была придумана RSS-лента. Это семейство XML-форматов, предназначенное для распространения новостных лент, а также мониторинга изменений в блогах и на прочих ресурсах с динамическим контентом. Чтобы не пропустить свежую статью с любимого сайта, достаточно подписаться на RSS-поток. Он схож с email-рассылкой, но гораздо удобнее и современнее: отслеживание происходит в режиме онлайн – достаточно воспользоваться программой для сбора и чтения статей. Алгоритм использования довольно прост: база данных заполняется сайтами, после чего в выбранном сервисе публикуются все новые статьи с них. Сбор данных может идти со всевозможных ресурсов с RSS-лентой, что дает возможность мониторить информацию, не заходя на каждый сайт отдельно.

Несмотря на то, что социальные сети полностью захватили мир, использование такой технологии все еще актуально. Например, она используется для выгрузки статейной ленты вашего сайта в новостные агрегаторы.

Давайте рассмотрим, как выглядит RSS-лента в WordPress и что нужно для ее активации.

Как настроить RSS-ленту

Как только WordPress будет установлен на хостинг, RSS-лента тут же активируется на ресурсе. По умолчанию нам доступны лишь две опции – выбор типа отображения статьи и изменение количества последних постов, которые будут отображаться в RSS-ленте. Например, мы можем установить, чтобы в ленте новостей у пользователей были показаны только 5 последних публикаций. Сделать это можно следующим образом:

Открываем административную панель WordPress и наводим курсор мыши на раздел «Настройки». В отобразившемся меню выбираем «Чтение».
Для того чтобы настроить количество последних постов, находим соответствующую строку и вписываем нужное число. Ниже мы также можем указать, в каком формате будет отображаться статья в RSS-ленте. В завершение не забываем сохраниться.

На этом функционал внутри админки исчерпан, однако на практике могут возникнуть ситуации, в которых попросту необходимо вмешаться в работу RSS-ленты. В таких случаях мы можем пойти следующими путями: установить дополнительные плагины либо самостоятельно внести изменения в код. Рекомендую воспользоваться Ozh’ Better Feed – это функциональное расширение, позволяющее настроить внешний вид фида, а также значительно улучшить работу ленты.

Давайте рассмотрим, как поставить его на WordPress и что он в себя включает.

Плагин Ozh’ Better Feed

Первым делом установим расширение в админку:

В отобразившемся окне перед нами открывается доступ к таким блокам, как «Cut your Feed», «Read more Link», «Feed Item Footer», «X Comments Labels» и «Credit & Love». К сожалению, весь интерфейс доступен только на английском языке. Сейчас я расскажу о каждом блоке более подробно.

Cut your Feed

В данном блоке нам предоставляется возможность настроить RSS-ленту таким образом, чтобы она отдавала не весь текст, а только его часть. Доступны такие значения, как:

Cut the Feed on «Read more» links — текст обрезается после тега , который предназначен для отделения анонса статьи.
Cut the Feed on «Next page» links — текст обрезается после тега , позволяющего разбивать большие тексты на страницы в пределах одной записи.

Такой подход позволяет форматировать все элементы, которые попадают в RSS, чего нельзя сделать стандартными способами.

«Read more» Link

Здесь мы можем настроить кнопку «Читать далее», которая отображается в ленте для перехода на источник. Это отличный вариант для тех, кто хочет выделить статьи красивой кнопкой – разрешено прописывать HTML-теги с использованием CSS-стилей.

Feed Item Footer

Еще один блок для кода – в данном случае настраивается футер ленты, в котором обычно прописываются копирайты, источник, число комментариев и прочее.

«X Comments» Labels

Настройки данного раздела могут быть полезны в том случае, если используется переменная %%comment_text%%, позволяющая отображать количество оставленных комментариев к публикации.

Credit & Love

Ручной способ

Для ручной настройки фида потребуется внести некоторые изменения в код файла functions.php. Например, чтобы добавить небольшое изображение к посту, необходимо вставить следующую функцию:

Полностью отключить RSS-ленту можно так:

Чтобы запретить поисковикам индексировать ленту, необходимо в файл robots.txt добавить две строки:

Исключить нерелевантные рубрики из RSS:

Для других случаев вы можете воспользоваться плагинами:

Disable RSS – полностью отключает ленту;
Skip RSS – отключает отдельно взятые записи из RSS-ленты;
Fix My Feed RSS Repair – используется для решения проблем с RSS-каналом;
Feed Pauser – публикация записей с задержкой;
RSSless – если требуется скрыть часть контента в ленте.

Как видите, настроить RSS-ленту в WordPress не так уж и сложно, если воспользоваться специальными плагинами с удобным функционалом. Поэкспериментируйте с ними!

Как посмотреть RSS-ленту сайта WordPress

В зависимости от формата ленты, адреса фида могут отличаться:

адрес веб-сайта/feed (RSS0)
адрес веб-сайта/feed/rdf (RDF/RSS0)
адрес веб-сайта/feed/atom (Atom)

Также при различных настройках сайта ссылки могут выглядеть следующим образом:

адрес веб-сайта/wp-rssphp (RSS 2.0)
адрес веб-сайта/wp-rdf.php (RDF/RSS0)
адрес веб-сайта/wp-atom.php (Atom)
адрес веб-сайта/?feed=rss2 (RSS0)
адрес веб-сайта/?feed=rdf (RDF/RSS0)
адрес веб-сайта/?feed=atom (Atom)

Если вы добавляете комментарии в RSS-ленту WordPress, то ссылки на них будут выглядеть так:

адрес веб-сайта /comments/feed (RSS 2.0)
адрес веб-сайта /comments/atom (Atom)
адрес веб-сайта /comments/rdf (RDF/RSS 1.0)

Все вышеупомянутые ссылки вы можете ввести в любом браузере, в результате чего будет отображен файл в формате XML.

Как настроить RSS-подписку при помощи Feedburner и e-mail

Теперь перейдем к настройке RSS-подписки по email – сделать это также можно через Feedburner. Для этого необходимо выполнить следующее:

Переходим в раздел «Публикуй» и открываем подраздел «Подписки по электронной почте» – здесь активируем данную услугу с помощью соответствующей кнопки.
В результате перед нами отобразится раздел «Управление подпиской». Отсюда нам потребуется скопировать HTML-код и вставить его на любую веб-страницу. Здесь же мы можем предлагать электронные подписки через ссылку, а не форму – для этого нужно скопировать нижний код и вставить его на ресурс.

На этом настройка завершена, мы подключили самый важный функционал сервиса, но на этом его возможности не заканчиваются. Давайте рассмотрим еще одну опцию – настройку счетчика подписчиков.

Как настроить счетчик подписчиков в RSS-ленте от FeedBurner

Для этого нам потребуется выполнить следующее:

Открываем раздел «Публикуй» и перемещаемся в подраздел «FeedCount».
Здесь мы можем настроить цвет счетчика – нам доступна небольшая цветовая схема, однако есть и возможность работать с HEX-кодом. Если вы хотите использовать какой-то особый цвет, найдите его в Фотошопе или подобных редакторах, а затем скопируйте через пипетку цветовой код. Как только цвет будет выбран, нужно сохранить внесенные изменения кнопкой «Активировать».
В результате нам будет предоставлен код, который нужно скопировать на HTML-страницу.

Мы прошлись по основным настройкам Feedburner. Это не весь функционал сервиса. Рекомендую рассмотреть другие разделы уже самостоятельно, чтобы полностью углубиться в возможности инструмента.

6 удобных RSS-сервисов для сбора и чтения статей

На просторах интернета вы можете найти много сервисов для чтения RSS-лент. К сожалению, многие из них давно не обновляются и совсем не подходят для современного использования. В связи с этим я собрал персональный топ сервисов, которые помогут вам читать статьи в удобном формате.

Feedly

Один из самых популярных сервисов для чтения статей в RSS-потоке. Он весьма прост в использовании.

Особенности бесплатной подписки:

Ссылка на сервис: Feedly

Newsflow

Newsflow – это продукт от разработчиков Microsoft, распространяющийся в бесплатном доступе. Он регулярно присылает уведомления, когда есть обновления в RSS-каналах. Доступна возможность подключить отображение живых плиток в меню «Пуск» – благодаря этому можно получать обновления, не заходя на сервис.

количество RSS-источников не ограничено;
просмотр всей статьи, не выходя из приложения (функция Readability);
поиск по ключевым словам.

Ссылка на сервис: Newsflow

Inoreader

Inoreader – еще один инструмент для чтения RSS-лент. Доступна возможность скачать статью в полном формате, чтобы не открывать оригинальный источник.

Особенности бесплатной подписки:

Ссылка на сервис: Inoreader

Feedspot

Feedspot – сервис, включающий в себя поисковую опцию, благодаря которой можно искать нужную информацию среди всего контента из подписок.

поддерживаются все актуальные типы источников;
объединение нескольких рассылок в одну подборку;
импорт подписок;

Ссылка на сервис: Feedspot

NewsBlur

Популярный инструмент, позволяющий просматривать статьи с ресурсов в том виде, в котором они отображаются на сайте. Также NewsBlur работает как ресурс рекомендательного контента.

обмен и комментирование новостей с друзьями;
сохранение истории;
различные варианты просмотра истории;
поддержка Android и iOS.

Ссылка на сервис: NewsBlur

The Old Reader

Данный сервис отлично подойдет для обмена контента с друзьями – можно подключить Facebook/Google-аккаунты и получать рекомендации через них. Также здесь присутствует вкладка «Трендовые статьи».

до 500 активных подписок;
бесплатный доступ;
работает на любом устройстве;
простой доступ к данным из RSS-ленты сайта;
интуитивно понятный интерфейс.

Ссылка на сервис: The Old Reader

Заключение

Сегодня мы разобрали довольно популярный способ отслеживания публикаций из веб-ресурсов. Несмотря на то, что прошло много времени со дня основания технологии, она до сих пор пользуется популярностью среди пользователей. Спасибо за внимание!

Подробнее об RSS, новостной ленте и подписке по e-mail

В сущности РСС представляет из себя данные, поданные в формате XML. Это примерно тоже самое, что и HTML, только этот формат гораздо более лимитирован различными ограничениями. Поэтому XML дает возможность удобно транслировать новостную ленту в автоматическом режиме и представляет собой по сути чистый контент (без явно выраженной структуры оформления, скриптов и т.д.). То есть идеальный вариант предоставления нужной информации без отвлечения к ненужным деталям.

Как вы, наверное, поняли, лента RSS представляет из себя совокупность материалов конкретного вебресурса (чаще всего блога). Главным ее преимуществом является то, что любой пользователь может своевременно ознакомиться со свежеиспеченными публикациями любимого ресурса. Поэтому владельцы блогов, и я в том числе, устанавливают на свой проект подобную иконку:

При клике по которой вы попадаете на RSS канал данного блога, который в большинстве случаев прогоняется через Feedburner. Этот сервис имеет целую кучу различных настроек, позволяя владельцу ресурса придать своей новостной ленте вполне респектабельный вид. Попутно предложу вам несколько ресурсов, с которых можно скачать иконки для своего вебсайта:

Iconsearch
Naldzgraphics
Hongkiat

Также практически все вебмастера, окромя кнопки перехода к новостной ленте, устанавливают у себя форму подписки на e-mail, которая, пожалуй, приносит еще больше плюсов. Например, у меня на блоге подобная форма, впрочем как и кнопка РСС, установлена в самом верху сайдбара и внизу каждой статьи. После того, как читатель вашего блога подписался на RSS, он будет получать свежие публикации к себе на электронную почту, что очень удобно.

Казалось бы, все гладко и респектабельно. Но все в нашем мире имеет как положительные моменты, так и отрицательные, что логично и естественно, от этого не уйти. Просто необходимо указать на это, чтобы каждый мог принять решение сам исходя из собственного мировоззрения.

Дело в том, что необходимо решить, в каком виде производить публикацию своих статей в новостной ленте: в формате анонсов (первые пара абзацев поста, по умолчанию для блога WordPress это 55 слов) либо транслировать их в полном объеме. В первом случае можно обезопасить себя от похитителей информации, которые осуществляют данное безобразие с помощью так называемой программы Grabber.

В результате ничего не подозревающий вебмастер с удивлением обнаруживает, что им собственноручно написанный контент оказывается плагиатом, поскольку он был сворован посредством копипаста, где-то уже опубликован и был проиндексирован быстрее. Вот так совсем недавно поисковые системы просто решали спорные ситуации с авторством. Кто быстрее опубликовал, тот и в шоколаде.

Слава богу, что такая ситуация стала в последнее время понемногу исправляться, и поисковики (как Яндекс, так и Гугл) стали поворачиваться лицом к вебмастерам, введя свои инструменты подтверждения авторского права. Кстати, я довольно подробно писал о том, как проверить уникальность текста статьи с помощью программ или онлайн сервисов антиплагиата.

Еще одним плюсом публикования неполного текста статьи является то, что пользователь, прочитав ее начало (если, конечно, вы смогли в начале заинтересовать его), для полного ознакомления перейдет на ваш сайт. А это, как вы понимаете, дополнительная аудитория для вашего вебресурса и улучшение поведенческих факторов, что благотворно скажется на продвижении.

Тут каждый должен принять решение самостоятельно. Если вы перейдете по кнопке RSS на канал моего блога, то увидите, что я пока использую анонсы. Как только ситуация значительно улучшится в плане защиты авторства контента, сразу перейду на полномасштабную RSS трансляцию своих материалов.

Для чего нужен RSS reader, виды читалок

В заключении коротенько о ридерах, которые в обиходе получили название "читалки". Они позволяют технически осуществить желание пользователя прочитать новостную ленту конкретного вебресурса. Читалки отличаются разнообразием, представляя три ипостаси:

1. Программы. Главное их преимущество - расширенные функциональные возможности, однако они требуют установки на компьютер. Вот парочка из них:

Если перейдете по предоставленным выше ссылкам, то сможете скачать данные программы-ридеры с официальных сайтов.

2. RSS ридеры, которые встроены в популярные браузеры:

2.1. Чтобы добавить РСС ленту, скажем, в новейшем браузере Internet Explorer (дам пример на основе 11 версии), перейдите на желаемый вебресурс и щелкните в строке меню «Сервис» (если меню не отображается, нажмите клавишу Alt на клавиатуре). Затем из выпадающего меню выберите «Обнаружение веб-канала» - «"Название сайта" лента»:

После этого этого переходите на страницу выбранного RSS канала, на который можете сразу подписаться, нажав на соответствующую ссылку:

Далее выбираете папку, в которую будете помещать свои подписки на RSS каналы, можете заодно поставить галочку, чтобы сразу добавить данный веб-канал на панель избранного, затем нажимаете кнопку «Подписаться»:

Все, теперь после открытия браузера можете сразу знакомиться со свежей лентой новостей этого сайта. Для этого достаточно нажать на звездочку в правом верхнем углу окна IE и выбрать вкладку «Веб-каналы»:

2.2. Для добавления канала в браузере Mozilla Firefox, возможно, в настройках придется активировать данную опцию. Для этого жмете на кнопку с тремя горизонтальными полосками в правом верхнем углу:

Из меню выбираете «Настройки», затем в появившемся диалоговом окне переходите во вкладку «Приложения» и далее из выпадающего меню - «Добавить закладки на ленты новостей в Firefox»:

Дальше подтверждаем действие, нажав «ОК». Теперь переходим на вебстраницу любого сайта и щелкаем по иконке, расположенной рядом со звездочкой, где в выпадающем меню появился пункт «Подписаться на ленты новостей». Если подвести к этой строчке курсор, то появится возможность подписки на вебканал данного ресурса:

Жмем на этот пункт и в появившемся окошке выбираем место, где будут размещаться ссылки на все ваши подписные RSS каналы. Для удобства можно создать для этого специальную папку:

После этого в любое время можете открыть нужную новостную ленту из сохраненных закладок:

3. Онлайн ридеры, пожалуй, обладают наибольшими плюсами, если, конечно, вам не важен расширенный функционал, которыми обладают программы. Потому что, в отличие от софта, который необходимо устанавливать, они этого не требуют. Просто авторизуетесь здесь и получаете доступ ко всем каналам, на которые подписались. Вот парочка таких online сервисов:

Ранее был еще RSS reader от Гугла, но он, к сожалению, закрылся, хотя был практически лучшим в своем роде. На этом, пожалуй, все. В следующей публикации я выложу обещанный материал о сервисе Feedburner, который позволяет настроить свой канал как душе угодно, приняв во внимание ваши пожелания. Спасибо за внимание, до скорых встреч.

Так сложилось, что за последние пару лет я успел поучаствовать в разработке нескольких социальных сетей. Главная задача, которую приходилось решать в каждом из этих проектов, заключалась в формировании новостной ленты пользователя. При чём важным условием была возможность масштабирования этой ленты в условиях роста числа пользователей (точнее, числа связей между ними) и, как следствие, — количества контента, который они деливерят друг другу.

Мой рассказ будет о том, как я, превозмогая трудности, решал задачу формирования новостной ленты. А также я расскажу о подходах, которые наработали ребята из проекта Socialite, и которыми они поделились на MongoDB World.

Итак, для начала абсолютно банальная информация о том, что любая новостная лента формируется из активности пользователей, с которыми мы дружим (либо которых мы фолловим/читаем/etc). Следовательно, задача формирования ленты — это задача доставки контента от автора его фолловерам. Лента, как правило, состоит из совершенно разношёрстного контента: котиков, коубов, комедийных видео, каких-то текстовых статусов и прочего. Поверх этого мы имеем репосты, комменты, лайки, тегирование пользователей на этих самых статусах/фоточках/видео. Следовательно, основные задачи, которые возникает перед разработчиками социальной сети — это:

1. Агрегация всей активности, всего контента, который постят пользователи. Назовём это условно сервисом контента. На пост-хэллоуинской картинке выше, он изображён кипящим магическим котлом, который переваривает и агрегирует всевозможные разношёрстные объекты в коллекцию более-менее однородных документов.

2. Доставка пользовательского контента его фолловерам. Поручим этот процесс сервису ленты, который представлен колбочками. Таким образом, когда пользователь хочет почитать свою ленту, он идёт за своей персональной колбочкой, берёт её, с ней подходит к котелку и мы наливаем ему нужный кусочек контента.

Вроде бы проще некуда. Давайте более детально рассмотрим подходы в реализации формирования персональной новостной ленты (другими словами, доставки контента от автора его читателям). Пару-тройку интересных трудностей я вам гарантирую.

Данный подход предусматривает формирование ленты на лету. Т.е. когда пользователь запрашивает свою новостную ленту, мы вытягиваем из нашего контент сервиса записи людей, на которых подписан пользователь, сортируем их по времени и получаем новостную ленту. Вот, в общем-то, и всё. Я думаю, что это наиболее очевидный и интуитивно-понятный подход. На схеме выглядит он примерно так:

Когда пользователь постит что-то новое, процесс абсолютно тривиален: необходимо сделать всего одну запись в сервис контента. Эта простота и неудивительна, т.к. доставка ленты идёт при чтении, а значит всё самое интересное именно там.

ОК, переходим к чтению ленты. Чтобы сформировать ленту для конкретного пользователя, нужно взять список людей, на которых он подписан. С этим списком мы идём к контент сервису и вытягиваем посты этих людей. Конечно, необязательно брать прям все-все записи, как правило, можно взять какую-то часть из этого, необходимую для формирования начала ленты или следующей её части. Но в любом случае размер получаемых данных будет много больше того, что мы в итоге вернём пользователю. Связано это с тем, что активность наших друзей совершенно неравномерная и заранее мы не знаем, сколько постов надо взять от каждого из них, чтобы показать нужную часть ленты.

Но это ещё не самая большая проблема данного подхода. Очевидно, что по мере роста сети, быстрее остальных будет расти коллекция контента. И рано или поздно наступит необходимость шардировать эту коллекцию. И, естественно, шардирование будет происходить по авторам контента (например, по их ID). Так вот, самый большой минус данного подхода заключается в том, что наш запрос будет затрагивать очень большое количество произвольных шардов. Если вы конечно не фолловите одного человека.

Давайте теперь тезисно подведём итоги по доставке лены на чтение.

Простота реализации. Именно поэтому такой подход хорошо использовать «по дефолту». Например, для того, чтобы быстро сделать работающую демоверсию, Proof on Concept, etc.
Отсутствие необходимости в дополнительном хранилище для копий контента у фолловеров.

Чтение ленты затрагивает многие шарды, что без сомнения скажется на скорости такой выборки.
А это, скорее всего, потянет за собой необходимость дополнительного индексирования.
Необходимость выбирать контент с «запасом».

Давайте подойдём к проблеме немного с другой стороны. Что если для каждого пользователя хранить уже готовую новостную ленту и обновлять её каждый раз, когда его друзья будут постить что-то новое? Другими словами, мы будем делать копию каждого поста автора в «материализованную» ленту его подписчиков. Этот подход чуть менее очевиден, но ничего сверх сложного в нём тоже нет. Самое важное в нём — это найти оптимальную модель хранения этой самой «материализованной» ленты у каждого пользователя.

И так, что же происходит когда пользователь постит что-то новое? Как и в предыдущем случае, пост отправляется в сервис контента. Но теперь мы дополнительно делаем копию поста в ленту каждого подписчика (на самом деле, на этой картинке стрелочки, идущие в сервис ленты, должны начинаться не из поста автора, а из сервиса контента). Таким образом, у каждого пользователя формируются уже готовые для чтения персональные ленты. Очень важно так же и то, что при шардировании данных из сервиса ленты, использоваться будут ID подписчиков, а не авторов (как в случае с сервисом контента). Соответственно теперь читать ленту мы будем из одного шарда и это даст значительное ускорение.

На первый взгляд может показаться, что создание копий поста для каждого подписчика (особенно если их десятки тысяч) может получиться весьма небыстрым делаем. Но ведь мы разрабатываем не лайв-чат, поэтому совершенно не страшно, если процесс клонирования будет занимать даже несколько минут. Ведь мы можем делать всё эту работу асинхронно, в отличии от чтения. Т.е. пользователю совершенно не обязательно ждать, пока его запись продублируется в ленту каждого его подписчика.

Есть ещё один, куда более ощутимый недостаток — это необходимость где-то хранить все наши «материализованные» ленты. Т.е. это необходимость в дополнительном сторадже. И если у пользователя есть 15.000 фолловеров, то это означает, что весь его контент будет постоянно храниться в 15.000 тысячах копий. И это выглядит уже совсем не круто.

И кратенько о преимуществах и недостатках.

Лента формируется чтением одного или нескольких документов. Количество документов будет зависеть от выбранной модели хранения ленты, об немного позже.
Легко исключать неактивных юзеров из процесса предсоздания лент.

Доставка копий большому количеству подписчиков может происходить довольно долго.
Необходимость в дополнительном хранилище для “материализованных” лент.

Как вы догадываетесь, просто так мириться с проблемами мы не будем, тем более скролл ещё только на середине статьи :-) И здесь нам на помощь приходят ребята из MongoDB Labs, которые разработали целых 3 модели хранения «материализованных» лент. Каждая из этих моделей так или иначе решает описанные выше недостатки.

Забегая немного вперёд скажу, что первые две модели предполагают хранения персональной ленты за весь период её существования. Т.е. при этих двух подходах мы храним абсолютно все записи, которые когда-либо попадали в ленту. Таким образом, первые два подхода, в отличии от третьего, не решают проблему «разбухания» данных. Но, с другой стороны, они позволяют очень быстро отдавать пользователю не только топ ленты, но и все её последующие части, вплоть до самого конца. Конечно, пользователи редко скролят ленту в самый низ, но всё зависит от конкретного проекта и требований.

Группируем по времени

Эта модель подразумевает, что все посты в ленте за определённый временной интервал (час/день/etc.), группируются в одном документе. Такой документ ребята из MongoDB Labs называют «бакетом». В нашей же пост-хэллоуинской стилистике они изображены колбочками:

Всё что мы делаем, это округляем текущее время (например, берём начало каждого часа/дня), берём ID фолловера, и upsert'ом записываем каждый новый пост в свой бакет. Таким образом, все посты за определённый интервал времени будут сгруппированы для каждого подписчика в одном документе.

Если за прошлый день люди, на которых вы подписаны, написали 23 поста, то во вчерашнем бакете вашего пользователя будет ровно 23 записи. Если же, например, за последние 10 дней новых постов не было, то и новые бакеты создаваться не будут. Так что в определённых случаях этот подход будет весьма удобен.

Самым главным недостатком модели является то, что создаваемые бакеты будут непредсказуемого размера. Например, в пятницу все постят пятничные коубы, и у вас в бакете будет несколько сотен записей. А на следующий день все спят, и в вашем субботнем бакете будет 1-2 записи. Это плохо тем, что вы не знаете, сколько документов вам надо прочитать для того, чтобы сформировать нужную часть ленты (даже начало). А ещё можно банально превысить максимальный размер документа в 16Мб.

Группируем по размеру

Если непредсказуемость размера бакетов критична для вашего проекта, тогда формировать бакеты нужно по количеству записей в них.

Приведу пример. Установим лимит на бакет в 50 записей. Тогда первые 50 постов мы записываем в первый бакет пользователя. Когда настаёт черёд 51-го поста, создаём второй бакет для этого же пользователя, и пишем туда этот и следующие 50 постов. И так далее. Таким нехитрым образом мы решили проблему с нестабильным и непредсказуемым размером. Но такая модель работает на запись примерно в 2 раза медленнее, чем предыдущая. Связанно это с тем, что при записи каждого нового поста необходимо проверять достигли ли мы установленного лимита или нет. И если достигли, то создавать новый бакет и писать в уже в него.

Так что с одной стороны этот подход решает проблемы предыдущего, а с другой создаёт новые. Поэтому выбор модели будет зависеть от конкретных требований к вашей системе.

Кэшируем топ

И, наконец, последняя модель хранения ленты, которая должна решить все-все накопившиеся проблемы. Или, по крайней мере, сбалансировать их.

Основная идея этой модели заключается в том, что мы кэшируем некоторое количество последних постов, а не храним всю историю. Т.е. по сути бакете будет представлять из себя capped-array, хранящий некоторое количество записей. В MongoDB (начиная с версии 2.4) это делается очень просто используя операторы $push и $slice.

Плюсов от такого подхода сразу несколько. Во-первых, нам надо обновлять всего один документ. При чём апдейт этот будет очень быстрый, т.к. в нём отсутствуют какие-либо проверки, в отличии от предыдущей модели. Во-вторых, для получения ленты нам надо читать опять-таки всего один документ.

Далее. Если пользователь длительное время не заходит в наш сервис, то мы можем просто удалить его кэш. Таким образом, мы исключим неактивных пользователей из процесса создания «материализованных» лент, высвобождая ресурсы наших серверов. Если же неактивный пользователь вдруг решит вернуться, скажем через год, мы легко создадим для него новенький кэш. Заполнить его актуальными постами можно используя fallback в простую доставку на чтение.

Таким образом, данная модель является отличным балансом между тем, чтобы хранить всё ленту для каждого пользователя и тем, чтобы строить эту ленту на каждый запрос.

Embedding vs Linking

И ещё один важный момент касательно хранения ленты в кэше: хранить контент постов или только ссылку?

Подход с хранением полной копии постов прямо в бакете будет хорош, если контент постов будет небольшого и главное известного размера. В качестве идеального примера можно привести Twitter с его 140-символьными статусами.

В общем же случае выигрывает второй подход, когда мы храним ID поста и, возможно, какие-то мета-данные (например, ID автора, дату публикации и прочее). Контент же вытягивается только при необходимости. При чём сделать это имея ID поста можно очень легко и быстро.

В XXI веке на каждого лентяя существует примерно 100500 приложений на каждый случай жизни. Соответственно, для каждого разработчика существует чуть меньше чем 100500 сервисов. Клёвый сервис управления лентой живёт здесь.

На этом у меня всё. Хочу лишь сказать о том, что серебряной пули для решения всех проблем формирования новостной ленты ожидаемо не нашлось. Но мы рассмотрели целую кучу решений и подходов, каждый из которых будет хорошо работать в своей конкретной ситуации.

Сегодня я расскажу, как и для чего добавлять свою ленту новостей в RSS каталоги и агрегаторы, приведу их список, а так же мы рассмотрим способы подписки на канал новостей Яндекс Ленту и Google Reader (увы, уже покойный).

Прогон по RSS каталогам и агрегаторам

Мы создали фид для нашего проекта, добавили его в Feedburner и теперь пора приступать к ее добавлению в различные агрегаторы и каталоги. Зачем это нужно и что это дает? Сразу несколько вещей: способствует ускорению индексации страниц вашего ресурса, а так же бесплатные обратные ссылки, которые могут оказать существенную помощь в продвижения сайта (читайте о том, как это делать самостоятельно).

Рассмотрим первый положительный момент — ускорение индексации за счет добавления адреса вашего фида в агрегаторы. После того, как вы добавите новый пост на своем ресурсе, об этом сразу узнают агрегаторы, т.к. при регистрации вы сообщите им адрес своей ленты (обязательно добавленной в Feedburner, иначе могут возникнуть ненужные проблемы).

Они в свою очередь сообщают уже непосредственно поисковикам о том, что на вашем ресурсе появился новый материал. Поисковые системы пошлют к вам своих ботов, которые проиндексируют новую статью, после чего она сразу же попадает в поисковую выдачу Яндекса и Google (т.е. становится доступной для поиска).

Таким образом улучшается видимость вашего проекта.

Есть вариант, когда на RSS ленте своего сайта можно даже заработать. Я говорю про сервис Яндекса под названием Дзен. Все что потребуется — это создать RSS ленту по стандартам Yandex Zen и добавить ее в этот сервис. Материалы вашего сайта будут анонсироваться многомиллионной аудитории, а вы будете получать бесплатный трафик, а при удаче еще и дополнительные деньги от Яндекса.

Анонсы ваших материалов будут попадать в RSS агрегаторы автоматически, без вашего участия. На этих онлайн сервисах анонс вашей новой статьи сможет быть прочитана и кто-то, возможно, перейдет по ссылкам для более подробного ознакомления. Кроме того, они ставят на ваш ресурс обратные ссылки, которые иногда могут обладать существенным статическим весом (читайте тут про PageRank).

Есть, конечно же, и минус. Вероятность того, что у вас украдут вашу статью существенно повысится. Поэтому, в целях примитивной защиты от воровства контента через подобные каталоги, вы можете не отдавать в фид полные посты, а только анонсы статей со ссылкой на полную версию, расположенную на вашем ресурсе.

Перед тем, как начать добавлять свою ленту новостей в каталоги, зайдите в настройки вашего фида на сервисе Feedburner. Откройте вкладку «Анализируй» и выберите из левого меню открывшегося окна пункт «TotalStats». Проверьте, не стоит ли галочка в поле «Item link clickss». При ее отсутствии все агрегаторы будут демонстрировать прямые ссылки на ваш сайт, а это очень важно для поискового продвижения вашего ресурса, т.к. они будут учитываться поисковыми системами.

При регистрации вам может понадобиться вводить следующую информацию о своем ресурсе:

адрес (URL) вашего ресурса
адрес (URL) вашего фида (как я уже упоминал ранее — лучше, если он будет добавлен в Feedburner, тогда фид примут практически во все агрегаторы и каталоги)
название вашего ресурса (можно несколько вариантов)
продумать категории, в которых вы будете регистрироваться
ключевые слова, характеризующие ваш сайт, чтобы его проще могли найти пользователи этих каталогов

Можно записать эту информацию в отдельный текстовый файл или же повесить на горячие клавиши, хотя бы при помощи Punto Switcher (тут про Пунто Свитчер читайте подробнее) и его списка быстрой вставки. Далее я привожу список ресурсов, в которые вы можете добавить свою ленту новостей бесплатно. Не гарантирую стопроцентную работоспособность всех из них, т.к. сам проводил регистрацию по этому списку уже довольно давно.

Список RSS каталогов, рейтингов и агрегаторов, которые я сам использовал, вы сможете посмотреть здесь.

Автоматический прогон (добавление) сайта по базе RSS рейтингов в RssAdder

Программа RssAdder не требует установки. Вам достаточно будет распаковать архив и запустить файл RSSAdder.exe. В открывшемся окне нужно будет заполнить все поля в области «Информация» и нажать на кнопку «Сохранить данные», расположенную чуть ниже. Теперь можно будет начинать прогон по имеющимся в базе RssAdder рейтингам.

Для этого дважды щелкаем по адресу первого каталога в левой колонке, под кнопкой «Обновить INI» (эта кнопка вам может понадобиться, если вы скачаете с авторского ресурса новую базу рейтингов в формате INI и скопируете ее в каталог с программой RssAdder). В результате, в центральной части окна утилиты откроется страница добавления в каталог, на которой большинство данных автоматически заполнится из полей, расположенных вверху окна.

Вам останется только заполнить все оставшиеся обязательные поля и при необходимости ввести код капчи. Кстати, у меня не все капчи получалось проходить из окна программы, приходилось копировать адрес каталога в обычный браузер и проходить регистрацию там. В общем, софтина работает не идеально, но тем не менее может существенно облегчить рутинные операции.

Вы, наверное, часто встречали на различных сайтах кнопки для подписки через Google и Яндекс ленту. Выглядят кнопки подписки примерно так:

Они обычно размещаются рядом с основной RSS иконкой в каком-нибудь видном месте, т.к. Google Reader и Яндекс лента являются одними из самых популярных способов просмотра новостей.

Кнопку для добавления вашего фида в Google Homepage и Google Reader можно получить на странице настроек вашего фида в Feedburner. Для этого заходим в свой аккаунт на сервисе Фидбернер.

Затем открываем вкладку «Публикуй» и выбираем из левого меню открывшегося окна пункт «Chicklet Chooser». На этой странице настроек вы можете поставить галочку напротив нужной вам кнопки подписки на ваш фид, прокрутить страницу и скопировать в поле, расположенном в самом низу, ее готовый код.

В нем уже будет указан адрес вашей ленты новостей. В моем случае код выглядит так:

Для создания кнопки подписки через Яндекс Ленту вставляем в нужное место шаблона вашего сайта следующий код:

Для запрещения индексации внешних ссылок Яндексом и Google используется атрибут REL для тега «A» с параметром NOFOLLOW. А для запрета индексации данной ссылки поисковиком Яндекс, нужно заключить код кнопки в открывающий и закрывающий теги NOINDEX.

Комментарии и отзывы (54)

Привет! Читаю блог давно, пишу по моему первый раз. Для меня эта тема хорошо знакома, хочу о другом. Хотелось бы выразить автору благодарность, за, можно сказать титанический труд. Мы все знаем, как это не просто делается, но оправдываемся, то нехваткой времени, то еще чем то.

Блог вообще высокого качества, в смысле дизайна и контента!

Продолжаю читать, спасибо!

Дмитрий, только сегодня набрел на Ваш блог через поиск.

Вы мне очень помогли благодарю за список .

С меня постовой 🙂

Спасибо! Сейчас приступим к регистрации в RSS агрегаторах и каталогах!

Собрать бы ваши статьи в книгу — вот вышел бы крутой справочник. Так и вижу: с глянцевыми страницами и в твёрдом переплёте. В общем спасибо!

Владимир: спасибо, идея интересная 🙂

Спасибо за статью, только благодаря вашему подробному описанию я смог наконец то установить подписку на фид через Feedburner у себя на блоге!

Добрый день. Подскажите, пожалуйста, почему в моем FeedBuner нет кнопки «читать в Яндекс.Ленте». Как вы ее туда добавили?

Дмитрий, Вы — молодец!

Все, вопрос решился сам собой. Может у них проблемы на сервере Feedburner были

allcapone: совершенно верно, это глюк Feedburner, который иногда имеет место быть.

Здравствуйте! Скажите пожалуйста где настроить рассылку РСС Feedburner так, чтобы отражался только анонс, а не вся статья. Спасибо.

Мужик, ну спасибо тебе огромное! Все твои статьт — Это лучшее описание из всего рунета+++ Благословений тебе Божьих.

Здравствуйте парни, подскажите кто знает, такая проблема.

Для пробы зарегил 3 своих ящика и 1 ящик жены и соответственно подтвердил, а в счетчике подписчиков Feedburner стоит цифра 1 .

Антон: спасибо за пожелания, но что касаемо вашего вопроса, то я не знаю в чем может быть дело, ибо не сталкивался с подобной ситуацией. Правда, у меня одно время не приходили письма с рассылкой новостей моего блога с Feedburner по причине попадания в спам в моем почтовом ящике Gmail.

может права доступа к папкам надо поменять?

У меня щас на папки стоит 750 а на файлы 640. Парни у кого все работает — гляньте плз какие права доступа у папок и файлов.

Парни, если кто что знает по поводу почему не приходят письма от Feedburner подписчикам, отпишитесь тут, а то до сих пор не могу настроить((

Это здорово, что я подписалась на Ваш блог еще полгода назад — вот теперь дело дошло и до продвижения моего сайта в RSS каталогах и агрегаторах, и Ваши статьи очень помогают во всём разобраться.

Если не секрет — а как Вы сделали, что на Я.ру при добавлении Вашей статьи, справа выскакивает такое симпатичное окошко со словами благодарности? Оно меня очень сподвигло написать немного восторженных слов о Вашей статье. Хочу и у себя такую фишку. )))

Здравствуйте, проясните мне пожалуйста простейший вопрос!

Вот я создал ленту RSS на своем сайте (и прожег ее в Feedburner), но до сих пор не могу понять где она находится и как ею управлять? То есть по какому принципу в ней появляются новые тексты? Ведь наверное все новые тексты я должен сам вручную вкладывать в эту ленту новостей, а потом отправлять ее подписчикам? Сейчас я просто не умею редактировать текст в этой ленте. Поясните мне пожалуйста как это должно происходить.

Спасибо за список ! некоторые не работаю, но в целом список помог. Очень трудоёмкая работа, но Punto Switcher со своей автозаменой помог великолепно! Спасибо за статью!

Спасибо за отличную статью, за список RSS каталогов отдельное спасибо.

Дмитрий, спасибо за статьи. Умеете Вы объяснить материал так, что всё легко получается.

У меня вопрос по поводу запрещения индексации ссылок. После сохранения пропадает параметр . Мои действия?

И ещё, какой нужен плагин, чтобы разместить кнопки рейтингов и каталогов так, как у Вас, на WordPress? Спасибо.

Он и здесь испарился. Параметр noindex

Автору блога респект за каталоги и агрегаторы. Целую в дёсна!

Да, действительно полезный блог. Добавил себе в закладки, на досуге почитаю прогоню по каталогам и агрегаторам.

Opera придумала свой вариант подписки на фид. Через Opera Mail предлагает. И вообще она ведет на свой формат страницы и не показывает кнопки добавления в Google Reader, Яндекс-Ленту. Это можно как-то обойти?

да спасибо за список каталогов и агрегаторов

интересно индексирует ли списки лент на сайте поисковики

ведь эти страницы можно закрыть от индексации что они скорее всего делают.

alx: некоторые каталоги и агрегаторы все же открыты для индексации — Получаем бесплатные ссылки на сайт с RSS каталогов

Антонина: у меня счетчики посещений вставлены в шаблон темы WordPress, поэтому атрибуты, естественно, не вырезаются. Для закрытия от индексации всех внешних ссылок в комментариях и статьях WordPress можно использовать плагин Плагин WP-NoRef — уменьшаем количество открытых для индексации поисковиками внешних ссылок на страницах вашего блога

Сергей: не в курсе, но было бы интересно узнать. Отпишитесь, пожалуйста, если найдете ответ.

Скажите пожалуйста, как узнать адрес (URL) RSS ленты (фида)моего блога.

Набрёл на Ваши инструкции.

Пролистал бегло, извините.

Есть один вопрос и одна наводка.

Вопрос — можно ли организовать RSS-feed со своего блога не используя фаллометрию (пузомерки), чтобы не загаживать свой сайт посторонними ярлыками? Ненавижу.

Ещё раз спасибо за массу полезных советов. Сам по мере возможности делюсь с читателями своим опытом и знаю, как нелегко даются такие статьи-исследования.

С уважением, Евгений.

Хорошая статья славу богу не поторопился ручками все это вбивать а поискал и нашел такую хорошую программу — RSSAdder )

Поввезло, а я вот все ручками вбил, не так это и сложно. Ушло всего чуть более часа=)))

Антон, у самого такая же заморочка

Помогите разобраться в чём причина.При попытке добавить адрес сайта выдает вот такой текст "The URL does not appear to reference a valid XML file. We encountered the following problem: Error on line 104: The element type «p» must be terminated by the matching end-tag """. Что можете посоветовать.

Дмитрий, спасибо за Ваши статьи. Неделю назад запустила новый блог и сразу начинаю его раскручивать с помощью вашего блога.

У меня почему-то заголовок моей ленты отображается как «Название неизвестно», хотя в настройках название есть. Что это может быть?

Владммир Сальников говорит, что:

Антон: Антон, у самого такая же заморочка

Та да вот создал уже блог, хочу добавить фид и мыкаюсь, предидущие стоят на мертвой точке)) ХЗ в чем дело

Спасибо, в очередной раз воспользовался Вашим советом)))

accents, спасибо за подборку, сейчас подобавляю свой фид.

ps: интересный блог 🙂

Спасибо за полезные статьи, очень много полезного узнаю на вашем сайте. Сейчас столкнулась с такой проблемой, пытаюсь установить RSS подписку но проблема в том, что в моем шаблоне, который я использую, вообще нет файла sidebar.php . Шаблон называется Peppers. А во всех инструкциях по установке говорится о редактировании этого файла. Пробовала установить виджет но ничего не получается. Стоит два виджета в сайдбаре, один с рубриками, а второй с рекламой и больше не могу другой вставить.Может не поддерживается больше.Не подскажете выход из этой проблемы.Буду благодарна за помощь.

Простите, не очень поняла из статьи. так нужно ставить галочку в «Item link clickss» или нет?

прошу добавить в список)

Дмитрий больше года пропадает 🙁

Вот всё про экспорт, я уже усвоил и сделал.

Хотелось бы также подробно про импорт RSS лент от доноров к себе на сайт JOOMLA. Пробовал и ФидГатор и НиньзяРССтоКонтент — без подробного мануала как у Дмитрия одни ошибки.

Вопрос Уважаемому Автору — Повлечет ли добавление rss-фида на все вышеперечисленные каталоги к тому, что уникальный контент, размещенный на сайте, перестанет быть таковым, вследствие его индексации в этих каталогах!?

При добавление feedburn google, сразу отправляет в iGoogle, а в reader даже не предлагает. что надо сделать?

Большое спасибо за все! . но, не очень понятно с галочками на «Item link clickss», «да» или «нет»?

Не перестаю радоваться, что нашла ваш, такой полезный ресурс, спасибо за проделанную огромную работу.

У меня вопрос, поставила кнопки гугл и яшу, с гуглом проблем нет, а при переходе на яндекс, поле подписки пустое, то есть людям придется в ручную прописывать адрес сайта или рсс, чтобы подписаться, это так и должно работать?

На RSS ленту мои статьи попадают целиком, вместо анонсов. И нет формы подписки.Еще я не понял — в поле Item link clickss нужно ставить галочку или нет?

А код от кнопки Яндекса где?

Я всегда знал, что автор этого сайта- убеждённый пофигист. Ты хоть проверял в этой древней проге ссылки ? Половины сайтов нет. Но ты кладёшь на это свой толстый болт

Здравствуйте я много читала ваши статьи и у меня появился вопрос.

У меня есть сайт наполняемый через ГРАБЕР могу ли я создать рассылку в яндекс дзен или

Разбираемся, как устроен репостер от SMMplanner и чем он полезен для сайта и блога в Instagram.

Для интернет-изданий и городских пабликов. Репостер был разработан в первую очередь для СМИ. В декабре 2020 года нашим пользователем стала крупная интернет-газета. Ей требовалось не просто дублирование новостей, а настраиваемый под задачи SMM-отдела репостер.

Например, настройка расписания работы репостера, чтобы включать его по выходным, когда SMM-щики отдыхают. Или функция временой задержка обращения к RSS-ленте – чтобы горячую новость успели дописать, и она не ушла в «сыром» виде в соцсети.

На август 2021 года через репостер сделано более 50 тысяч публикаций. В основном его используют городские паблики, доски объявлений и информационно-новостные порталы.

Для блога в Инстаграме. Репостер умеет дублировать посты из Инстаграма в другие соцсети. Допустим, вы хотите отправлять часть постов в Телеграм или ВКонтакте – подключаете репостер, выбираете, куда дублировать контент, и настраиваете расписание работы. Контент выйдет автоматически.

Лучший способ объяснить функции сервиса – показать, как он устроен. Репостер доступен для любого платного тарифа в SMMplanner.

Шаг 1. Зайдите на сервис автопостинга SMMplanner. Чтобы создать автоматический экспорт из RSS-ленты в соцсети, нужно нажать на кнопку «Репостер» в левом углу.

Шаг 2. Нажмите «Создать репостер». Введите имя для репостера и укажите ссылку на RSS-ленту сайта. Нажмите «Создать».

Важно: нужно указать ссылку на RSS, а не на весь сайт целиком. Для этого добавьте после названия сайта /rss или /feed. Либо, если на сайте есть кнопка, кликните по ней и скопируйте ссылку.

Как должна выглядеть ссылка на RSS-ленту в браузере

Шаг 3. Настраиваем приемник. Приемник – это место, куда будет отправляется контент из RSS-ленты. Доступен репост в 7 соцсетей: Инстаграм, Фейсбук, ВКонтакте, Одноклассники, Твиттер, Телеграм, Вайбер. Вы можете выбрать сразу несколько аккаунтов. Нажимаем «Добавить приемник» или выбираем его в настройках. После – сохраняем.

Важно: не забудьте подключить страницы в соцсетях. Вот инструкция в три шага: Открываем «Аккаунты» → нажимаем «Подключить» → выбираем соцсети из списка справа.

Шаг 4. Включаем репостер. Поворачиваем тумблер вправо, чтобы он стал зеленым, и сохраняем. Репостер начал работу.

Разберемся в настройках глубже. Именно эти функции позволяют настраивать расписание и выбирать, что и когда постить из RSS в ленту.

Раздел «Включать в переопубликовываемый контент»Выбираем, что брать из RSS-ленты для постов: постить заголовки со ссылкой без описания или брать картинки со ссылкой, но без текста. Например, у вас на обложках уже нарисованы заголовки, тогда нет смысла брать RSS Title – пост будет начинаться сразу с описания.

В Истории видно, что есть ошибка репоста в одну из подключенных соцсетей. Если кликнуть по статье, то можно увидеть причину

Порядок репостинга. Здесь мы настраиваем, в каком порядке будут браться данные из RSS-ленты. По умолчанию включена публикация новых записей первыми. Вы можете начать с конца RSS-ленты – эта функция пригодится, если вы недавно подключили репостер и хотите опубликовать в соцсети все, что вышло на сайте ранее. В этом случае выберите пункт «Старые посты публикуются первыми».

Ретроспектива репостинга. Здесь мы выбираем, за какой период публиковать вышедший контент. Вы можете установить как несколько часов, так и несколько дней – тогда в соцсетях выйдет все, чтобы было опубликовано за этот период, с разницей в несколько секунд.

Выбираем, за какой период выпустить статьи из RSS-ленты в соцсети

Сейчас репостер работает в режиме раннего доступа у всех платных пользователей SMMplanner. Мы регулярно его обновляем – меняем не только расположение кнопок и дизайн, но и расширяем возможности.

Стали учитывать особенности временных зон, в которых находятся сайты. Например, в Бразилии дата, когда переводят стрелки, меняется каждый год, а в Непале переводят время всего на 15 минут. Мы учли все эти моменты, и теперь разбудить подписчиков уведомлением посреди ночи не получится.

В планах у нас добавить плюс-слова для репостинга из Инстаграма, чтобы не привязывать его работу к расписанию и времени. Например, вы добавили в репостер плюс-слово «кино» для дублирования постов в тематический канал в Телеграме. Все посты со словом «кино» в Инстаграме пойдут туда автоматически.

Если уже успели воспользоваться репостером – пишите комментарии и делитесь предложениями. Если нет – тоже пишите: -)

Читайте также: