Мониторинг СМИ по заданным вопросам при помощи открытых источников

В этой статье мы рассмотрим как организовать свой собственный мониторинг СМИ по интересующим вопросам. Научимся формировать RSS-потоки [1] и настраивать сбор данных, познакомимся с популярными решениями для чтения RSS-лент, а также улучшим свои навыки построения поисковых запросов для Google, он же Гугл Доркинг. Итак, поехали!

DISCLAIMER: Внимание! Вся изложенная информация предназначена для ознакомления. Автор не несет никакой ответственности за причиненный вред с использованием представленной информации.

Сбор данных. Формирование RSS-потока

Организацию мониторинга СМИ начнем со сбора данных, который можно реализовать при помощи бесплатного сервиса Google Alerts [2]. Открыв сервис, в поле ввода текста вбиваем поисковый запрос, а в настройках (Нажимаем на кнопку «Еще параметры») задаем источники (Новости, Блоги, Интернет, Видео и т.д.), язык и страну поисковой выдачи, количество результатов, а также способ доставки – RSS-фид. Теперь нажимаем кнопку «Создать оповещение» и на выходе получаем гиперссылку RSS-канала. Далее необходимо ее скопировать и вставить в cвой любимый RSS-ридер.

Если же тебе не по душе Google, то можешь воспользоваться RSS-генераторами. Например, RSS.app [3], FetchRSS [4], mySitemapGenerator [5] или PolitePol [6]. Стоит отметить, что перечисленные веб-сервисы могут генерировать RSS-фиды не только из поисковой выдачи Google, но и по контенту выбранных тобою веб-сайтов. Таким образом ты можешь организовать свою систему наблюдения определенных тем, событий или новостей в популярных поисковиках или настроить сбор появления всех записей от необходимых СМИ. Делается это с помощью Гугл Дорков.

Сбор данных. Гугл Дорки

Тема Гугл Дорков настолько обширна, что для нее нужно писать отдельную статью. Поэтому мы коснемся ее частично, «по верхам», затронем только самую необходимую часть для организации собственного мониторинга СМИ.

Ниже представлен список операторов Google, которые помогут в достижении твоей цели.

1. Двойные кавычки (“пример поискового запроса”)

Ищет точные совпадения с фразой, заключенной в двойные кавычки.

Пример: «Tom Hunter» [7]

2. Логическое ИЛИ (OR или |)

Ищет по Х или У. Возвращает результаты, связанные с Х или У, или и то, и другое.

Пример: Tom OR Hunter | Tom Hunter [8]

3. Оператор отрицания (–)

Исключает слово, стоящее после оператора отрицания, из поисковой выдачи.

Пример: tomhunter -tom -hunter [9]

4. Круглые или квадратные скобки («()» или «[]»)

Скобки нужны для группировки нескольких слов, терминов или операторов, чтобы контролировать поисковую выдачу.

Пример: (tom OR hunter) OR tomhunter [10]

5. Символ астериска (*)

Символ астериска используется в качестве подстановочного знака для произвольной фразы или слова.

Пример: t*hunter [11]

6. Оператор site:

Выдает результаты для определенного домена.

Пример: site:tomhunter.ru [12]

7. Оператор intitle:

Ищет страницы с определенным словом в заголовке страницы.

Пример: intitle:tomhunter [13]

8. Оператор allintitle:

Аналогично оператору «intitle:», но возвращает результаты со всеми указанными словами в теге title.

Пример: allintitle:tom hunter tomhunter [14]

9. Оператор inurl:

Ищет страницы с определенным словом в URL.

Пример: inurl:tomhunter [15]

10. Оператор allinurl:

Аналогично оператору «inurl:», но возвращает результаты со всеми указанными словами в URL.

Пример: allinurl:tom hunter tomhunter [16]

11. Оператор intext:

Ищет страницы, в содержании которых есть определенное слово.

Пример: intext:tomhunter [17]

12. Оператор allintext:

Аналогично оператору «intext:», но возвращает результаты со всеми указанными словами на странице.

Пример: allintext:tom hunter tomhunter [18]

Перечисленных операторов Google вполне хватит на создание Гугл Дорков для использования в твоем кастомном мониторинге СМИ по заданным вопросам.

Мониторинг. Выбор RSS-ридера

После сбора интересующей информации ее необходимо как-то читать и анализировать. В этом деле поможет RSS-ридер (или RSS–агрегатор) – это десктопная программа, веб-сервис, мобильное приложение или расширение браузера для автоматического сбора информации в форматах RSS или Atom и последующего предоставления ее пользователю.

Приведем некоторые примеры различного программного обеспечения для чтения RSS-лент:

1. Feedly [19]. Знаменитый RSS и блог агрегатор, доступный в виде мобильных приложений под ОС Android и iOS, расширения браузера и веб-сервиса.

2. FeedReader [20]. Минималистичный и элегантный RSS-ридер. Существует в виде десктопной программы и веб-версии.

3. Feedbro [21]. RSS-агрегатор в виде расширения браузера для Chrome, поддерживающий источники в форматах RSS, Atom или RDF.

4. Start.me [22]. «Читалкой» RSS-фидов может быть и популярный конструктор стартовых страниц. Просто, быстро и удобно.

5. Inoreader [23]. Интересный ридер с возможностью фильтрации RSS-фидов по заданным правилам. Агрегатор доступен в виде веб-сервиса и на мобильных телефонах под управлением ОС Android, iOS и Windows Phone.

6. FileForFiles & SiteSputnik [24]. Отдельного упоминания стоит платный программный комбайн по автоматизации и организации профессионального поиска, сбора, мониторинга и анализа информации.

Мониторинг. Социальные сети

Организовать мониторинг СМИ можно и по социальным сетям. Технологии дают возможность следить по определенным темам, сайтам, группам, людям, каналам или СМИ следующими способами:

1. Гугл Доркинг. Составляем необходимый запрос в Google, автоматизируем сбор данных с помощью Google Alerts или RSS-генератора и получаем искомую информацию.

Пример поискового запроса: site:tomhunter.ru news [25]

2. На базе Google создаем свой кастомный поисковик по социальным сетям [26]. При желании также можно автоматизировать сбор данных с помощью RSS-генератора.

3. Веб-сервис Social-Searcher [27]. Помогает найти веб-сайты, учетные записи и посты журналистов в социальных сетях по различным параметрам. Больше подходит для поиска по западным соцсетям.

4. Приложение TweetDeck [28] можно использовать для наблюдения за интересующими учетными записями, хештегами и темами в социальной сети Twitter в формате удобного дашборда.

5. Также можно воспользоваться RSS-генератором для Telegram каналов. Добавляем в свой любимый RSS-ридер гиперссылку на интересующий канал. Например, https://rsshub.app/telegram/channel/tomhunter. Меняем название канала «tomhunter» на искомый и пользуемся.

Пример организации мониторинга СМИ по заданным вопросам

Теперь после теории перейдем к практике. На примере покажем, как можно организовать свой собственный кастомный мониторинг средств массовой информации.

1. Определимся с интересующей темой и источниками. Например, тема – «Финансы», источники – весь домен верхнего уровня RU.

2. Составим Гугл Дорк, который позволит найти информацию по упомянутой теме:

site:ru (“финансы” OR “экономика” OR “финансовые новости” OR “акции” OR “фондовый рынок” OR “Финансы в IT”)

3. Воспользуемся веб-сервисом Google Alerts для генерации RSS-фида.

4. В качестве RSS-ридера воспользуемся конструктором стартовых страниц start.me.

И готово! Вот таким нехитрым образом возможно организовать свой мониторинг средств массовой информации по любым вопросам и темам.