Osint framework как пользоваться
Обновлено: 03.07.2024
Привет, друг. Продолжим изучать инструменты полезные в деле поиска информации в сети. И сегодня поговорим не о каких-то инструментах которые позволяют решать какую-то конкретную задачу, в том смысле что ищут что-то одно, а о утилитах которые позволяют комплексно изучать объект и помогают анализировать разнообразную информацию, в зависимости от имеющихся исходных данных. Учитывая что OSINT штука творческая, иногда подобные инструменты бывают крайне полезны.
Тут, справедливости ради, стоит отметить что существует мнение, что комплексные инструменты это хрень и работать нужно с точечными ресурсами. Мол, нельзя объять не объятное и однозадачные ресурсы точнее. Я позволю себе с подобным утверждением не согласиться. Работать нужно с теми инструментами с которыми получается решать намеченные задачи. Ведь OSINT это не про процесс, это про результат. А потому, чем нравиться и чем получается, тем и пользуйся. А даже если не будешь пользоваться комплексными решениями, то знать о них не будет лишним. С этими знаниями твой OSINT будет правильным.
OSINT с OWASP Maryam
И сегодня речь пойдёт о такой штуке под названием Maryam. Это целый фреймворк в который напихано огромное количество всяких поисковых, и не только, инструментов под всякие разные задачи. Другими словами это такая охренительно крутая штука, которая позволяет прямо из терминала объять не объятное и впихнуть невпихуемое. Короче решает огромное количество задач. При чем, полезна она будет, не только для OSINT, но и в некоторых вопросах пентеста будет очень не лишней, особенно на подготовительных этапах.
Устанавливаем и запускаем:
Сразу после запуска, нас встретит приглашение к вводу. Для начала, можно командой help вызвать справку, правда она тут, скажем так, довольно скромная, но также есть дополнительные справки по всем инструментам. Но о них в процессе.
Принцип работы Maryam довольно прост. У него есть некоторое количество модулей, разбитых по трем категориям. Каждый модуль выполняет какое-то отдельное действие. Для запуска нам нужно выбрать модуль, передать ему нужные параметры и запустить процесс.
Чтобы добавить ещё одно рабочее пространство пишем:
После выполнения команды нас автоматом перекинет в созданное рабочее пространство. Все созданные пространства сохранятся и после закрытия программы. Чтобы переключатся между ними водим команду:
Чтобы увидеть список всех созданных пространств пишем:
Я думаю с пространствами все очень понятно, а потому идем дальше.
Модули Maryam
А дальше у нас модули. Т.е. самое главное. Если ввести команду:
мы увидим список доступных для использования модулей. Они разделены на три категории. Чтобы увидеть справку по какому-то конкретному модулю нужно ввести его название и добавить -h.
Теперь про категории модулей и более подробно про сами модули.
Footprint
Первый раздел это Footprint. Здесь собраны модули для сбора и анализа информации о веб-приложениях. Можно искать файлы, папки, поддомены, определять операционные системы, собирать информацию на страницах (формы, почты, ники и т.д.).
По этим модулям пройдемся более подробно.
Search
Сохранение результатов
Тут все достаточно просто. Вначале вводим саму команду report, потом формат в котором хотим получить отчет (поддерживаются форматы xml, json, csv и txt), имя файла которое хотим, затем указываем модуль, причем тут нужно указать раздел модулей, а потом через /, сам модуль, а в конце пишем какой именно запрос сохранять. Пример:
в этом запросе я указал сохранить отчет по результатам работы модуля search/youtube, по запросу Pulse, в файл youtube.txt.
Если все указали правильно, получаем ответ, что соответствующий отчет сохранён. Ну и путь к отчету. Как видишь штука крайне полезная и кстати это работает со всеми модулями из всех категорий.
Osint
В принципе, на этом наше знакомство с таким инструментом для сбора информации и OSINT как Maryam можно считать оконченным. Пользоваться им или нет, это уже решать тебе. Но, в любом случае не забывай возвращаться, ведь есть ещё огромное количество всяких штуковин про которые нам предстоит узнать.
OSINT (англ. Open source intelligence) или разведка на основе открытых источников включает в себя поиск, сбор и анализ информации, полученной из общедоступных источников. Ключевой целью является поиск информации, которая представляет ценность для злоумышленника либо конкурента. Сбор информации во многом является ключевым элементом проведения пентеста. От того, насколько качественно он был осуществлён, может зависеть, как эффективность пентеста в целом, так и эффективность отработки отдельных векторов атаки (социальная инженерия, брутфорс, атака на Web-приложения и пр.). В разрезе кибербезопасности/пентеста OSINT чаще всего применяется для сбора публичных данных о компании, и это касается не только информации о email-адресах ее сотрудников. Не менее интересной будет информация о:
DNS-именах и IP-адресах;
фактах компрометации почтовых адресов;
открытых портах и сервисах на них;
публичных эксплойтах для найденных сервисов;
имеющихся механизмах безопасности и т.д.
Сегодня посмотрим с помощью каких инструментов и какую информацию можно найти в открытых источниках на примере нашей компании.
Статья носит информационный характер. Не нарушайте законодательство.
Консольные инструменты
TheHarvester
TheHarvester - это целый фреймворк для сбора e-mail адресов, имён субдоменов, виртуальных хостов, открытых портов/банеров и имён сотрудников компании из различных открытых источников. Позволяет производить как пассивный поиск по нескольким поисковым системам: google, yahoo, bing, shodan.io, googleplus, linkedin и т.д., так и активный — например, перебор имен субдоменов по словарю.
Используя различные поисковые источники можно получить различный результат. Например, при использовании поисковой системы Yahoo:
А при использовании Google:
Dmitry
Dmitry - еще один консольный инструмент для поиска информации об интересующих хостах. Базовый функционал может собирать возможные субдомены, адреса электронной почты, информацию о времени безотказной работы, сканирование TCP-портов, поиск whois и многое другое. Функционал довольно обширный, но по возможностям и скорости обнаружения открытых портов все же уступает предыдущему инструменту, но это не мешает использовать их совместно. Все-таки, подобные вопросы требуют использования информации из разных источников для большей достоверности.
Чтобы получить максимальное количество информации о домене указываем все ключи. В числе прочего, инструмент будет сканировать порты, но в ограниченном диапазоне, поэтому лучше для этих целей использовать Nmap
Nmap («Network Mapper») — это утилита с открытым исходным кодом для исследования сети и проверки безопасности. Она была разработана для быстрого сканирования больших сетей, хотя прекрасно справляется и с единичными целями. Это нестареющая классика и первый инструмент, который используют при проведении пентеста. Его функционал довольно обширен, но в нашем случае от него потребуется только определение открытых портов, названия запущенных сервисов и их версии.
Узнав открытые порты запустим тот же Nmap, но уже будем использовать различные группы скриптов, которые помогут обнаружить возможные ошибки конфигурации:
При выполнении этой команды Nmap выполнит все скрипты, собранные в этих группах для получения информации из каждой группы: получение расширенного вывода версии сервисов, поиск расширенной информации о сервере, поиск публичных уязвимостей и т.д. Эта информация так же поможет определить возможные точки входа в сетевой периметр организации.
WhatWeb
Многие компании имеют свой сайт, который также можно проанализировать. WhatWeb как раз идентифицирует веб-сайты. Главная задача инструмента - ответить на вопрос какие технологии использует веб-приложение. WhatWeb распознает веб-технологии, в том числе систему управления контентом (CMS), пакеты статистики/аналитики, библиотеки JavaScript, и многое другое. Имеет более 1700 плагинов, каждый из которых предназначен для распознавания чего-то одного. Также идентифицирует номера версий, email адреса, ID аккаунтов, модули веб-платформ, SQL ошибки и прочее.
TiDos
TiDos - универсальная платформа, охватывающая всё от сбора начальных данных до анализа на уязвимости. В своем арсенале имеет 5 модулей, которые позволяют выполнять как поиск информации о цели в открытых источниках, так и искать некоторые уязвимости (но все же не является полноценным сканером уязвимостей). Так как нас интересует только сбор информации, то и рассматривать будем только один раздел, содержащий порядка 50 модулей. Этот раздел позволяет проводить как пассивный сбор данных:
Почти у всех периодически возникает необходимость разобраться в какой-то новой сфере, провести исследования или быстро найти очень узкоспециализированную информацию. Но поисковик не всегда нас понимает. Мы старательно пытаемся объяснить: вводим большие предложения на смену коротким словосочетаниям. Рыскаем по страницам и ссылкам. И, вероятно, через несколько часов обнаруживаем в каком-то документе pdf запрос, который надо было вводить с самого начала.
Бывает, не всегда легко выразить свою информационную потребность в поисковом запросе. Может не хватать нужной терминологии, или вы еще не совсем уверены, в том, что именно ищите, а увидев возможные варианты, сразу поймете что нужно. А может, то, что вы ищите, вообще сложно облечь в лаконичный поисковой запрос.
Помогут понять, что вообще искать
1. OneLook
Это словарик, который подбирает слова и фразы, как-то относящиеся к вашему запросу. Тут же можно быстро найти определения тех или иных слов — результат придет из разных словарей.
2. Keyword Tool
Платформа показывает ключевые слова по введенному запросу на любом языке и по любой стране. В некоторых запросах даже видно, насколько они популярны, хотя эта услуга платная. Можно искать ключевые слова по Google, YouTube, Twitter, Instagram, Amazon, eBay, Play Store, Bing.
Ища по Google, можно, например, выбрать ключевые выражения, содержащие в себе вопросительные слова или предлоги. А слева есть фильтры, где можно искать по ключевым словам уже в получившейся выдаче.
3. Answer the Public
Тут вы вводите интересующее вас слово и получаете варианты запросов с ним, по которым ищут люди. Есть выбор языков, в том числе русский. Вот так выглядит раздел с запросами, содержащими вопросительные слова.
Единственный минус — в бесплатной версии можно искать только около 3-4 запроса в день.
За ручку проведут к нужному источнику
Это справочные указатели сайтов. В них по тематическим папкам разложены сайты. Вам нужно выбрать интересующую тему и посмотреть, что старательно отобрали для вас редакторы платформы.
4. Dmoz
Поможет понять, какая информация вам нужна, предлагая свои варианты. Позволит найти точный сайт, проводя вас из папки в папку и сокращая область поиска.
5. Web Directory
Выбор здесь не очень большой, но может пригодиться. Каждая ссылка имеет краткое описание от редакторов платформы, что сокращает время на просматривание каждого ресурса.
Рассортируют выдачу по тематическим группам
6. Open Knowledge Map
Ресурс выдает все материалы с открытым доступом из BASE (поисковик по огромному количеству научных материалов) и PubMed (база данных медицинских и биологических публикаций). Можно отфильтровать по формату материалов — аудио, книги, карты, патенты, отчеты, ПО, видео, научные тезисы и тд.
Фишкой ресурса является то, что он показывает выдачу по запросу в виде тематических кругов. Они соприкасаются и пересекаются. Чем ближе круги друг к другу, тем более родственными будут их темы. В центре находятся те, которые имеют самое сильное предметное сходство со всеми остальными кругами на карте. Справа можно искать по ключевым словам уже в пределах получившейся карты. Наведя мышкой на круг, можно увидеть, сколько документов есть по теме этого круга. Если нажать на круг, он увеличивается, и можно выбрать подходящий документ.
Более того, у платформы есть ПО, с которым можно визуализировать в такой же манере свой собственный набор документов.
Минусом можно назвать то, что платформа выдает только 100 наиболее релевантных результатов. Хотя для кого-то это, наоборот, плюс, так как сокращает время поиска.
7. Carrot 2
Это поисковая система, которая распределяет результаты поиска по тематическим папкам и показывает в виде пайчарта и тримапа . Можно выбрать тип алгоритма кластеризации. Вот здесь:
Кстати, если при поиске, Carrot показывает вам вот это, то просто поменяйте страну в VPN и обновите страницу.
Ищите → выбираете интересующую папку → справа будут результаты.
Вот так выглядит Treemap, если поискать в Carrot информацию о метамодернизме:
Платформа удобна ещё тем, что ищет сразу по 15 поисковикам (в т.ч. Google, Яндекс, Bing).
8. BizNar
BizNar преподносится как ресурс для поиска бизнес информации: исследование рынка и различных индустрий. Платформа ищет по Deep web (не то же самое, что Dark web) — выдаются результаты, которые не индексируются привычными поисковиками. Включает в себя поиск по патентам и социальным сетям.Также BizNar расфасовывает выдачу по тематическим папкам и в виде пайчарта (нажимаем «visual» слева).
После ввода запроса, слева внизу есть график, в каком году сколько материалов по теме было опубликовано. Можно выбрать год, и в выдаче отобразятся публикации только за этот период.
9. World Wide Science
Поиск по международным и национальным исследовательским базам. Запрос можно вводить на любом из предложенных языков (в том числе русском). Если захотите получать уведомления на почту о появлении новых материалов, нужно будет зарегистрироваться. Однако, эта функция доступна только для английских источников.
Выдачу можно фильтровать по различным показателям, а также она рассортирована по темам.
На домашней странице есть карта. При нажатии на интересующую страну, отображается список баз, по которым может искать платформа.
Все возможное в одном месте
10. Fagan Finder
На платформе собрано огромное количество разнообразных поисковых ресурсов, разделенных на группы. Здесь вы найдете, например, поисковики только по энциклопедиям, только по документами, по статьям из журналов или, в конце концов, по презентациям. В общем поиске можно искать не только по картинкам и видео, но и по аудио или по группам и форумам. На первой странице, проскролив ниже, вы сможете получить и короткие гайды к каждому источнику.
То, что собрано здесь, можно не найти через обычный поисковик, потому что источник информации может быть не онлайн, поиск может счесть его недостаточно важным или может быть опубликованным не в том виде, в котором поисковик имеет к нему доступ.
Найдет упоминание вашего запроса во всех популярных соцсетях и не только
11. Hash At It
Инструмент ищет по хештегам, ключевым словам, URL и по упоминаниям профилей. Сразу выдает самые новые результаты, но выбрав какую-то конкретную социальную сеть в фильтре, можно быстрее увидеть и более старые результаты.
Если вы зарегистрируйтесь на сайте, то появится возможность подписаться на определенный хештег или запрос, чтобы сразу получать новые посты по теме.
12. Social Search
Ищет по упоминаниям и в соцсетях и в поисковиках. Что интересно, в списке социальных сетей, по которым он ищет, есть VK. Обычно иностранные поисковые системы его не включают. Тут тоже можно настраивать уведомления на e-mail о новых публикациях по вашему запросу.
Быстрый поиск по новостям, чтобы быть в курсе всех трендов по интересующей теме
13. Watson News Explorer
Поиск можно настроить так, что он будет искать только по людям, компаниям или некоммерческим организациям. А расширенный поиск позволит найти связь между двумя запросами.
Ресурс выдает данные за последний месяц, и внизу отображается временная линейка, когда какие материалы были опубликованы.
14. World News
15. News Now
16. All You Can Read
Выбираете страну, а выдача дает все возможные онлайн СМИ, которые есть в этой стране. Плюс, можно сортировать по конкретным темам. Один из самых крупных новостных ресурсов с журналами и газетами со всего мира. Однако, поиск по ключевым словам здесь не предусмотрен.
Доставят нужную информацию прямо на ваш e-mail
Эти инструменты отследят появление новых материалов по теме, а также помогут с мониторингом изменений на интересующих вас сайтах.
17. Google Alert
Инструмент автоматически оповещает по e-mail о новых материалах по теме. Для того, чтобы им воспользоваться, нужен Google-аккаунт.
И так, вводим запрос, за которым хотим следить. Открываем «Еще параметры» и смотрим, как же мы можем настроить наш поиск. «Автовыбор» здесь означает, что информация будет поступать из всех видов источников. Но можно выбрать и какой-то один. Например, вам интересны только новые книги по теме. «Только лучшие результаты» в разделе «Количество» подразумевают под собой, что информация будет приходить только от ресурсов, обладающих хорошей репутацией.
18. Visual ping
Ждете результатов конкурса, появления скидок на авиабилеты или отслеживаете изменения в законодательстве? Этот ресурс пришлет вам уведомление, когда на указанной вами ссылке что-то изменится. Программа делает скриншот и сверяет его с предыдущим. Таким образом она замечает изменения. Расширение для Chrome поможет вам создавать новые уведомления прямо находясь на сайте, за которым вы хотите проследить. А еще можно создать групповые уведомления в Slack (подробнее, как их настроить, можно посмотреть в FAQ в самом низу). Отличная подойдет для отслеживания изменений у конкурентов.
Функция «действия перед проверкой» помогает автоматизировать определенное действие перед новым скриншотом-проверкой. Например, нужно ввести пароль, закрыть всплывающее окно или нажать на кнопку. Как ей пользоваться подробнее здесь и здесь (более продвинутое использование).
Можно настроить уведомления, чтобы вам их присылали только тогда, когда появляется указанное вами ключевое слово.
В бесплатной версии есть ограничения по количеству проверок.
19. Watch That Page
Этот ресурс попроще, чем предыдущий. Например, он не анализирует изменения в изображениях, только текст и ссылки. Однако для личных аккаунтов здесь можно делать почти неограниченное количество проверок.
В одном письме приходят все обновления по указанным вами сайтам. Но можно и разделить ссылки по темам — ресурс будет присылать их отдельными письмами. Для каждого сайта можно выбрать: вы хотите просто узнавать, что там что-то изменилось и самостоятельно проверять; или же сразу получать сами эти изменения в письме. Тут объясняется, как быстрее добавлять новые сайты для отслеживания.
Расширения, которые ускорят ваш обычный поиск
20. Selection Search
Устанавливаете расширение → выделяете интересующий текст → расширение предлагает варианты, где можно поискать информацию по этому запросу.
21. Infinite Scroll for Google
Здесь все элементарно просто — вам не нужно лишний раз кликать на следующую страницу поисковой выдачи. Вы просто листаете вниз, а расширение автоматически открывает для вас новые результаты.
22. Search Preview
Расширение позволяет сразу увидеть, как выглядит сайт, чтобы зря не заходить на него. Поддерживает Google, DuckDuckGo, Yahoo и Bing.
Что еще может пригодиться
23. Wolfram Alpha
Это своеобразный поисковик, который не ищет ресурсы, где можно найти ответы, он сразу дает ответы. Он анализирует файлы разного рода, делает сложные вычисления, дает точные характеристики выбранного объекта, сравнивает и тд.
24. Gigablast
Это простой и понятный поисковик, в нем нет рекламы, есть приватность и справочник сайтов. А также большой список дорков для эффективного поиска.
25. Symbol Hound
Поисковик, который не игнорирует специальные символы, такие как &, %, π, так что пригодится при поиске информации о выбранном языке программирования.
26. Digle
В конце концов можно попросить кого-то найти нужную вам информацию за деньги или заработать на поиске самому.
Привет, друг. Итак, продолжаем раскрывать тему комплексных инструментов OSINT. Я напомню, это такие инструменты которые позволяют собирать информацию комплексно, используя сразу большое количество источников. Это крайне полезно когда ты, например, собираешь обобщённую информацию о персонаже. Ну или когда тебе просто лень использовать кучу утилит или ресурсов. Или ты банально не знаешь что тебе лучше использовать в той или иной ситуации. В общем, причин может быть много, суть не в них, а в том какой результат мы можем получить.
В прошлый раз мы познакомились с очень крутой штукой под названием Maryam (если пропустил, статья ЗДЕСЬ).
А сегодня познакомимся с целым набором утилит и ресурсов позволяющих разрулить некоторый комплекс ситуаций.
OSINT SAN
И первый инструменты с которым мы познакомимся это Osint San. Это очень удобная и многофункциональная штука. Я бы даже сказал, что это больше чем просто framework, это что-то типа экосистемы со своей библиотекой, википедией и всякими дополнительным фишками. Потому знать про существование этого инструмента точно стоит.
Тут стоит заметить что у OSINT SAN есть платная версия с расширенным функционалом. Но автор не захотел давать её на обзор, потому будем рассматривать бесплатный функционал. Он тоже достоин внимания.
Ссылка на GitGub ЗДЕСЬ. А мы, как и всегда, качаем, устанавливаем зависимости и запускаем:
Иногда, на некоторых дистрибутивах, могут возникнуть проблемы с зависимостями. Нужно отдать должное автору, он описал какие бывают проблемы и как их решать. Читать ЗДЕСЬ.
Для работы некоторых функций программы нужно добавить API ключи. Сделать это можно в файле settings.py в каталоге с программой. Ссылки где получать ключи есть на GitHub автора.
При первом запуске нас спросят ключ доступа. Тут вариантов два, либо автор таким способом байтит нас на переход в свой телеграмм канал, либо это защита от дурака. Я не знаю, да и не особо это важно. В любом случае ключ автор выложил у себя в канале. Вводим:
И видим стартовое меню:
Использование OSINT SAN
Логика использования утилиты очень простая. Вводим номер нужного нам модуля и дальше OSINT SAN подскажет какие данные ему нужны для работы. А учитывая, что всё это ещё и на русском языке, то проблем, я думаю, не должно возникнуть вообще ни каких. Опять же, автор молодец в том, что указал в разных модулях на возможные проблемы и способы их решения. Такие как смена IP и так далее.
Рассказывать прям про все модули я не буду, дабы не плодить много букв. Я думаю разобраться проблем не составит. Тем более, например про тот же Shodan есть отдельная статья. А я покажу как всё это работает, выборочно, на примере нескольких интересных модулей.
Итак под номером 6 у нас поиск по фотографии. Здесь нужно указать путь к нужному файлу и OSINT SAN запустит браузер где откроет поиск по фото гугла и яндекса. Казалось бы всё просто, но очень удобно и экономит некоторое время.
Под номером 18 создание рандомной сетевой личности . Дополнительно ничего вводить не нужно. После выбора этой функции утилита сгенерирует анкету со всеми данными. Причем не просто базовый набор, такие как ФИО, дата рождения, номер и юзер агент, а целую кучу анкетной информации на все случаи жизни, даже марку машины, заболевания, адрес биткойн кошелька, поездки за границу и целую кучу дополнительной информации. Там ещё ссылка будет на сайт где можно сгенерировать фото. В общем для некоторых представителей некоторых профессий штука мастхэвная.
При выборе пункта 20 откроется браузер с набором сайтов для идентификации. Тоже некоторая экономия времени получается.
Под номером 21 находится OSINT Википедия. Здесь автор собрал немаленькое количество полезных ссылок и ресурсов, структурировав их по направлениям поиска. Ознакомиться однозначно стоит.
При выборе пункта 27 будет загружен набор всяких обучающих материалов по теме OSINT. Тоже стоит ознакомится.
Maigret. Поиск по никнейму
В самом простом и очевидном варианте использования нам достаточно указать интересующий нас никнейм и запустить поиск. Можно ещё добавить параметр сохранения результатов в файл. Например:
Maigret умеет искать по более чем 2000 источников. В том числе по многим русскоязычным ресурсам, что для нас, как правило, приоритетней. Кстати, она не только находит совпадения по никнейму, но ещё и дополнительную доступную информацию собирает. Например ФИО, интересы, дата регистрации и id, всякие дополнительные анкетные данные, аватарку может скачать и т.д.
Когда утилита отработает мы увидим результаты, а в конце будет добавлен небольшой отчёт. Сколько совпадений найдено, по каким странам и т.п.
Учитывая что мы добавили параметр -P, нам также будет сгенерирован отчёт в формате PDF. В отчёте будут общие данные что и где найдено, а также по каждому сайту, где найдено совпадение, будут показаны все данные которые удалось получить.
Как видишь штука крайне результативная и полезная. Особенно она будет результативна, если целевой персонаж проявил изобретательность и придумал себе очень эксклюзивный никнейм. Но это уже нюансы, а мы идём дальше.
Онлайн инструменты OSINT
Ну, вот и вторая статья посвящённая комплексным инструментам OSINT подошла к концу. Но не забывай возвращаться, ведь это вторая часть, а не последняя.
Читайте также: