Введение
Приветствую дорогих читателей! Продолжаю рубрику “ШХ”, посвящённую OSINT. В этой статье рассмотрю для вас три перспективных инструмента на постоянное использование. Представленные инструменты больше направлены на разведку различных сайтов, а конкретно на изучение их содержимого(картинки, документы и пр).
Кстати, если вы хотите разобраться в общих принципах OSINT на 2025 год, современных инструментах, юридических нюансах и новых стратегиях автоматизации анализа, рекомендую отдельный гайд:
OSINT 2025: Полное Руководство по инструментам, AI и автоматизации разведки. В статье собраны методология разведки, сравнение актуального софта, технические чек-листы и юридическая карта по РФ/ЕС. Реальный рабочий workflow от сбора данных до аналитических отчетов и цифровой гигиены.
Дисклеймер: Все данные предоставленные в данной статье, взяты из открытых источников. Не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.
Holehe-web
Что это?
Веб-интерфейс для Holehe, инструмента OSINT, который проверяет зарегистрирован ли адрес электронной почты на различных веб-сайтах.
Установка и использование
Инструмент устанавливается простым скачиванием из GitHub и установкой необходимых модулей:
Код:
Код:
git clone https://github.com/sds-osint/holehe-web
cd holehe-web
pip install -r requirements.txt
Далее запускаем инструмент при помощи следующей команды:
Код:
Код:
uvicorn main:app --reload
После можно будет его использовать по локальному адресу в браузере http://localhost:8000.
Работа с инструментом очень проста, вписываем нужный email и получаем результат:
Интерфейс максимально простой и удобный. Из нужного у нас имеется пункт USED, в котором отображены сайты на которых зарегистрирован искомый email. Остальные пункты не менее сложные: NOT USED(Не используется), RATE LIMITED(Ограничение по запросам), ERROR(при запросе произошла ошибка).
Имеются пункты с копированием результатом или выгрузкой в формат CSV, который выглядит следующим образом:
В целом веб-версия известного инструмента по поиску сайтов на которых зарегистрирован email довольно хорошая, она просто устанавливается и запускается. Вывод нужных сайтов выполняется в удобном окошке которое нам сразу представлено и не нужно листать список проверенных сайтов в поисках нужных нам сайтов.
Конечно к разведке по сайтам данный инструмент можно отнести косвенно т.к в основном если на сайтах и указывается почта, то корпоративная.
FilePhish
Что это?
Filephish — это легкий и удобный инструмент, созданный для быстрого поиска документов в интернете с помощью комбинации ключевых слов, поиска по конкретным сайтам и фильтрации по типам файлов.
Использование
Инструмент не нуждается в установке, т.к доступен онлайн.
Интерфейс инструмента очень простой, в форме Keyword мы заполняем ключевые слова по которым будем производить поиск файлов на сайте, в форме site прописываем нужный сайт по которому будет проводиться поиск и в пункте Select Search Engine мы выбираем поисковую систему через которую будем проводить поиск. Флажки ниже(PDF Files, Other Text Files и т.д) отвечают за тип файлов которые нужно искать.
Возьмём в пример сайт Skillbox и поищем какие-нибудь файлы с названием test.
Как можно наблюдать, инструмент использует всеми известные Google Dorks для поиска нужной информации, а нам остаётся просто заполнить нужные поля и откроется нужный поисковой запрос!
Подобным образом можно попробовать поискать файлы в которых имеется ключевое слово email и случайно найти уязвимость, при помощи которой можно ходить по директориям сайта и смотреть что угодно.
Для целей OSINT инструмент вполне себе имеет место быть, т.к при помощи эффективных дорков и простого пользовательского интерфейса может позволить специалистам проводить глобальный поиск по различным файлам сайта.
METKA
Что это?
METKA – это консольная утилита для анализа цифровых метаданных и данных OSINT (Open Source Intelligence). Она предназначена для извлечения полезной информации из различных типов файлов, включая изображения, аудио, видео, документы и другие.
Утилита обрабатывает метаданные в разных форматах, сохраняет отчёт об анализе и предоставляет рекомендации на основе искусственного интеллекта для дальнейшего расследования в цифровой криминалистике.
Установка и использование
Исходя из описания, для полноценного использования инструмента помимо его скачивания и установки зависимостей нам потребуется и API-ключ для взаимодействия с ИИ.
Код:
Код:
git clone https://github.com/insojke/METKA.git
cd METKA
Теперь регистрируемся и получаем токен на этом сайте Hugging Face – The AI community building the future.
Права токену я дал максимальные какие только смог.
Создаём файл для самого токена:
Код:
И вписываем в него токен следующим образом:
Код:
Код:
HF_TOKEN=YOUR_TOKEN_IS_HERE
Устанавливаем и заходим в виртуальную среду:
Код:
Код:
sudo apt install python3-venv -y
python3 -m venv venv
source venv/bin/activate
Устанавливаем нужные модули:
Код:
Код:
pip3 install -r requirements.txt
Наконец запускаем инструмент:
Код:
Признаться честно, запуск инструмента оказался для меня проблемой, т.к постоянно вылетали ошибки и постоянно приходилось фиксить код собственноручно. Ниже я выложу ошибки запуска и варианты фикса этих ошибок:
Код:
Код:
# Ошибка
python3.11 metka.py
Traceback (most recent call last):
File "/home/kali/METKA/metka.py", line 1, in
from scripts.metadata_analyzer import analyze_metadata, create_report_file
File "/home/kali/METKA/scripts/metadata_analyzer.py", line 822
print(f"\nMIME-type: {mime_type if mime_type else "Couldn't determine the file type | Не удалось определить тип файла"}")
^
SyntaxError: unterminated string literal (detected at line 822)
# Варианты фикса
print(f"\nMIME-type: {mime_type if mime_type else 'Couldn't determine the file type | Не удалось определить тип файла'}")
# Ошибка
python3 metka.py
Traceback (most recent call last):
File "/home/kali/METKA/metka.py", line 1, in
from scripts.metadata_analyzer import analyze_metadata, create_report_file
File "/home/kali/METKA/scripts/metadata_analyzer.py", line 716
report_file.write(f"The number of lines in the document | Количество строк в документе: {text.count('\n')}\n")
^
SyntaxError: f-string expression part cannot include a backslash
# Варианты фикса
1. report_file.write(f"The number of lines in the document | Количество строк в документе: {text.count('\\n')}\n")
2. report_file.write(f"The number of lines in the document | Количество строк в документе: {text.count('\n')}\n")
3. report_file.write("The number of lines in the document | Количество строк в документе: {}\n".format(text.count('\n')))
# Ошибка
python3 metka.py
Traceback (most recent call last):
File "/home/kali/METKA/metka.py", line 1, in
from scripts.metadata_analyzer import analyze_metadata, create_report_file
File "/home/kali/METKA/scripts/metadata_analyzer.py", line 720
print(f"The number of lines in the document | Количество строк в документе: {text.count('\n')}")
# Варианты фикса
1. print("The number of lines in the document | Количество строк в документе: {}".format(text.count('\n')))
2. print("The number of lines in the document | Количество строк в документе: " + str(text.count('\n')))
# Ошибка
python3 metka.py
Traceback (most recent call last):
File "/home/kali/METKA/metka.py", line 1, in
from scripts.metadata_analyzer import analyze_metadata, create_report_file
File "/home/kali/METKA/scripts/metadata_analyzer.py", line 822
print(f"""\nMIME-type: {mime_type if mime_type else 'Couldn't determine the file type | Не удалось определить тип файла'}""")
^
IndentationError: unindent does not match any outer indentation
# Фикс
Честно говоря здесь я просто удалил проблемную строку и скрипт у меня наконец-то заработал)
Но проблема сама заключалась в неверной табуляции, которую я так и не смог нормально фиксануть.
Теперь перейдём к интерфейсу инструмента:
Алгоритм действий максимально простой, для анализа выбираем пункт 1.
Пишем название файла для отчёта.
Прописываем путь к самому файлу и ожидаем анализа.
Метаданные предоставлены корректно, но к сожалению задействовать ИИ так и не удалось.
Анализ метаданных в OSINT-исследовании сайта никогда не терял актуальность и данный инструмент способен помочь нам в этом деле и надеюсь моя обратная связь разработчикам в виде статьи поможет скорректировать инструмент и поработать над ошибками выше.
Заключение
В этой статье я продемонстрировал вам инструменты, которые могут вам подсобить в исследовании сайта и вполне возможно поспособствуют комфортной и эффективной работе!
Линейный вид
