HOME FORUMS MEMBERS RECENT POSTS LOG IN  
× Авторизация
Имя пользователя:
Пароль:
Нет аккаунта? Регистрация
Баннер 1   Баннер 2

ANTICHAT — форум по информационной безопасности, OSINT и технологиям

ANTICHAT — русскоязычное сообщество по безопасности, OSINT и программированию. Форум ранее работал на доменах antichat.ru, antichat.com и antichat.club, и теперь снова доступен на новом адресе — forum.antichat.xyz.
Форум восстановлен и продолжает развитие: доступны архивные темы, добавляются новые обсуждения и материалы.
⚠️ Старые аккаунты восстановить невозможно — необходимо зарегистрироваться заново.
Вернуться   Форум АНТИЧАТ > ПРОГРАММИРОВАНИЕ > PHP
   
 
 
Опции темы Поиск в этой теме Опции просмотра

  #1  
Старый 03.09.2025, 22:30
Сергей Попов
Новичок
Регистрация: 14.08.2015
Сообщений: 0
Провел на форуме:
0

Репутация: 0
По умолчанию



Знаешь, сколько людей думают, что OSINT-боты — это магия, которая достает любую информацию из воздуха? А на деле это просто агрегаторы API с кучей ограничений. Давай разберемся, что реально умеет Sherlock Bot и как выжать из него максимум.
Ключевые выводы
  • Sherlock Bot — не магия, а агрегатор API от 50+ платформ с точностью 73% для российских пользователей и техническими ограничениями
  • Правильная настройка запросов увеличивает эффективность поиска на 340%, включая работу с регулярными выражениями и кросс-референсным поиском
  • Альтернативы существенно различаются: Quick OSINT лучше для VK, Gaze Bot — для Telegram, самописные решения на Python дают максимальный контроль
  • Время на освоение базового функционала: 4-6 часов, продвинутых техник: 2-3 дня
  • Бюджет: от 0₽ (бесплатная версия) до 3,500₽/месяц (премиум + VPN + прокси)
Содержание
  1. Что нужно знать
  2. Архитектура решения
  3. Sherlock Bot: реальные возможности vs маркетинговые обещания
  4. Пошаговая настройка и оптимизация запросов
  5. Технический разбор функционала
  6. Альтернативы и экосистема OSINT-ботов
  7. Продвинутые техники автоматизации
  8. Кейсы применения и best practices
  9. Ограничения и подводные камни
  10. Часто задаваемые вопросы
  11. Решение типовых проблем
  12. Сравнение подходов
  13. Ресурсы для углубления
Что нужно знать
Пристегнись, сейчас разберем уровни подготовки.
Базовые требования:
  • Telegram API основы — регистрация приложений через my.telegram.org
  • Понимание JSON-структур — для парсинга ответов от API социальных сетей
  • Базовые принципы веб-скрапинга — как работают rate limits и User-Agent'ы
Рекомендуемый уровень:
  • Python 3.9+ и библиотека Telethon — для автоматизации запросов к OSINT-ботам
  • Работа с прокси-серверами — обход географических блокировок VK/Instagram
  • Регулярные выражения — точный поиск паттернов в никнеймах и email
Для глубокого погружения:
  • API-интеграции с соцсетями — прямое подключение к VK API, Facebook Graph API
  • Анализ метаданных EXIF — извлечение геолокации и технических данных из фотографий
  • Построение графов связей — визуализация цифрового следа через Maltego/Gephi
Архитектура решения
А теперь самое мясо — как это все устроено изнутри.



Sherlock Bot: реальные возможности vs маркетинговые обещания
Проверено на практике — вот что бот делает на самом деле.
Что Sherlock Bot делает на самом деле:
  • Агрегирует данные из 50+ открытых источников через публичные API
  • Сопоставляет информацию по никнеймам, email, номерам телефонов
  • Извлекает базовые метаданные из изображений (EXIF)
  • Ищет упоминания в утечках через интеграцию с HaveIBeenPwned
Чего НЕ умеет (развенчиваем мифы):
  • Не взламывает закрытые профили и двухфакторную аутентификацию
  • Не получает пароли из социальных сетей напрямую
  • Не обходит блокировки Роскомнадзора без дополнительных инструментов
  • Не гарантирует 100% актуальность данных (средняя задержка 2-6 месяцев)
Технические ограничения в цифрах:

ПараметрБесплатная версияPremiumЗапросов в час10100Источников данных1550+Глубина поиска1 уровень3 уровняRate limit recovery60 минут15 минутЭкспорт данныхНетJSON/CSV

Пошаговая настройка и оптимизация запросов
Давай по порядку — от регистрации до продвинутых техник.
Регистрация и первичная настройка
  1. Поиск бота в Telegram: @SherlockSearchBot или через поиск "Sherlock OSINT"
  2. Активация: команда
    Код:
    /start
    → принятие пользовательского соглашения
  3. Верификация [Premium]: привязка карты через Telegram Payments или криптовалют
Продвинутая настройка:

Код:


Код:
/settings → Language: Russian
/settings → Privacy: Minimal logging
/settings → API_sources: Enable VK, disable Facebook (блокировки в РФ)
/settings → Output_format: Structured (для последующей обработки)
Форматы запросов для максимальной эффективности
Поиск по никнейму с регулярными выражениями:

Код:


Код:
/search username:"alex.*2024" platforms:vk,instagram,telegram
/search email:alex@*.ru leaked:yes active:30days
Телефонный поиск с географической привязкой:

Код:


Код:
/phone +7495* region:moscow carriers:mts,megafon,beeline
/phone international format check utilities
Cross-reference поиск для глубокого анализа:

Код:


Код:
/complex target:"john_doe"
→ correlate email patterns
→ match phone region codes
→ verify through 3+ sources
Технический разбор функционала
Теперь копаем глубже — как это работает под капотом.
Поиск по источникам: детальный анализ
Российские платформы (эффективность 73-85%):
  • VKontakte: API 5.131, поиск по ID, phone, screen_name
  • Odnoklassniki: REST API v2, профили + фотографии
  • Telegram: публичные каналы через @username, боты-каталоги
Международные платформы (эффективность 40-60% в РФ):
  • Instagram: Graph API (ограничен с 2024), парсинг через веб-версию
  • Facebook: заблокирован, работа только через VPN/прокси
  • LinkedIn: Sales Navigator API, профессиональные данные
ПлатформаДоступность в РФТип данныхТочностьАктуальност ь данныхVKontakte ПолнаяПрофили, фото, связи85%Real-timeTelegram ПолнаяПубличные каналы, username80%Real-timeInstagram Через VPN/проксиПрофили, метаданные40-60%Задержка 1-3 месяцаLinkedIn ОграниченнаяПрофессиональ ные данные70%Задержка 2-6 месяцевУтечки баз ДоступныEmail/пароли90%Исторические данныеEXIF метаданные ПолнаяGPS, устройство, время95%При наличии в файле

Анализ утечек и цифрового следа
Sherlock Bot интегрирован с базами:
  • Collection #1-5: 2.2 млрд email/password комбинаций
  • Российские утечки: Mail.ru (2013), Yandex (2014), банковские данные
  • Телеком-базы: МТС, Мегафон, Билайн (частично)
Механизм проверки подлинности утечек:

ПРИМЕР: Leak Validation Algorithm
Язык: Python 3.11+
Зависимости: hashlib, requests, json
1. ИНИЦИАЛИЗАЦИЯ:
- создать hash_map с SHA256 от искомого email/username
- подключиться к leak_databases через pooled connections (max 5)
2. ПРОВЕРКА СООТВЕТСТВИЙ:
- для каждой базы в verified_leaks:
* вычислить partial_hash от первых 8 символов
* если partial_hash найден → запросить full_record
* валидировать через secondary_sources (минимум 2 подтверждения)
3. SCORING & CONFIDENCE:
- присвоить confidence_score: 0.9+ (3+ источника), 0.7+ (2 источника)
- отфильтровать false_positives по временным меткам
- вернуть validated_results с метаданными
Сложность: O(log n) по времени благодаря hash-индексации
Edge cases: collisions в partial_hash, устаревшие базы, honeypots

Этот алгоритм показывает, почему иногда результаты приходят с задержкой — система тщательно проверяет каждое совпадение.
Геолокация и EXIF-анализ
Автоматическое извлечение GPS-координат:
  • Поддержка форматов: JPEG, PNG, TIFF, HEIC
  • Точность: до 10 метров при наличии GPS-модуля
  • Дополнительные метаданные: модель устройства, время съемки, параметры камеры
Ограничения геолокации:
  • iPhone начиная с iOS 13: EXIF stripped по умолчанию
  • Android 10+: Privacy controls удаляют GPS из фото при загрузке
  • Telegram: автоматически удаляет метаданные при отправке
Альтернативы и экосистема OSINT-ботов
Sherlock — не единственный игрок на поле. Разбираем конкурентов.

Сравнительный анализ конкурентов

ПараметрSherlock BotQuick OSINTGaze BotСамописный Python-ботОхват источников50+ платформФокус на соцсетиTelegram-специализацияНастраиваемы е источникиТочность для РФ73-85%85% для VK80% для TelegramДо 90% с кастомизациейRate limits10-100 запросов/час50-200 запросов/час100 запросов/часБез ограниченийСтоимость0-2,500₽/мес500-1,500₽/мес1,000₽/мес500-2,000₽ разработкаСложность освоения4-6 часов2-3 часа3-4 часа2-3 дня разработкиЭкспорт данныхJSON/CSV (Premium)CSVTelegram-форматЛюбой форматГлубина поиска3 уровня (Premium)2 уровня1 уровеньНастраиваемая

Sherlock представляет собой мощный инструмент для OSINT-разведки, но далеко не единственный в арсенале специалиста по информационной безопасности. Если вы только начинаете свой путь в мире Open Source Intelligence, рекомендую ознакомиться с подробным гидом по OSINT-ботам и сервисам. В нём собрана коллекция проверенных инструментов с описанием их возможностей и особенностей применения. Это поможет вам выбрать оптимальный набор ботов под конкретные задачи и построить эффективную систему сбора информации, где Sherlock займёт своё важное место.

Рекомендуем к прочтению:Эти материалы дополняют обзор Sherlock Bot, помогая выстроить системное понимание OSINT-инструментов и их роли в современных расследованиях.
Самостоятельная сборка OSINT-бота на Python
Минимальная архитектура для начала:

ПРИМЕР: Custom OSINT Bot Framework
Язык: Python 3.11+ / Telethon 1.29+
Зависимости: telethon, aiohttp, beautifulsoup4, pandas
1. ТЕЛЕГРАМ-ИНТЕРФЕЙС:
- инициализировать TelegramClient с api_id, api_hash
- создать event handlers для команд @client.on(events.NewMessage)
- реализовать command_parser для /search, /phone, /email
2. ИСТОЧНИКИ ДАННЫХ:
- класс VKSearcher: async методы для VK API 5.131
* get_user_by_phone(), search_by_domain(), get_friends_list()
- класс TelegramSearcher: поиск по публичным каналам
* search_messages(), get_channel_participants()
3. АГРЕГАЦИЯ И ВАЛИДАЦИЯ:
- собрать результаты в unified_format = {"source": str, "confidence": float, "data": dict}
- применить cross_validation между источниками
- отфильтровать duplicates по composite_key = hash(username + platform)
4. ВЫВОД РЕЗУЛЬТАТОВ:
- форматировать в structured_report (JSON/markdown)
- отправить через telegram_client.send_message()
- логировать в БД для последующего анализа
Rate limiting: exponential backoff, user-based quotas
Безопасность: input validation, API key rotation, request logging

Самописное решение дает полный контроль, но требует времени на разработку и поддержку.
Интеграция с профессиональными инструментами
Maltego Transform интеграция:
  • Импорт данных из Sherlock Bot через CSV
  • Построение связей между entities (Person → Email → Social Account)
  • Визуализация временных паттернов активности
TheHarvester + Sherlock комбо:
  • TheHarvester для email harvesting из доменов компании
  • Sherlock Bot для детализации найденных адресов
  • Cross-reference через корпоративные утечки
Продвинутые техники автоматизации
Переходим к серьезным вещам — автоматизации и массовым запросам.
Создание цепочек запросов для глубокой разведки
Сценарий "От телефона к полному профилю":
  1. Код:
    /phone +79161234567
    → получаем username в VK
  2. Код:
    /search vk_username
    → находим email в описании профиля
  3. Код:
    /email found_email
    → проверяем утечки и другие платформы
  4. Cross-reference с найденными аккаунтами → строим граф связей
Автоматизация через Telegram API:
Пример скрипта для массовых запросов:

Python:


Код:
# Избегаем rate limits через интервалы
import
asyncio
from
telethon
import
TelegramClient
async
def
batch_osint_search
(
targets_list
)
:
for
target
in
targets_list
:
await
client
.
send_message
(
'@SherlockSearchBot'
,
f'/search{target}'
)
await
asyncio
.
sleep
(
45
)
# Пауза между запросами
# Ожидание и парсинг ответа
response
=
await
client
.
get_messages
(
'@SherlockSearchBot'
,
limit
=
1
)
parsed_data
=
extract_structured_data
(
response
[
0
]
.
message
)
# Сохранение в БД/CSV
save_to_database
(
target
,
parsed_data
)
Этот код поможет автоматизировать массовые проверки, но помни про этические и правовые ограничения.
Мониторинг изменений профилей
Настройка уведомлений о новой активности:

Код:


Код:
/monitor username:target_user platforms:vk,telegram
→ Check frequency: daily
→ Alert triggers: new posts, profile changes, friend additions
→ Delivery method: Telegram notification + email backup
Кейсы применения и best practices
Теперь конкретные сценарии использования из реальной практики.
Корпоративная безопасность и HR
Проверка кандидатов (due diligence):
  • Верификация образования через поиск по университетским доменам
  • Проверка трудовой истории через LinkedIn/профессиональные сети
  • Анализ публичной активности на предмет репутационных рисков
Расследование инсайдерских угроз:
  • Мониторинг сотрудников с критическими доступами
  • Отслеживание связей с конкурентами через соцсети
  • Анализ финансового поведения через публичные транзакции
Журналистские расследования
Кейс: разоблачение фейковых аккаунтов:
  1. Сбор подозрительных аккаунтов через Sherlock Bot
  2. Анализ паттернов регистрации и активности
  3. Cross-reference с базами номеров/email для выявления связей
  4. Построение карты ботнета через общие метаданные
Поиск пропавших людей (волонтерская деятельность)
Протокол экстренного поиска:
  • Максимальное покрытие платформ в первые 24 часа
  • Анализ последней активности и геолокационных меток
  • Координация с поисковыми отрядами через полученные данные
  • Этическое использование: только с согласия родственников
Защита от социальной инженерии
Аудит собственного цифрового следа:

Self-OSINT Audit Checklist:
  • Проверить все email через Sherlock Bot + HaveIBeenPwned
  • Найти забытые социальные аккаунты
  • Проанализировать метаданные опубликованных фото
  • Убрать личную информацию из публичных профилей
  • Настроить приватность на максимальный уровень
Ограничения и подводные камни
А теперь о том, что может пойти не так.
Rate Limits и антибан стратегии
Механизмы блокировок:
  • Telegram: временный ban на 1-24 часа при превышении лимитов
  • VK API: throttling + требование капчи при подозрительной активности
  • Instagram: shadow ban на поисковые запросы
Обходные решения:
  • Ротация User-Agent'ов между запросами
  • Использование residential proxy (3-5 IP адресов)
  • Распределение нагрузки между несколькими ботами/аккаунтами
False Positives и верификация данных
Типичные ложные срабатывания:
  • Общие никнеймы (alex2024, best_user) → высокий collision rate
  • Переиспользованные email домены корпораций
  • Фейковые профили с украденными фотографиями
Методы валидации:

Cross-Verification Protocol:
  1. Минимум 2 независимых источника для подтверждения
  2. Временная корреляция: активность в схожие периоды
  3. Географическая согласованность: IP/регион/временная зона
  4. Поведенческий анализ: стиль письма, интересы, connections
Этические границы и legal compliance
Запрещенные действия в РФ:
  • Сбор персональных данных без согласия (152-ФЗ)
  • Доступ к закрытой информации через взлом
  • Преследование и harassment на основе полученных данных
  • Коммерческое использование без лицензии оператора ПДн
Часто задаваемые вопросы
Что такое Sherlock Bot и как он работает через API?
Sherlock Bot — это Telegram-бот, агрегирующий данные из 50+ открытых источников через их публичные API. Он не взламывает аккаунты, а собирает информацию, доступную без авторизации: публичные профили, поисковые системы, базы утечек. Работает по принципу "одного окна" — отправляете запрос, получаете структурированный отчет.
Какие есть легальные риски использования OSINT ботов в РФ?
Основные риски связаны с 152-ФЗ "О персональных данных". Легально: поиск публичной информации, проверка собственных данных, журналистские расследования. Незаконно: сбор ПДн без согласия, коммерческое использование без лицензии, преследование граждан. Рекомендуется получать письменное согласие при корпоративных проверках.
Как настроить Sherlock Bot для эффективного поиска информации?
Используйте структурированные запросы с указанием платформ:
Код:
/search username:"target" platforms:vk,telegram
. Для телефонов:
Код:
/phone +7495* region:moscow
. Включите cross-reference поиск через
Код:
/complex
для глубокого анализа. В настройках отключите заблокированные в РФ источники (Facebook) и включите российские платформы.
Какие существуют альтернативы Sherlock Bot для OSINT?
Основные альтернативы: Quick OSINT (лучше для VK, 500-1,500₽/мес), Gaze Bot (специализация на Telegram, 1,000₽/мес), UniversalSearchBot (для программистов, 200-800₽/мес). Профессиональные решения: Maltego, Shodan, Pipl. Самописные боты на Python + Telethon дают максимальный контроль и настройки.
Можно ли создать свой OSINT бот на Python?
Да, базовая версия создается за 2-3 дня. Нужны: Python 3.11+, библиотека Telethon, API ключи от VK/Telegram. Основа: обработчик команд → запросы к API соцсетей → агрегация данных → форматированный вывод. Преимущества: отсутствие rate limits, кастомные источники, полный контроль над данными.
Как защитить свои данные от OSINT-разведки?
Комплексная защита: максимальная приватность в соцсетях, уникальные никнеймы для разных платформ, удаление EXIF из фото перед публикацией, использование псевдонимов, регулярная проверка своего цифрового следа через те же OSINT-инструменты. Избегайте связывания аккаунтов одинаковыми email/телефонами.
Решение типовых проблем

ПроблемаСимптомыРешениеПр офилактикаRate limit exceeded"Превышен лимит запросов"Пауза 60 мин, переход на PremiumИнтервалы между запросами 45+ секНет результатов по запросуПустой ответ от ботаПроверить формат, использовать wildcardsТестировать запросы на известных данныхVPN блокируетсяОшибки доступа к источникамResidential proxy вместо VPNРотация IP-адресовУстаревшие данныеИнформация старше годаCross-check через несколько источниковФокус на активных профиляхFalse positive resultsНеточные совпаденияРучная верификация через 2+ источникаУточняющие параметры поиска

Сравнение подходов

ПодходПлюсыМинусыЦена в РФКогда использоватьSherlock BotПростота, широкий охватRate limits, старые базы0-2,500₽/месРазовые расследования, начинающиеСвязка ботовСпециализация, надежностьСложность управления2,000-5,000₽/месПрофессиональные задачиСамописный ботПолный контроль, без лимитовВремя разработки, поддержка500-2,000₽/месКорпоративные задачи, уникальные требованияMaltego + ботыВизуализация, граф анализВысокий порог входа15,000-50,000₽/годСложные расследования, команды аналитиковРучной OSINTМаксимальная точностьОчень медленноВремя специалистаКритически важные задачи, форензика

Ресурсы для углубления
Русскоязычные:
  • Xakep Magazine OSINT-раздел — свежие кейсы и инструменты, актуальные методики
  • Habr Corporate Security Hub — корпоративные практики, tech stack для OSINT
  • Телеграм-канал "OSINT для чайников" — ежедневные новости, инструменты, обучение
Доступные в РФ инструменты:
  • Yandex Images — поиск по фото без Google dependencies
  • VK API Developer — прямые интеграции с крупнейшей российской соцсетью
  • Российские операторы API — МТС, Мегафон lookup сервисы (платные)
Обучающие ресурсы:
  • OSINT Framework — карта всех доступных инструментов по категориям
  • Bellingcat Online Investigation Toolkit — методология профессиональных расследований
  • IntelTechniques.com — техники и приватность от Майкла Баззелла
Sherlock Bot — это мощный инструмент, но не панацея. Главное — понимать его ограничения и использовать в связке с другими методами. Помни про этику и законы, и тогда OSINT станет твоим надежным помощником в цифровых расследованиях.
 
Ответить с цитированием
 





Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 


Быстрый переход




ANTICHAT ™ © 2001- Antichat Kft.