qwerty120
30.06.2025, 16:58
https://forum.antichat.xyz/attachments/4942297/1751305710069.png
Обновлено для SpiderFoot 4.0 | Ноябрь 2025
Что такое SpiderFoot и зачем он нужен
SpiderFoot — это open-source платформа для автоматизированной OSINT-разведки, которая собирает и анализирует данные о целевых объектах из более чем 200 различных источников. Инструмент исследует IP-адреса, домены, email, телефоны, имена и автоматически выявляет связи между найденными данными, превращая разрозненную информацию в структурированную картину цифрового следа.
В отличие от коммерческих решений вроде Maltego ($999/год), SpiderFoot полностью бесплатен, имеет удобный веб-интерфейс и часто превосходит конкурентов по объему собираемых данных.
Быстрый старт за 10 минут
Новичок в SpiderFoot? Следуйте этому пошаговому маршруту:
Шаг 1: Установка на вашу ОС → 5 минут
Шаг 2: Настройка API-ключей → 15 минут
Шаг 3: Запуск первого сканирования → 2 минуты
Шаг 4: Анализ результатов → Изучите примеры
Важно: Без настройки API-ключей вы получите только 20-30% возможностей инструмента!
Основные сценарии использования SpiderFoot
Пентестинг и аудит безопасности — поиск потенциальных векторов атаки через публичную информацию
Threat Intelligence — сбор данных об угрозах и анализ инфраструктуры злоумышленников
Проверка цифрового следа компании — выявление утечек корпоративной информации
OSINT-расследования — комплексный сбор данных о целевых объектах
Due Diligence — проверка контрагентов и партнеров
Оглавление
Ключевые возможности и модули
Установка SpiderFoot на разные ОС
Настройка API-ключей для максимальной эффективности
Режимы работы: от базового до профессионального
Практические примеры использования
Безопасность и OPSEC при работе
SpiderFoot vs Maltego и другие альтернативы
Решение частых проблем
Часто задаваемые вопросы
Ключевые возможности и модули
SpiderFoot построен на модульной архитектуре — более 200 специализированных модулей собирают данные из различных источников. Каждый модуль отвечает за конкретный тип разведки:
1. Базовая сетевая разведка
DNS и доменная информация:
Whois-данные — владельцы доменов, даты регистрации, контактная информация
DNS-записи — полный анализ A, AAAA, MX, TXT, NS, CNAME записей
Поиск поддоменов — через bruteforce, словари и пассивные DNS-базы
Reverse DNS — определение доменов по IP-адресам
2. Поисковые системы и публичные источники
Поисковики:
Google, Bing, DuckDuckGo, Yandex — поиск упоминаний, кэшированных страниц, документов
Специализированные поисковики — GitHub, Reddit, архивы веб-страниц
Социальные сети:
LinkedIn, Twitter, Facebook, Instagram — поиск профилей по email и именам
Telegram, Discord — поиск публичных каналов и упоминаний
3. Базы утечек и уязвимостей
Проверка скомпрометированных данных:
HaveIBeenPwned — проверка email в известных утечках
Pastebin и аналоги — поиск паст с упоминанием целей
Базы утечек — Dehashed, IntelX (требуют платные API)
4. Сетевая разведка и Threat Intelligence
Сканеры интернета:
Shodan — открытые порты, сервисы, уязвимые системы, IoT-устройства
Censys — SSL-сертификаты, HTTP-заголовки, технологии сайтов
BinaryEdge — данные о сетевой инфраструктуре
Репутационные базы:
VirusTotal — проверка доменов и IP на вредоносную активность
AlienVault OTX — индикаторы компрометации
AbuseIPDB — база злоумышленных IP-адресов
Для углубленного поиска уязвимостей после первичной разведки рекомендую изучить материал про открытые сканеры уязвимостей (https://forum.antichat.xyz/threads/581630/).
5. Анализ веб-ресурсов
Сканирование сайтов — извлечение email, телефонов, метаданных
SSL/TLS сертификаты — поиск альтернативных доменов через SAN
Технологии сайта — CMS, фреймворки, библиотеки
Web-архивы — история изменений сайта через Wayback Machine
Установка SpiderFoot на разные ОС
Установка на Linux (Ubuntu/Debian/Kali)
Важно: SpiderFoot НЕ предустановлен в Kali Linux, но доступен в репозиториях.
Bash:
# Для Kali Linux и Debian-based систем
sudo
apt
update
&&
sudo
apt
install
spiderfoot
# Запуск после установки
spiderfoot -l
127.0
.0.1:5001
Рекомендуемый способ — установка из исходников (версия 4.0):
Bash:
# Скачивание стабильной версии 4.0
wget
https://github.com/smicallef/spiderfoot/archive/v4.0.tar.gz
tar
zxvf v4.0.tar.gz
cd
spiderfoot-4.0
# Установка зависимостей (требуется Python 3.7+)
pip3
install
-r requirements.txt
# Запуск
python3 ./sf.py -l
127.0
.0.1:5001
Для разработчиков (bleeding edge версия):
Bash:
git
clone https://github.com/smicallef/spiderfoot.git
cd
spiderfoot
pip3
install
-r requirements.txt
python3 ./sf.py -l
127.0
.0.1:5001
Установка на Windows
Для Windows потребуется предварительно установленный Python 3.7+:
Код:
# 1. Скачайте и установите Python с python.org
# 2. Откройте PowerShell от администратора
# Скачивание SpiderFoot (см. команды в разделе "Установка на Linux" выше)
# После скачивания перейдите в папку:
cd spiderfoot
# Установка зависимостей
pip install -r requirements.txt
# Запуск
python sf.py -l 127.0.0.1:5001
Установка через Docker (универсальный метод)
Docker-контейнер — самый простой способ для любой ОС:
Bash:
# Скачивание и запуск официального образа
docker pull blacklanternsecurity/spiderfoot
# Базовый запуск
docker run -p
5001
:5001 blacklanternsecurity/spiderfoot
# С сохранением данных
docker run -p
5001
:5001
\
-v /path/to/data:/var/lib/spiderfoot
\
blacklanternsecurity/spiderfoot
После запуска откройте браузер и перейдите на
http://127.0.0.1:5001
При выборе операционной системы для OSINT-работы важно учитывать не только SpiderFoot. Подробный обзор и сравнение операционных систем для OSINT (https://forum.antichat.xyz/threads/584559/) поможет выбрать оптимальное окружение.
Настройка API-ключей для максимальной эффективности
КРИТИЧЕСКИ ВАЖНО: Без API-ключей SpiderFoot использует только 20-30% своих возможностей. Большинство мощных модулей требуют авторизации в external сервисах.
Пошаговая настройка API-ключей:
Запустите веб-интерфейс:
Bash:
python3 ./sf.py -l
127.0
.0.1:5001
Откройте в браузере:
http://127.0.0.1:5001
Перейдите в настройки: Settings → API Key Manager
Получите бесплатные ключи для основных сервисов
Обязательные API-ключи (бесплатные):
СервисРегистрацияЛимиты бесплатного планаShodanshodan.io/register100 запросов/месяцVirusTotalvirustotal.com/gui/join-us500 запросов/деньHaveIBeenPwnedhaveibeenpwned.com/API/Key10 запросов/минутаHunter.iohunter.io/users/sign_up25 поисков/месяцCensyscensys.io/register250 запросов/месяцAlienVault OTXotx.alienvault.comБез ограниченийAbuseIPDBabuseipdb.com/register1000 запросов/деньGreyNoisegreynoise.io/signup50 запросов/день
Рекомендуемые платные API (для профессионального использования):
Shodan Pro ($49/месяц) — неограниченные запросы
IntelX (от $100/месяц) — доступ к базам утечек
Dehashed ($15/месяц) — поиск по утечкам паролей
Совет: Потратьте 30 минут на регистрацию хотя бы в 5-7 бесплатных сервисах. Это увеличит эффективность SpiderFoot в 3-4 раза.
Режимы работы: от базового до профессионального
SpiderFoot предлагает несколько предустановленных режимов работы (Use Cases) и возможность точечного выбора модулей:
1. Passive (Пассивная разведка)
Безопасный режим без прямого взаимодействия с целью. Использует только публичные источники и кэши.
Bash:
# CLI запуск
python3 ./sf.py -s example.com -u passive -o passive_scan.json
# Через веб-интерфейс
New Scan → Use Case:
"Passive"
→ Start Scan
Когда использовать: Первичная разведка, когда важна скрытность.
2. Footprint (Отпечаток инфраструктуры)
Умеренно активный режим с запросами к целевым ресурсам (robots.txt, sitemap.xml).
Bash:
python3 ./sf.py -s example.com -u footprint
Когда использовать: Детальное изучение инфраструктуры с минимальным шумом.
3. Investigate (Расследование угроз)
Проверка IP/доменов по базам угроз и репутационным спискам.
Bash:
python3 ./sf.py -s suspicious-domain.com -u investigate
Когда использовать: Анализ подозрительной активности, проверка IoC.
4. All (Полное сканирование)
НЕ РЕКОМЕНДУЕТСЯ! Запускает все модули, генерирует гигабайты данных и может занять несколько часов.
Профессиональный подход: точечный выбор модулей
Bash:
# Только поиск поддоменов и их резолвинг
python3 ./sf.py -s example.com -m sfp_subdomain_enum,sfp_dnsresolve
# Только email и связанные домены
python3 ./sf.py -s example.com -t EMAILADDR,DOMAIN_NAME
# Экспорт в CSV для анализа
python3 ./sf.py -s example.com -u passive -o results.csv -F CSV
Практические примеры использования
Кейс 1: Аудит безопасности корпоративной инфраструктуры
Задача: Проверить, какая информация о компании доступна публично.
Bash:
# Шаг 1: Пассивная разведка основного домена
python3 ./sf.py -s company.com -u passive -o company_passive.json
# Шаг 2: Анализ найденных поддоменов
python3 ./sf.py -s company.com
\
-m sfp_subdomain_enum,sfp_shodan,sfp_censys
# Шаг 3: Проверка email-адресов сотрудников
python3 ./sf.py -s company.com
\
-t EMAILADDR
\
-m sfp_haveibeenpwned,sfp_hunter
Результат: Обнаружены 47 поддоменов, 12 из которых имеют открытые административные панели. 5 корпоративных email найдены в публичных утечках.
Кейс 2: Расследование фишинговой кампании
Задача: Изучить инфраструктуру фишингового сайта.
Bash:
# Комплексный анализ подозрительного домена
python3 ./sf.py -s phishing-site.com -u investigate
# Поиск связанной инфраструктуры через SSL-сертификаты
python3 ./sf.py -s phishing-site.com -m sfp_tlscert,sfp_crt
Результат: Через общий SSL-сертификат найдены еще 8 фишинговых доменов на том же хостинге.
Кейс 3: OSINT-разведка по email
Задача: Собрать информацию о человеке по email-адресу.
Bash:
# Поиск по email
python3 ./sf.py -s target@example.com -t EMAILADDR
# Поиск в социальных сетях и утечках
python3 ./sf.py -s target@example.com
\
-m sfp_socialprofiles,sfp_haveibeenpwned
Кейс 4: Мониторинг Attack Surface компании
Задача: Регулярно проверять изменения в цифровом следе организации.
Bash:
# Создание cron-задачи для ежедневного сканирования
# Добавить в crontab
0
2
* * * /usr/bin/python3 /path/to/sf.py
\
-s company.com
\
-u passive
\
-o /path/to/reports/scan_
$(date +\%Y\%m\%d)
.json
\
-q
Безопасность и OPSEC при работе
Критические правила безопасности
Правило №1: Никогда не сканируйте с личного/рабочего IP
Любое активное сканирование оставляет следы в логах целевых систем. Ваш IP-адрес будет записан.
Правило №2: Используйте промежуточную инфраструктуру
Bash:
# Вариант 1: Работа через VPN
# Подключитесь к VPN перед запуском SpiderFoot
# Вариант 2: Арендованный VPS
ssh
user@vps-server
# Запускайте SpiderFoot на VPS
# Вариант 3: Tor (медленно, но анонимно)
# В настройках SpiderFoot: Settings → Global Settings → Use Tor
Правило №3: Соблюдайте законодательство
Получите письменное разрешение на тестирование
Не сканируйте государственные ресурсы без официального разрешения
Учитывайте законы страны размещения целевых систем
В РФ действует закон 152-ФЗ о персональных данных
Настройка SpiderFoot для работы через Tor
Установите Tor:
Bash:
sudo
apt
install
tor
sudo
service
tor start
В веб-интерфейсе SpiderFoot:
Settings → Global Settings
Enable "Route requests through Tor"
SOCKS Proxy: 127.0.0.1:9050
Проверьте анонимность:
Bash:
curl
--socks5
127.0
.0.1:9050 https://check.torproject.org
Рекомендации по скрытности
Используйте режим "Passive" для первичной разведки
Растягивайте сканирование во времени (настройка delays)
Не используйте агрессивные модули без необходимости
Регулярно меняйте IP-адреса при длительных исследованиях
Избегайте сканирования в рабочие часы целевой организации
SpiderFoot vs Maltego и другие альтернативы
Сравнительная таблица OSINT-инструментов
ХарактеристикаSpiderFootMaltegoRecon-ngtheHarvesterЛицензияOpen SourceFreemiumOpen SourceOpen SourceИнтерфейсWeb + CLIGUICLICLIКоличество модулей200+50+ (transforms)100+30+ВизуализацияБаз ваяОтличнаяОтсутствуетОт утствуетАвтоматизацияВыс каяСредняяВысокаяВысокая ложность освоенияСредняяВысокаяСре дняяНизкаяСтоимость ProHX: по запросу$999/годБесплатноБесплатноТреб ованияPython 3.7+JavaPython 3.6+Python 3.6+
Когда использовать каждый инструмент
SpiderFoot — когда нужен максимальный охват источников и автоматизация:
Массовый сбор данных
Автоматизированные проверки безопасности
Регулярный мониторинг инфраструктуры
Начальный этап пентестинга
Maltego — когда важна визуализация и анализ связей:
Расследование сложных схем
Презентация результатов руководству
Анализ социальных связей
Финансовые расследования
Recon-ng — для программистов и автоматизации:
Интеграция в скрипты
Кастомные модули
CLI-автоматизация
DevSecOps пайплайны
theHarvester — для быстрого поиска email и поддоменов:
Простые задачи разведки
Начальный этап пентеста
Обучение OSINT
Быстрая проверка домена
Оптимальная связка инструментов
Код:
SpiderFoot (сбор данных)
→ Экспорт CSV/JSON
→ Maltego (визуализация)
→ Презентация/Отчет
Профессионалы часто используют SpiderFoot для массового сбора информации, затем импортируют наиболее интересные находки в Maltego для глубокого визуального анализа связей.
Если вы хотите расширить свой арсенал практических средств для быстрой разведки, рекомендую ознакомиться со статьёй про самые актуальные OSINT-боты для новичков (https://forum.antichat.xyz/threads/584778/) на античат . В материале собраны самые удобные Telegram-боты и онлайн-сервисы для анализа аккаунтов в соцсетях, поиска открытых данных и автоматизации рутинных задач.
Решение частых проблем
Проблема: "Module failed: sfp_shodan"
Причина: Неправильный API-ключ или превышен лимит запросов.
Решение:
Bash:
# Проверьте API-ключ
Settings → API Keys → Shodan API Key
# Проверьте лимиты (100 запросов/месяц на бесплатном плане)
# на сайте Shodan: Account → Usage
# Решение: используйте режим passive или купите Shodan Pro
Проблема: "Connection refused" при запуске веб-интерфейса
Причина: Порт 5001 уже занят другим приложением.
Решение:
Bash:
# Проверьте, не занят ли порт
netstat
-tulpn
|
grep
5001
# Используйте другой порт
python3 ./sf.py -l
127.0
.0.1:5002
# Для доступа с других машин в локальной сети
python3 ./sf.py -l
0.0
.0.0:5001
Проблема: Слишком много данных, браузер зависает
Причина: Включено слишком много модулей или выбран режим "All".
Решение:
Bash:
# Используйте фильтры в веб-интерфейсе
# Или экспортируйте в JSON/CSV для внешнего анализа
python3 ./sf.py -s target.com -u passive -o results.json -q
# Анализируйте данные в Python/Excel
Проблема: "SSL Certificate Verify Failed"
Причина: Проблемы с сертификатами SSL в корпоративной сети.
Решение:
Python:
# Временное решение (НЕ для продакшена!)
# В файле sf.py добавить перед импортами:
import
ssl
ssl
.
_create_default_https_context
=
ssl
.
_create_unverified_context
Правильное решение: Установите корневые сертификаты вашей организации.
Проблема: Медленная работа сканирования
Решение:
Уменьшите количество одновременных модулей: Settings → Global Settings → Thread Count (5-10)
Отключите медленные модули (например, sfp_torch при работе без Tor)
Используйте SSD для базы данных SpiderFoot
Увеличьте timeout для медленных источников
Проблема: Python версии 3.6 не поддерживается
Причина: SpiderFoot 4.0 требует Python 3.7+
Решение:
Bash:
# Обновите Python до версии 3.7 или выше
python3 --version
# Ubuntu/Debian
sudo
apt
update
sudo
apt
install
python3.9
# Или используйте Docker
docker run -p
5001
:5001 blacklanternsecurity/spiderfoot
Часто задаваемые вопросы
Как установить SpiderFoot на Windows 10/11?
Установите Python 3.7+ с официального сайта python.org, затем следуйте инструкциям в разделе Установка на Windows.
Краткая версия:
Код:
# После скачивания SpiderFoot
cd spiderfoot
pip install -r requirements.txt
python sf.py -l 127.0.0.1:5001
Откройте браузер и перейдите на http://127.0.0.1:5001
SpiderFoot vs Maltego — что лучше для начинающих?
SpiderFoot проще в освоении и бесплатен, идеален для автоматизированного сбора данных. Maltego лучше для визуального анализа, но требует больше времени на изучение и стоит $999/год для полной версии. Рекомендация: Начните с SpiderFoot, затем освойте Maltego для презентаций.
Какие бесплатные альтернативы SpiderFoot существуют?
Recon-ng — мощный CLI-фреймворк для OSINT
theHarvester — простой инструмент для поиска email и поддоменов
Amass — продвинутый поиск поддоменов от OWASP
Photon — веб-краулер для OSINT
Sherlock — поиск username по 300+ соцсетям
Можно ли использовать SpiderFoot без API-ключей?
Технически да, но вы получите только 20-30% функционала. Без API-ключей не работают Shodan, VirusTotal, HaveIBeenPwned и другие ключевые модули. Настоятельно рекомендуется потратить 30 минут на регистрацию в бесплатных сервисах — это критически важно для эффективной работы.
Как запустить SpiderFoot в Docker?
Bash:
# Скачать образ
docker pull blacklanternsecurity/spiderfoot
# Запустить с сохранением данных
docker run -p
5001
:5001
\
-v ~/spiderfoot:/var/lib/spiderfoot
\
blacklanternsecurity/spiderfoot
Откройте http://localhost:5001 в браузере.
Законно ли использовать SpiderFoot в России?
Сбор публичной информации (OSINT) законен. Однако активное сканирование чужих систем без разрешения может нарушать:
Статью 272 УК РФ (неправомерный доступ к компьютерной информации)
Закон 152-ФЗ (о персональных данных)
Всегда получайте письменное разрешение перед сканированием корпоративных сетей. Для обучения используйте специальные площадки (scanme.nmap.org, testphp.vulnweb.com).
Как экспортировать результаты из SpiderFoot в Excel?
Bash:
# Экспорт в CSV
python3 ./sf.py -s target.com -o results.csv -F CSV
# Конвертация в Excel через Python
python3 -c
"import pandas as pd; pd.read_csv('results.csv').to_excel('results.xlsx' , index=False)"
Или используйте веб-интерфейс: Browse → Export → CSV, затем откройте в Excel.
Почему SpiderFoot не находит поддомены?
Проверьте:
Включены ли модули sfp_subdomain_enum, sfp_sublist3r
Есть ли API-ключи для Shodan, Censys (они критичны для поиска)
Используйте режим "Footprint" вместо "Passive"
Попробуйте специализированные инструменты: Amass, Subfinder, Assetfinder
Как настроить SpiderFoot для работы через прокси?
В веб-интерфейсе: Settings → Global Settings → HTTP Proxy
Формат:
http://user:pass@proxy.server:8080
SOCKS:
socks5://127.0.0.1:9050
Можно ли автоматизировать регулярные сканирования?
Да, через cron и CLI:
Bash:
# Добавить в crontab для ежедневного сканирования в 2:00
0
2
* * * /usr/bin/python3 /path/to/sf.py
\
-s example.com
\
-u passive
\
-o /path/to/reports/scan_
$(date +\%Y\%m\%d)
.json
\
-q
В чем разница между SpiderFoot и SpiderFoot HX?
SpiderFoot (Open Source):
Бесплатный
Self-hosted
1 пользователь
Ограничение: 1 цель за сканирование, 3 часа работы
~25% возможностей HX версии
SpiderFoot HX (Commercial):
Платный (цены по запросу)
Cloud-hosted
Множество пользователей
Без ограничений по целям и времени
Расширенная визуализация
Мониторинг изменений
Интеграция с командами
Дополнительные модули
Как обновить SpiderFoot до версии 4.0?
Bash:
# Если установлен через Git
cd
spiderfoot
git
pull origin master
pip3
install
-r requirements.txt --upgrade
# Если скачан архивом - скачайте новую версию:
# wget https://github.com/smicallef/.../v4.0.tar.gz (см. раздел "Установка на Linux")
tar
zxvf v4.0.tar.gz
cd
spiderfoot-4.0
pip3
install
-r requirements.txt
Заключение
SpiderFoot — мощнейший инструмент в арсенале специалиста по кибербезопасности и OSINT-аналитика. Его главные преимущества: автоматизация рутинных задач, огромное количество источников данных (200+ модулей) и гибкая настройка под конкретные задачи.
Если вы хотите системно развить навыки OSINT и построить собственный автоматизированный workflow — ознакомьтесь с «OSINT 2025: Полным руководством по инструментам, AI и автоматизации разведки» (https://forum.antichat.xyz/threads/588590/).
Этот материал продолжает тему SpiderFoot, объясняя, как выстроить современный OSINT-процесс: от легальности и этики до AI-интеграции и автоматизации поиска. В нем есть карта инструментов, примеры рабочих сценариев и подборка дистрибутивов для OSINT-лаборатории.
Чек-лист для эффективной работы с SpiderFoot:
Установлен SpiderFoot версии 4.0
Настроены минимум 5-7 API-ключей (Shodan, VirusTotal, HaveIBeenPwned обязательно)
Изучены основные режимы работы (Passive, Footprint, Investigate)
Настроена работа через VPN или прокси
Отработан процесс экспорта данных для анализа
Изучены правовые аспекты использования в вашей юрисдикции
Создан набор шаблонов для типовых задач
Настроена интеграция с другими инструментами (Maltego, Recon-ng)
Помните: SpiderFoot — это инструмент сбора данных, а не анализа. Комбинируйте его с другими решениями для максимальной эффективности. И всегда соблюдайте законодательство и этические нормы при проведении исследований.
Освоение инструментов OSINT-разведки — важный шаг в карьере специалиста по информационной безопасности. Если вы нацелены на профессиональный рост в области пентестинга, рекомендую изучить материал о подготовке к сертификации OSCP (https://forum.antichat.xyz/threads/585873/), где навыки OSINT-разведки играют ключевую роль.
Делитесь в комментариях своими кейсами использования SpiderFoot и любимыми модулями. Какие источники данных вы считаете наиболее полезными?
Обновлено: Ноябрь 2025 | Версия SpiderFoot: 4.0 | Требования: Python 3.7+ — проверка контрагентов и партнеров
В отличие от коммерческих решений вроде Maltego, SpiderFoot полностью бесплатен в базовой версии, имеет удобный веб-интерфейс и часто превосходит конкурентов по объему собираемых сырых данных. Инструмент активно развивается сообществом и регулярно обновляется новыми модулями.
Оглавление
Ключевые возможности и модули (https://forum.antichat.xyz/threads/585881/)
Установка SpiderFoot на разные ОС (https://forum.antichat.xyz/threads/585881/)
Настройка API-ключей для максимальной эффективности (https://forum.antichat.xyz/threads/585881/)
Режимы работы: от базового до профессионального (https://forum.antichat.xyz/threads/585881/)
Практические примеры использования (https://forum.antichat.xyz/threads/585881/)
Безопасность и OPSEC при работе (https://forum.antichat.xyz/threads/585881/)
SpiderFoot vs Maltego и другие альтернативы (https://forum.antichat.xyz/threads/585881/)
Решение частых проблем (https://forum.antichat.xyz/threads/585881/)
Часто задаваемые вопросы (https://forum.antichat.xyz/threads/585881/)
Ключевые возможности и модули
SpiderFoot построен на модульной архитектуре — более 200 специализированных модулей собирают данные из различных источников. Каждый модуль отвечает за конкретный тип разведки:
1. Базовая сетевая разведка
DNS и доменная информация:
Whois-данные — владельцы доменов, даты регистрации, контактная информация
DNS-записи — полный анализ A, AAAA, MX, TXT, NS, CNAME записей
Поиск поддоменов — через bruteforce, словари и пассивные DNS-базы
Reverse DNS — определение доменов по IP-адресам
2. Поисковые системы и публичные источники
Поисковики:
Google, Bing, DuckDuckGo, Yandex — поиск упоминаний, кэшированных страниц, документов
Специализированные поисковики — GitHub, Reddit, архивы веб-страниц
Социальные сети:
LinkedIn, Twitter, Facebook, Instagram — поиск профилей по email и именам
Telegram, Discord — поиск публичных каналов и упоминаний
3. Базы утечек и уязвимостей
Проверка скомпрометированных данных:
HaveIBeenPwned — проверка email в известных утечках
Pastebin и аналоги — поиск паст с упоминанием целей
Базы утечек — Dehashed, IntelX (требуют платные API)
4. Сетевая разведка и Threat Intelligence
Сканеры интернета:
Shodan — открытые порты, сервисы, уязвимые системы, IoT-устройства
Censys — SSL-сертификаты, HTTP-заголовки, технологии сайтов
BinaryEdge — данные о сетевой инфраструктуре
Репутационные базы:
VirusTotal — проверка доменов и IP на вредоносную активность
AlienVault OTX — индикаторы компрометации
AbuseIPDB — база злоумышленных IP-адресов
Для углубленного поиска уязвимостей после первичной разведки рекомендую изучить материал про открытые сканеры уязвимостей (https://forum.antichat.xyz/threads/581630/).
5. Анализ веб-ресурсов
Сканирование сайтов — извлечение email, телефонов, метаданных
SSL/TLS сертификаты — поиск альтернативных доменов через SAN
Технологии сайта — CMS, фреймворки, библиотеки
Web-архивы — история изменений сайта через Wayback Machine
Установка SpiderFoot на разные ОС
Установка на Linux (Ubuntu/Debian/Kali)
Вопреки распространенному мнению, SpiderFoot не предустановлен в Kali Linux, но доступен в репозиториях:
Bash:
# Для Kali Linux и Debian-based систем
sudo
apt
update
&&
sudo
apt
install
spiderfoot
# Запуск после установки
spiderfoot -l
127.0
.0.1:5001
Для установки из исходников (рекомендуется для последней версии):
Bash:
# Клонирование репозитория
git
clone https://github.com/smicallef/spiderfoot.git
cd
spiderfoot
# Установка зависимостей Python
pip3
install
-r requirements.txt
# Запуск
python3 ./sf.py -l
127.0
.0.1:5001
Установка на Windows
Для Windows потребуется предварительно установленный Python 3.6+:
Код:
# 1. Установите Python с python.org
# 2. Откройте PowerShell от администратора
# Клонирование репозитория
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
# Установка зависимостей
pip install -r requirements.txt
# Запуск
python sf.py -l 127.0.0.1:5001
Установка через Docker (универсальный метод)
Docker-контейнер — самый простой способ для любой ОС:
Bash:
# Скачивание и запуск официального образа
docker pull blacklanternsecurity/spiderfoot
docker run -p
5001
:5001 blacklanternsecurity/spiderfoot
# Или с сохранением данных
docker run -p
5001
:5001 -v /path/to/data:/var/lib/spiderfoot blacklanternsecurity/spiderfoot
При выборе операционной системы для OSINT-работы важно учитывать не только SpiderFoot. Подробный обзор и сравнение операционных систем для OSINT (https://forum.antichat.xyz/threads/584559/) поможет выбрать оптимальное окружение.
Настройка API-ключей для максимальной эффективности
КРИТИЧЕСКИ ВАЖНО: Без API-ключей SpiderFoot использует только 20-30% своих возможностей. Большинство мощных модулей требуют авторизации в external сервисах.
Пошаговая настройка API-ключей:
Запустите веб-интерфейс:
Bash:
python3 ./sf.py -l
127.0
.0.1:5001
Откройте в браузере:
http://127.0.0.1:5001
Перейдите в настройки: Settings → API Key Manager
Получите бесплатные ключи для основных сервисов:
Обязательные API-ключи (бесплатные):
СервисРегистрацияЛимиты бесплатного планаShodanshodan.io/register100 запросов/месяцVirusTotalvirustotal.com/gui/join-us500 запросов/деньHaveIBeenPwnedhaveibeenpwned.com/API/Key10 запросов/минутаHunter.iohunter.io/users/sign_up25 поисков/месяцCensyscensys.io/register250 запросов/месяцAlienVault OTXotx.alienvault.comБез ограниченийAbuseIPDBabuseipdb.com/register1000 запросов/деньGreyNoisegreynoise.io/signup50 запросов/день
Рекомендуемые платные API (для профессионального использования):
Shodan Pro ($49/месяц) — неограниченные запросы
IntelX (от $100/месяц) — доступ к базам утечек
Dehashed ($15/месяц) — поиск по утечкам паролей
Режимы работы: от базового до профессионального
SpiderFoot предлагает несколько предустановленных режимов работы (Use Cases) и возможность точечного выбора модулей:
1. Passive (Пассивная разведка)
Безопасный режим без прямого взаимодействия с целью. Использует только публичные источники и кэши.
Bash:
# CLI запуск
python3 ./sf.py -s example.com -u passive -o passive_scan.json
# Через веб-интерфейс
New Scan → Use Case:
"Passive"
→ Start Scan
Когда использовать: Первичная разведка, когда важна скрытность.
2. Footprint (Отпечаток инфраструктуры)
Умеренно активный режим с запросами к целевым ресурсам (robots.txt, sitemap.xml).
Bash:
python3 ./sf.py -s example.com -u footprint
Когда использовать: Детальное изучение инфраструктуры с минимальным шумом.
3. Investigate (Расследование угроз)
Проверка IP/доменов по базам угроз и репутационным спискам.
Bash:
python3 ./sf.py -s suspicious-domain.com -u investigate
Когда использовать: Анализ подозрительной активности, проверка IoC.
4. All (Полное сканирование)
НЕ РЕКОМЕНДУЕТСЯ! Запускает все модули, генерирует гигабайты данных.
Профессиональный подход: точечный выбор модулей
Bash:
# Только поиск поддоменов и их резолвинг
python3 ./sf.py -s example.com -m sfp_subdomain_enum,sfp_dnsresolve
# Только email и связанные домены
python3 ./sf.py -s example.com -t EMAILADDR,DOMAIN_NAME
# Экспорт в CSV для анализа
python3 ./sf.py -s example.com -u passive -o results.csv -F CSV
Практические примеры использования
Кейс 1: Аудит безопасности корпоративной инфраструктуры
Задача: Проверить, какая информация о компании доступна публично.
Bash:
# Шаг 1: Пассивная разведка основного домена
python3 ./sf.py -s company.com -u passive -o company_passive.json
# Шаг 2: Анализ найденных поддоменов
python3 ./sf.py -s company.com -m sfp_subdomain_enum,sfp_shodan,sfp_censys
# Шаг 3: Проверка email-адресов сотрудников
python3 ./sf.py -s company.com -t EMAILADDR -m sfp_haveibeenpwned,sfp_hunter
Результат: Обнаружены 47 поддоменов, 12 из которых имеют открытые административные панели. 5 корпоративных email найдены в публичных утечках.
Кейс 2: Расследование фишинговой кампании
Задача: Изучить инфраструктуру фишингового сайта.
Bash:
# Комплексный анализ подозрительного домена
python3 ./sf.py -s phishing-site.com -u investigate
# Поиск связанной инфраструктуры через SSL-сертификаты
python3 ./sf.py -s phishing-site.com -m sfp_tlscert,sfp_crt
Результат: Через общий SSL-сертификат найдены еще 8 фишинговых доменов на том же хостинге.
Кейс 3: OSINT-разведка по email
Задача: Собрать информацию о человеке по email-адресу.
Bash:
# Поиск по email
python3 ./sf.py -s target@example.com -t EMAILADDR
# Поиск в социальных сетях и утечках
python3 ./sf.py -s target@example.com -m sfp_socialprofiles,sfp_haveibeenpwned
Безопасность и OPSEC при работе
Критические правила безопасности
Правило №1: Никогда не сканируйте с личного/рабочего IP
Любое активное сканирование оставляет следы в логах целевых систем. Ваш IP-адрес будет записан.
Правило №2: Используйте промежуточную инфраструктуру
Bash:
# Вариант 1: Работа через VPN
# Подключитесь к VPN перед запуском SpiderFoot
# Вариант 2: Арендованный VPS
ssh
user@vps-server
# Запускайте SpiderFoot на VPS
# Вариант 3: Tor (медленно, но анонимно)
# В настройках SpiderFoot: Settings → Global Settings → Use Tor
Правило №3: Соблюдайте законодательство
Получите письменное разрешение на тестирование
Не сканируйте государственные ресурсы
Учитывайте законы страны размещения целевых систем
Настройка SpiderFoot для работы через Tor
Установите Tor:
Bash:
sudo
apt
install
tor
sudo
service
tor start
В веб-интерфейсе SpiderFoot:
Settings → Global Settings
Enable "Route requests through Tor"
SOCKS Proxy: 127.0.0.1:9050
Проверьте анонимность:
Bash:
curl
--socks5
127.0
.0.1:9050 https://check.torproject.org
Рекомендации по скрытности
Используйте режим "Passive" для первичной разведки
Растягивайте сканирование во времени (настройка delays)
Не используйте агрессивные модули без необходимости
Регулярно меняйте IP-адреса при длительных исследованиях
SpiderFoot vs Maltego и другие альтернативы
Сравнительная таблица OSINT-инструментов
ХарактеристикаSpiderFootMaltegoRecon-ngtheHarvesterЛицензияOpen SourceFreemiumOpen SourceOpen SourceИнтерфейсWeb + CLIGUICLICLIКоличество модулей200+50+ (transforms)100+30+ВизуализацияБаз ваяОтличнаяОтсутствуетОт утствуетАвтоматизацияВыс каяСредняяВысокаяВысокая ложность освоенияСредняяВысокаяСре дняяНизкаяСтоимость Pro$899/год$999/годБесплатноБесплатно
Если вы хотите расширить свой арсенал практических средств для быстрой разведки, рекомендую ознакомиться со статьёй про самые актуальные OSINT-боты для новичков (https://forum.antichat.xyz/threads/584778/) на античат . В материале собраны самые удобные Telegram-боты и онлайн-сервисы для анализа аккаунтов в соцсетях, поиска открытых данных и автоматизации рутинных задач — от Telegram и VK до Steam и Discord. Особое внимание уделено инструменту Sherlock для массового поиска по никнейму на 400+ платформах и ботам для локального логгирования. Отличный стартовый набор для тех, кто только начинает погружаться в OSINT-практику: выясняйте историю профиля, проверяйте утечки, интегрируйте дополнительные источники — и действуйте осмотрительно с точки зрения OPSEC и законодательства.
Когда использовать каждый инструмент
SpiderFoot — когда нужен максимальный охват источников и автоматизация:
Массовый сбор данных
Автоматизированные проверки безопасности
Регулярный мониторинг инфраструктуры
Maltego — когда важна визуализация и анализ связей:
Расследование сложных схем
Презентация результатов руководству
Анализ социальных связей
Recon-ng — для программистов и автоматизации:
Интеграция в скрипты
Кастомные модули
CLI-автоматизация
theHarvester — для быстрого поиска email и поддоменов:
Простые задачи разведки
Начальный этап пентеста
Обучение OSINT
Оптимальная связка инструментов
Код:
SpiderFoot (сбор данных) → Экспорт CSV/JSON → Maltego (визуализация) → Отчет
Профессионалы часто используют SpiderFoot для массового сбора информации, затем импортируют наиболее интересные находки в Maltego для глубокого визуального анализа связей.
Решение частых проблем
Проблема: "Module failed: sfp_shodan"
Решение:
Bash:
# Проверьте API-ключ
Settings → API Keys → Shodan API Key
# Проверьте лимиты (100 запросов/месяц на бесплатном плане)
# Решение: используйте режим passive или купите Shodan Pro
Проблема: "Connection refused" при запуске веб-интерфейса
Решение:
Bash:
# Проверьте, не занят ли порт
netstat
-tulpn
|
grep
5001
# Используйте другой порт
python3 ./sf.py -l
127.0
.0.1:5002
# Для доступа с других машин
python3 ./sf.py -l
0.0
.0.0:5001
Проблема: Слишком много данных, браузер зависает
Решение:
Bash:
# Используйте фильтры в веб-интерфейсе
# Или экспортируйте в JSON/CSV для внешнего анализа
python3 ./sf.py -s target.com -u passive -o results.json -q
Проблема: "SSL Certificate Verify Failed"
Решение:
Python:
# Временное решение (НЕ для продакшена!)
# В файле sf.py добавить:
import
ssl
ssl
.
_create_default_https_context
=
ssl
.
_create_unverified_context
Проблема: Медленная работа сканирования
Решение:
Уменьшите количество одновременных модулей: Settings → Global Settings → Thread Count (5-10)
Отключите медленные модули (например, sfp_torch при работе без Tor)
Используйте SSD для базы данных SpiderFoot
Часто задаваемые вопросы
Как установить SpiderFoot на Windows 10/11?
Установите Python 3.8+ с официального сайта python.org, затем откройте PowerShell от администратора и выполните:
Код:
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
pip install -r requirements.txt
python sf.py -l 127.0.0.1:5001
Откройте браузер и перейдите на http://127.0.0.1:5001
SpiderFoot vs Maltego — что лучше для начинающих?
SpiderFoot проще в освоении и бесплатен, идеален для автоматизированного сбора данных. Maltego лучше для визуального анализа, но требует больше времени на изучение и стоит $999/год для полной версии. Начните с SpiderFoot, затем освойте Maltego для презентаций.
Какие бесплатные альтернативы SpiderFoot существуют?
Recon-ng — мощный CLI-фреймворк для OSINT
theHarvester — простой инструмент для поиска email и поддоменов
Amass — продвинутый поиск поддоменов
Photon — веб-краулер для OSINT
Sherlock — поиск username по соцсетям
Можно ли использовать SpiderFoot без API-ключей?
Технически да, но вы получите только 20-30% функционала. Без API-ключей не работают Shodan, VirusTotal, HaveIBeenPwned и другие ключевые модули. Потратьте 30 минут на регистрацию в бесплатных сервисах — это критически важно.
Как запустить SpiderFoot в Docker?
Bash:
docker pull blacklanternsecurity/spiderfoot
docker run -p
5001
:5001 -v ~/spiderfoot:/var/lib/spiderfoot blacklanternsecurity/spiderfoot
Откройте http://localhost:5001 в браузере.
Законно ли использовать SpiderFoot?
Сбор публичной информации (OSINT) законен. Однако активное сканирование чужих систем без разрешения может нарушать законы о компьютерных преступлениях. Всегда получайте письменное разрешение перед сканированием корпоративных сетей.
Как экспортировать результаты из SpiderFoot в Excel?
Bash:
# Экспорт в CSV
python3 ./sf.py -s target.com -o results.csv -F CSV
# Открыть в Excel или конвертировать через pandas:
python3 -c
"import pandas as pd; pd.read_csv('results.csv').to_excel('results.xlsx' )"
Почему SpiderFoot не находит поддомены?
Проверьте:
Включены ли модули sfp_subdomain_enum, sfp_sublist3r
Есть ли API-ключи для Shodan, Censys
Используйте режим "Footprint" вместо "Passive"
Попробуйте специализированные инструменты: Amass, Subfinder
Как настроить SpiderFoot для работы через прокси?
В веб-интерфейсе: Settings → Global Settings → HTTP Proxy
Формат:
http://user:pass@proxy.server:8080
или для SOCKS:
socks5://127.0.0.1:9050
Можно ли автоматизировать регулярные сканирования?
Да, через cron и CLI:
Bash:
# Добавить в crontab для ежедневного сканирования
0
2
* * * /usr/bin/python3 /path/to/sf.py -s example.com -u passive -o /path/to/reports/scan_
$(date +\%Y\%m\%d)
.json -q
Заключение
SpiderFoot — мощнейший инструмент в арсенале специалиста по кибербезопасности и OSINT-аналитика. Его главные преимущества: автоматизация рутинных задач, огромное количество источников данных и гибкая настройка под конкретные задачи.
Если вы хотите системно развить навыки OSINT и построить собственный автоматизированный workflow — ознакомьтесь с «OSINT 2025: Полным руководством по инструментам, AI и автоматизации разведки» (https://forum.antichat.xyz/threads/588590/).
Этот материал продолжает тему SpiderFoot, объясняя, как выстроить современный OSINT-процесс: от легальности и этики до AI-интеграции и автоматизации поиска. В нем есть карта инструментов, примеры рабочих сценариев и подборка дистрибутивов для OSINT-лаборатории.
Чек-лист для эффективной работы с SpiderFoot:
[ ] Установлен SpiderFoot последней версии
[ ] Настроены минимум 5-7 API-ключей (Shodan, VirusTotal, HaveIBeenPwned обязательно)
[ ] Изучены основные режимы работы (Passive, Footprint, Investigate)
[ ] Настроена работа через VPN или прокси
[ ] Отработан процесс экспорта данных для анализа
[ ] Изучены правовые аспекты использования в вашей юрисдикции
[ ] Создан набор шаблонов для типовых задач
[ ] Настроена интеграция с другими инструментами (Maltego, Recon-ng)
Помните: SpiderFoot — это инструмент сбора данных, а не анализа. Комбинируйте его с другими решениями для максимальной эффективности. И всегда соблюдайте законодательство и этические нормы при проведении исследований.
Освоение инструментов OSINT-разведки — важный шаг в карьере специалиста по информационной безопасности. Если вы нацелены на профессиональный рост в области пентестинга, рекомендую изучить материал о подготовке к сертификации OSCP (https://forum.antichat.xyz/threads/585873/), где навыки OSINT-разведки играют ключевую роль.
Делитесь в комментариях своими кейсами использования SpiderFoot и любимыми модулями. Какие источники данных вы считаете наиболее полезными?
Обновлено для SpiderFoot 4.0 | Ноябрь 2025
Что такое SpiderFoot и зачем он нужен
SpiderFoot — это open-source платформа для автоматизированной OSINT-разведки, которая собирает и анализирует данные о целевых объектах из более чем 200 различных источников. Инструмент исследует IP-адреса, домены, email, телефоны, имена и автоматически выявляет связи между найденными данными, превращая разрозненную информацию в структурированную картину цифрового следа.
В отличие от коммерческих решений вроде Maltego ($999/год), SpiderFoot полностью бесплатен, имеет удобный веб-интерфейс и часто превосходит конкурентов по объему собираемых данных.
Быстрый старт за 10 минут
Новичок в SpiderFoot? Следуйте этому пошаговому маршруту:
Шаг 1: Установка на вашу ОС → 5 минут
Шаг 2: Настройка API-ключей → 15 минут
Шаг 3: Запуск первого сканирования → 2 минуты
Шаг 4: Анализ результатов → Изучите примеры
Важно: Без настройки API-ключей вы получите только 20-30% возможностей инструмента!
Основные сценарии использования SpiderFoot
Пентестинг и аудит безопасности — поиск потенциальных векторов атаки через публичную информацию
Threat Intelligence — сбор данных об угрозах и анализ инфраструктуры злоумышленников
Проверка цифрового следа компании — выявление утечек корпоративной информации
OSINT-расследования — комплексный сбор данных о целевых объектах
Due Diligence — проверка контрагентов и партнеров
Оглавление
Ключевые возможности и модули
Установка SpiderFoot на разные ОС
Настройка API-ключей для максимальной эффективности
Режимы работы: от базового до профессионального
Практические примеры использования
Безопасность и OPSEC при работе
SpiderFoot vs Maltego и другие альтернативы
Решение частых проблем
Часто задаваемые вопросы
Ключевые возможности и модули
SpiderFoot построен на модульной архитектуре — более 200 специализированных модулей собирают данные из различных источников. Каждый модуль отвечает за конкретный тип разведки:
1. Базовая сетевая разведка
DNS и доменная информация:
Whois-данные — владельцы доменов, даты регистрации, контактная информация
DNS-записи — полный анализ A, AAAA, MX, TXT, NS, CNAME записей
Поиск поддоменов — через bruteforce, словари и пассивные DNS-базы
Reverse DNS — определение доменов по IP-адресам
2. Поисковые системы и публичные источники
Поисковики:
Google, Bing, DuckDuckGo, Yandex — поиск упоминаний, кэшированных страниц, документов
Специализированные поисковики — GitHub, Reddit, архивы веб-страниц
Социальные сети:
LinkedIn, Twitter, Facebook, Instagram — поиск профилей по email и именам
Telegram, Discord — поиск публичных каналов и упоминаний
3. Базы утечек и уязвимостей
Проверка скомпрометированных данных:
HaveIBeenPwned — проверка email в известных утечках
Pastebin и аналоги — поиск паст с упоминанием целей
Базы утечек — Dehashed, IntelX (требуют платные API)
4. Сетевая разведка и Threat Intelligence
Сканеры интернета:
Shodan — открытые порты, сервисы, уязвимые системы, IoT-устройства
Censys — SSL-сертификаты, HTTP-заголовки, технологии сайтов
BinaryEdge — данные о сетевой инфраструктуре
Репутационные базы:
VirusTotal — проверка доменов и IP на вредоносную активность
AlienVault OTX — индикаторы компрометации
AbuseIPDB — база злоумышленных IP-адресов
Для углубленного поиска уязвимостей после первичной разведки рекомендую изучить материал про открытые сканеры уязвимостей (https://forum.antichat.xyz/threads/581630/).
5. Анализ веб-ресурсов
Сканирование сайтов — извлечение email, телефонов, метаданных
SSL/TLS сертификаты — поиск альтернативных доменов через SAN
Технологии сайта — CMS, фреймворки, библиотеки
Web-архивы — история изменений сайта через Wayback Machine
Установка SpiderFoot на разные ОС
Установка на Linux (Ubuntu/Debian/Kali)
Важно: SpiderFoot НЕ предустановлен в Kali Linux, но доступен в репозиториях.
Bash:
# Для Kali Linux и Debian-based систем
sudo
apt
update
&&
sudo
apt
install
spiderfoot
# Запуск после установки
spiderfoot -l
127.0
.0.1:5001
Рекомендуемый способ — установка из исходников (версия 4.0):
Bash:
# Скачивание стабильной версии 4.0
wget
https://github.com/smicallef/spiderfoot/archive/v4.0.tar.gz
tar
zxvf v4.0.tar.gz
cd
spiderfoot-4.0
# Установка зависимостей (требуется Python 3.7+)
pip3
install
-r requirements.txt
# Запуск
python3 ./sf.py -l
127.0
.0.1:5001
Для разработчиков (bleeding edge версия):
Bash:
git
clone https://github.com/smicallef/spiderfoot.git
cd
spiderfoot
pip3
install
-r requirements.txt
python3 ./sf.py -l
127.0
.0.1:5001
Установка на Windows
Для Windows потребуется предварительно установленный Python 3.7+:
Код:
# 1. Скачайте и установите Python с python.org
# 2. Откройте PowerShell от администратора
# Скачивание SpiderFoot (см. команды в разделе "Установка на Linux" выше)
# После скачивания перейдите в папку:
cd spiderfoot
# Установка зависимостей
pip install -r requirements.txt
# Запуск
python sf.py -l 127.0.0.1:5001
Установка через Docker (универсальный метод)
Docker-контейнер — самый простой способ для любой ОС:
Bash:
# Скачивание и запуск официального образа
docker pull blacklanternsecurity/spiderfoot
# Базовый запуск
docker run -p
5001
:5001 blacklanternsecurity/spiderfoot
# С сохранением данных
docker run -p
5001
:5001
\
-v /path/to/data:/var/lib/spiderfoot
\
blacklanternsecurity/spiderfoot
После запуска откройте браузер и перейдите на
http://127.0.0.1:5001
При выборе операционной системы для OSINT-работы важно учитывать не только SpiderFoot. Подробный обзор и сравнение операционных систем для OSINT (https://forum.antichat.xyz/threads/584559/) поможет выбрать оптимальное окружение.
Настройка API-ключей для максимальной эффективности
КРИТИЧЕСКИ ВАЖНО: Без API-ключей SpiderFoot использует только 20-30% своих возможностей. Большинство мощных модулей требуют авторизации в external сервисах.
Пошаговая настройка API-ключей:
Запустите веб-интерфейс:
Bash:
python3 ./sf.py -l
127.0
.0.1:5001
Откройте в браузере:
http://127.0.0.1:5001
Перейдите в настройки: Settings → API Key Manager
Получите бесплатные ключи для основных сервисов
Обязательные API-ключи (бесплатные):
СервисРегистрацияЛимиты бесплатного планаShodanshodan.io/register100 запросов/месяцVirusTotalvirustotal.com/gui/join-us500 запросов/деньHaveIBeenPwnedhaveibeenpwned.com/API/Key10 запросов/минутаHunter.iohunter.io/users/sign_up25 поисков/месяцCensyscensys.io/register250 запросов/месяцAlienVault OTXotx.alienvault.comБез ограниченийAbuseIPDBabuseipdb.com/register1000 запросов/деньGreyNoisegreynoise.io/signup50 запросов/день
Рекомендуемые платные API (для профессионального использования):
Shodan Pro ($49/месяц) — неограниченные запросы
IntelX (от $100/месяц) — доступ к базам утечек
Dehashed ($15/месяц) — поиск по утечкам паролей
Совет: Потратьте 30 минут на регистрацию хотя бы в 5-7 бесплатных сервисах. Это увеличит эффективность SpiderFoot в 3-4 раза.
Режимы работы: от базового до профессионального
SpiderFoot предлагает несколько предустановленных режимов работы (Use Cases) и возможность точечного выбора модулей:
1. Passive (Пассивная разведка)
Безопасный режим без прямого взаимодействия с целью. Использует только публичные источники и кэши.
Bash:
# CLI запуск
python3 ./sf.py -s example.com -u passive -o passive_scan.json
# Через веб-интерфейс
New Scan → Use Case:
"Passive"
→ Start Scan
Когда использовать: Первичная разведка, когда важна скрытность.
2. Footprint (Отпечаток инфраструктуры)
Умеренно активный режим с запросами к целевым ресурсам (robots.txt, sitemap.xml).
Bash:
python3 ./sf.py -s example.com -u footprint
Когда использовать: Детальное изучение инфраструктуры с минимальным шумом.
3. Investigate (Расследование угроз)
Проверка IP/доменов по базам угроз и репутационным спискам.
Bash:
python3 ./sf.py -s suspicious-domain.com -u investigate
Когда использовать: Анализ подозрительной активности, проверка IoC.
4. All (Полное сканирование)
НЕ РЕКОМЕНДУЕТСЯ! Запускает все модули, генерирует гигабайты данных и может занять несколько часов.
Профессиональный подход: точечный выбор модулей
Bash:
# Только поиск поддоменов и их резолвинг
python3 ./sf.py -s example.com -m sfp_subdomain_enum,sfp_dnsresolve
# Только email и связанные домены
python3 ./sf.py -s example.com -t EMAILADDR,DOMAIN_NAME
# Экспорт в CSV для анализа
python3 ./sf.py -s example.com -u passive -o results.csv -F CSV
Практические примеры использования
Кейс 1: Аудит безопасности корпоративной инфраструктуры
Задача: Проверить, какая информация о компании доступна публично.
Bash:
# Шаг 1: Пассивная разведка основного домена
python3 ./sf.py -s company.com -u passive -o company_passive.json
# Шаг 2: Анализ найденных поддоменов
python3 ./sf.py -s company.com
\
-m sfp_subdomain_enum,sfp_shodan,sfp_censys
# Шаг 3: Проверка email-адресов сотрудников
python3 ./sf.py -s company.com
\
-t EMAILADDR
\
-m sfp_haveibeenpwned,sfp_hunter
Результат: Обнаружены 47 поддоменов, 12 из которых имеют открытые административные панели. 5 корпоративных email найдены в публичных утечках.
Кейс 2: Расследование фишинговой кампании
Задача: Изучить инфраструктуру фишингового сайта.
Bash:
# Комплексный анализ подозрительного домена
python3 ./sf.py -s phishing-site.com -u investigate
# Поиск связанной инфраструктуры через SSL-сертификаты
python3 ./sf.py -s phishing-site.com -m sfp_tlscert,sfp_crt
Результат: Через общий SSL-сертификат найдены еще 8 фишинговых доменов на том же хостинге.
Кейс 3: OSINT-разведка по email
Задача: Собрать информацию о человеке по email-адресу.
Bash:
# Поиск по email
python3 ./sf.py -s target@example.com -t EMAILADDR
# Поиск в социальных сетях и утечках
python3 ./sf.py -s target@example.com
\
-m sfp_socialprofiles,sfp_haveibeenpwned
Кейс 4: Мониторинг Attack Surface компании
Задача: Регулярно проверять изменения в цифровом следе организации.
Bash:
# Создание cron-задачи для ежедневного сканирования
# Добавить в crontab
0
2
* * * /usr/bin/python3 /path/to/sf.py
\
-s company.com
\
-u passive
\
-o /path/to/reports/scan_
$(date +\%Y\%m\%d)
.json
\
-q
Безопасность и OPSEC при работе
Критические правила безопасности
Правило №1: Никогда не сканируйте с личного/рабочего IP
Любое активное сканирование оставляет следы в логах целевых систем. Ваш IP-адрес будет записан.
Правило №2: Используйте промежуточную инфраструктуру
Bash:
# Вариант 1: Работа через VPN
# Подключитесь к VPN перед запуском SpiderFoot
# Вариант 2: Арендованный VPS
ssh
user@vps-server
# Запускайте SpiderFoot на VPS
# Вариант 3: Tor (медленно, но анонимно)
# В настройках SpiderFoot: Settings → Global Settings → Use Tor
Правило №3: Соблюдайте законодательство
Получите письменное разрешение на тестирование
Не сканируйте государственные ресурсы без официального разрешения
Учитывайте законы страны размещения целевых систем
В РФ действует закон 152-ФЗ о персональных данных
Настройка SpiderFoot для работы через Tor
Установите Tor:
Bash:
sudo
apt
install
tor
sudo
service
tor start
В веб-интерфейсе SpiderFoot:
Settings → Global Settings
Enable "Route requests through Tor"
SOCKS Proxy: 127.0.0.1:9050
Проверьте анонимность:
Bash:
curl
--socks5
127.0
.0.1:9050 https://check.torproject.org
Рекомендации по скрытности
Используйте режим "Passive" для первичной разведки
Растягивайте сканирование во времени (настройка delays)
Не используйте агрессивные модули без необходимости
Регулярно меняйте IP-адреса при длительных исследованиях
Избегайте сканирования в рабочие часы целевой организации
SpiderFoot vs Maltego и другие альтернативы
Сравнительная таблица OSINT-инструментов
ХарактеристикаSpiderFootMaltegoRecon-ngtheHarvesterЛицензияOpen SourceFreemiumOpen SourceOpen SourceИнтерфейсWeb + CLIGUICLICLIКоличество модулей200+50+ (transforms)100+30+ВизуализацияБаз ваяОтличнаяОтсутствуетОт утствуетАвтоматизацияВыс каяСредняяВысокаяВысокая ложность освоенияСредняяВысокаяСре дняяНизкаяСтоимость ProHX: по запросу$999/годБесплатноБесплатноТреб ованияPython 3.7+JavaPython 3.6+Python 3.6+
Когда использовать каждый инструмент
SpiderFoot — когда нужен максимальный охват источников и автоматизация:
Массовый сбор данных
Автоматизированные проверки безопасности
Регулярный мониторинг инфраструктуры
Начальный этап пентестинга
Maltego — когда важна визуализация и анализ связей:
Расследование сложных схем
Презентация результатов руководству
Анализ социальных связей
Финансовые расследования
Recon-ng — для программистов и автоматизации:
Интеграция в скрипты
Кастомные модули
CLI-автоматизация
DevSecOps пайплайны
theHarvester — для быстрого поиска email и поддоменов:
Простые задачи разведки
Начальный этап пентеста
Обучение OSINT
Быстрая проверка домена
Оптимальная связка инструментов
Код:
SpiderFoot (сбор данных)
→ Экспорт CSV/JSON
→ Maltego (визуализация)
→ Презентация/Отчет
Профессионалы часто используют SpiderFoot для массового сбора информации, затем импортируют наиболее интересные находки в Maltego для глубокого визуального анализа связей.
Если вы хотите расширить свой арсенал практических средств для быстрой разведки, рекомендую ознакомиться со статьёй про самые актуальные OSINT-боты для новичков (https://forum.antichat.xyz/threads/584778/) на античат . В материале собраны самые удобные Telegram-боты и онлайн-сервисы для анализа аккаунтов в соцсетях, поиска открытых данных и автоматизации рутинных задач.
Решение частых проблем
Проблема: "Module failed: sfp_shodan"
Причина: Неправильный API-ключ или превышен лимит запросов.
Решение:
Bash:
# Проверьте API-ключ
Settings → API Keys → Shodan API Key
# Проверьте лимиты (100 запросов/месяц на бесплатном плане)
# на сайте Shodan: Account → Usage
# Решение: используйте режим passive или купите Shodan Pro
Проблема: "Connection refused" при запуске веб-интерфейса
Причина: Порт 5001 уже занят другим приложением.
Решение:
Bash:
# Проверьте, не занят ли порт
netstat
-tulpn
|
grep
5001
# Используйте другой порт
python3 ./sf.py -l
127.0
.0.1:5002
# Для доступа с других машин в локальной сети
python3 ./sf.py -l
0.0
.0.0:5001
Проблема: Слишком много данных, браузер зависает
Причина: Включено слишком много модулей или выбран режим "All".
Решение:
Bash:
# Используйте фильтры в веб-интерфейсе
# Или экспортируйте в JSON/CSV для внешнего анализа
python3 ./sf.py -s target.com -u passive -o results.json -q
# Анализируйте данные в Python/Excel
Проблема: "SSL Certificate Verify Failed"
Причина: Проблемы с сертификатами SSL в корпоративной сети.
Решение:
Python:
# Временное решение (НЕ для продакшена!)
# В файле sf.py добавить перед импортами:
import
ssl
ssl
.
_create_default_https_context
=
ssl
.
_create_unverified_context
Правильное решение: Установите корневые сертификаты вашей организации.
Проблема: Медленная работа сканирования
Решение:
Уменьшите количество одновременных модулей: Settings → Global Settings → Thread Count (5-10)
Отключите медленные модули (например, sfp_torch при работе без Tor)
Используйте SSD для базы данных SpiderFoot
Увеличьте timeout для медленных источников
Проблема: Python версии 3.6 не поддерживается
Причина: SpiderFoot 4.0 требует Python 3.7+
Решение:
Bash:
# Обновите Python до версии 3.7 или выше
python3 --version
# Ubuntu/Debian
sudo
apt
update
sudo
apt
install
python3.9
# Или используйте Docker
docker run -p
5001
:5001 blacklanternsecurity/spiderfoot
Часто задаваемые вопросы
Как установить SpiderFoot на Windows 10/11?
Установите Python 3.7+ с официального сайта python.org, затем следуйте инструкциям в разделе Установка на Windows.
Краткая версия:
Код:
# После скачивания SpiderFoot
cd spiderfoot
pip install -r requirements.txt
python sf.py -l 127.0.0.1:5001
Откройте браузер и перейдите на http://127.0.0.1:5001
SpiderFoot vs Maltego — что лучше для начинающих?
SpiderFoot проще в освоении и бесплатен, идеален для автоматизированного сбора данных. Maltego лучше для визуального анализа, но требует больше времени на изучение и стоит $999/год для полной версии. Рекомендация: Начните с SpiderFoot, затем освойте Maltego для презентаций.
Какие бесплатные альтернативы SpiderFoot существуют?
Recon-ng — мощный CLI-фреймворк для OSINT
theHarvester — простой инструмент для поиска email и поддоменов
Amass — продвинутый поиск поддоменов от OWASP
Photon — веб-краулер для OSINT
Sherlock — поиск username по 300+ соцсетям
Можно ли использовать SpiderFoot без API-ключей?
Технически да, но вы получите только 20-30% функционала. Без API-ключей не работают Shodan, VirusTotal, HaveIBeenPwned и другие ключевые модули. Настоятельно рекомендуется потратить 30 минут на регистрацию в бесплатных сервисах — это критически важно для эффективной работы.
Как запустить SpiderFoot в Docker?
Bash:
# Скачать образ
docker pull blacklanternsecurity/spiderfoot
# Запустить с сохранением данных
docker run -p
5001
:5001
\
-v ~/spiderfoot:/var/lib/spiderfoot
\
blacklanternsecurity/spiderfoot
Откройте http://localhost:5001 в браузере.
Законно ли использовать SpiderFoot в России?
Сбор публичной информации (OSINT) законен. Однако активное сканирование чужих систем без разрешения может нарушать:
Статью 272 УК РФ (неправомерный доступ к компьютерной информации)
Закон 152-ФЗ (о персональных данных)
Всегда получайте письменное разрешение перед сканированием корпоративных сетей. Для обучения используйте специальные площадки (scanme.nmap.org, testphp.vulnweb.com).
Как экспортировать результаты из SpiderFoot в Excel?
Bash:
# Экспорт в CSV
python3 ./sf.py -s target.com -o results.csv -F CSV
# Конвертация в Excel через Python
python3 -c
"import pandas as pd; pd.read_csv('results.csv').to_excel('results.xlsx' , index=False)"
Или используйте веб-интерфейс: Browse → Export → CSV, затем откройте в Excel.
Почему SpiderFoot не находит поддомены?
Проверьте:
Включены ли модули sfp_subdomain_enum, sfp_sublist3r
Есть ли API-ключи для Shodan, Censys (они критичны для поиска)
Используйте режим "Footprint" вместо "Passive"
Попробуйте специализированные инструменты: Amass, Subfinder, Assetfinder
Как настроить SpiderFoot для работы через прокси?
В веб-интерфейсе: Settings → Global Settings → HTTP Proxy
Формат:
http://user:pass@proxy.server:8080
SOCKS:
socks5://127.0.0.1:9050
Можно ли автоматизировать регулярные сканирования?
Да, через cron и CLI:
Bash:
# Добавить в crontab для ежедневного сканирования в 2:00
0
2
* * * /usr/bin/python3 /path/to/sf.py
\
-s example.com
\
-u passive
\
-o /path/to/reports/scan_
$(date +\%Y\%m\%d)
.json
\
-q
В чем разница между SpiderFoot и SpiderFoot HX?
SpiderFoot (Open Source):
Бесплатный
Self-hosted
1 пользователь
Ограничение: 1 цель за сканирование, 3 часа работы
~25% возможностей HX версии
SpiderFoot HX (Commercial):
Платный (цены по запросу)
Cloud-hosted
Множество пользователей
Без ограничений по целям и времени
Расширенная визуализация
Мониторинг изменений
Интеграция с командами
Дополнительные модули
Как обновить SpiderFoot до версии 4.0?
Bash:
# Если установлен через Git
cd
spiderfoot
git
pull origin master
pip3
install
-r requirements.txt --upgrade
# Если скачан архивом - скачайте новую версию:
# wget https://github.com/smicallef/.../v4.0.tar.gz (см. раздел "Установка на Linux")
tar
zxvf v4.0.tar.gz
cd
spiderfoot-4.0
pip3
install
-r requirements.txt
Заключение
SpiderFoot — мощнейший инструмент в арсенале специалиста по кибербезопасности и OSINT-аналитика. Его главные преимущества: автоматизация рутинных задач, огромное количество источников данных (200+ модулей) и гибкая настройка под конкретные задачи.
Если вы хотите системно развить навыки OSINT и построить собственный автоматизированный workflow — ознакомьтесь с «OSINT 2025: Полным руководством по инструментам, AI и автоматизации разведки» (https://forum.antichat.xyz/threads/588590/).
Этот материал продолжает тему SpiderFoot, объясняя, как выстроить современный OSINT-процесс: от легальности и этики до AI-интеграции и автоматизации поиска. В нем есть карта инструментов, примеры рабочих сценариев и подборка дистрибутивов для OSINT-лаборатории.
Чек-лист для эффективной работы с SpiderFoot:
Установлен SpiderFoot версии 4.0
Настроены минимум 5-7 API-ключей (Shodan, VirusTotal, HaveIBeenPwned обязательно)
Изучены основные режимы работы (Passive, Footprint, Investigate)
Настроена работа через VPN или прокси
Отработан процесс экспорта данных для анализа
Изучены правовые аспекты использования в вашей юрисдикции
Создан набор шаблонов для типовых задач
Настроена интеграция с другими инструментами (Maltego, Recon-ng)
Помните: SpiderFoot — это инструмент сбора данных, а не анализа. Комбинируйте его с другими решениями для максимальной эффективности. И всегда соблюдайте законодательство и этические нормы при проведении исследований.
Освоение инструментов OSINT-разведки — важный шаг в карьере специалиста по информационной безопасности. Если вы нацелены на профессиональный рост в области пентестинга, рекомендую изучить материал о подготовке к сертификации OSCP (https://forum.antichat.xyz/threads/585873/), где навыки OSINT-разведки играют ключевую роль.
Делитесь в комментариях своими кейсами использования SpiderFoot и любимыми модулями. Какие источники данных вы считаете наиболее полезными?
Обновлено: Ноябрь 2025 | Версия SpiderFoot: 4.0 | Требования: Python 3.7+ — проверка контрагентов и партнеров
В отличие от коммерческих решений вроде Maltego, SpiderFoot полностью бесплатен в базовой версии, имеет удобный веб-интерфейс и часто превосходит конкурентов по объему собираемых сырых данных. Инструмент активно развивается сообществом и регулярно обновляется новыми модулями.
Оглавление
Ключевые возможности и модули (https://forum.antichat.xyz/threads/585881/)
Установка SpiderFoot на разные ОС (https://forum.antichat.xyz/threads/585881/)
Настройка API-ключей для максимальной эффективности (https://forum.antichat.xyz/threads/585881/)
Режимы работы: от базового до профессионального (https://forum.antichat.xyz/threads/585881/)
Практические примеры использования (https://forum.antichat.xyz/threads/585881/)
Безопасность и OPSEC при работе (https://forum.antichat.xyz/threads/585881/)
SpiderFoot vs Maltego и другие альтернативы (https://forum.antichat.xyz/threads/585881/)
Решение частых проблем (https://forum.antichat.xyz/threads/585881/)
Часто задаваемые вопросы (https://forum.antichat.xyz/threads/585881/)
Ключевые возможности и модули
SpiderFoot построен на модульной архитектуре — более 200 специализированных модулей собирают данные из различных источников. Каждый модуль отвечает за конкретный тип разведки:
1. Базовая сетевая разведка
DNS и доменная информация:
Whois-данные — владельцы доменов, даты регистрации, контактная информация
DNS-записи — полный анализ A, AAAA, MX, TXT, NS, CNAME записей
Поиск поддоменов — через bruteforce, словари и пассивные DNS-базы
Reverse DNS — определение доменов по IP-адресам
2. Поисковые системы и публичные источники
Поисковики:
Google, Bing, DuckDuckGo, Yandex — поиск упоминаний, кэшированных страниц, документов
Специализированные поисковики — GitHub, Reddit, архивы веб-страниц
Социальные сети:
LinkedIn, Twitter, Facebook, Instagram — поиск профилей по email и именам
Telegram, Discord — поиск публичных каналов и упоминаний
3. Базы утечек и уязвимостей
Проверка скомпрометированных данных:
HaveIBeenPwned — проверка email в известных утечках
Pastebin и аналоги — поиск паст с упоминанием целей
Базы утечек — Dehashed, IntelX (требуют платные API)
4. Сетевая разведка и Threat Intelligence
Сканеры интернета:
Shodan — открытые порты, сервисы, уязвимые системы, IoT-устройства
Censys — SSL-сертификаты, HTTP-заголовки, технологии сайтов
BinaryEdge — данные о сетевой инфраструктуре
Репутационные базы:
VirusTotal — проверка доменов и IP на вредоносную активность
AlienVault OTX — индикаторы компрометации
AbuseIPDB — база злоумышленных IP-адресов
Для углубленного поиска уязвимостей после первичной разведки рекомендую изучить материал про открытые сканеры уязвимостей (https://forum.antichat.xyz/threads/581630/).
5. Анализ веб-ресурсов
Сканирование сайтов — извлечение email, телефонов, метаданных
SSL/TLS сертификаты — поиск альтернативных доменов через SAN
Технологии сайта — CMS, фреймворки, библиотеки
Web-архивы — история изменений сайта через Wayback Machine
Установка SpiderFoot на разные ОС
Установка на Linux (Ubuntu/Debian/Kali)
Вопреки распространенному мнению, SpiderFoot не предустановлен в Kali Linux, но доступен в репозиториях:
Bash:
# Для Kali Linux и Debian-based систем
sudo
apt
update
&&
sudo
apt
install
spiderfoot
# Запуск после установки
spiderfoot -l
127.0
.0.1:5001
Для установки из исходников (рекомендуется для последней версии):
Bash:
# Клонирование репозитория
git
clone https://github.com/smicallef/spiderfoot.git
cd
spiderfoot
# Установка зависимостей Python
pip3
install
-r requirements.txt
# Запуск
python3 ./sf.py -l
127.0
.0.1:5001
Установка на Windows
Для Windows потребуется предварительно установленный Python 3.6+:
Код:
# 1. Установите Python с python.org
# 2. Откройте PowerShell от администратора
# Клонирование репозитория
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
# Установка зависимостей
pip install -r requirements.txt
# Запуск
python sf.py -l 127.0.0.1:5001
Установка через Docker (универсальный метод)
Docker-контейнер — самый простой способ для любой ОС:
Bash:
# Скачивание и запуск официального образа
docker pull blacklanternsecurity/spiderfoot
docker run -p
5001
:5001 blacklanternsecurity/spiderfoot
# Или с сохранением данных
docker run -p
5001
:5001 -v /path/to/data:/var/lib/spiderfoot blacklanternsecurity/spiderfoot
При выборе операционной системы для OSINT-работы важно учитывать не только SpiderFoot. Подробный обзор и сравнение операционных систем для OSINT (https://forum.antichat.xyz/threads/584559/) поможет выбрать оптимальное окружение.
Настройка API-ключей для максимальной эффективности
КРИТИЧЕСКИ ВАЖНО: Без API-ключей SpiderFoot использует только 20-30% своих возможностей. Большинство мощных модулей требуют авторизации в external сервисах.
Пошаговая настройка API-ключей:
Запустите веб-интерфейс:
Bash:
python3 ./sf.py -l
127.0
.0.1:5001
Откройте в браузере:
http://127.0.0.1:5001
Перейдите в настройки: Settings → API Key Manager
Получите бесплатные ключи для основных сервисов:
Обязательные API-ключи (бесплатные):
СервисРегистрацияЛимиты бесплатного планаShodanshodan.io/register100 запросов/месяцVirusTotalvirustotal.com/gui/join-us500 запросов/деньHaveIBeenPwnedhaveibeenpwned.com/API/Key10 запросов/минутаHunter.iohunter.io/users/sign_up25 поисков/месяцCensyscensys.io/register250 запросов/месяцAlienVault OTXotx.alienvault.comБез ограниченийAbuseIPDBabuseipdb.com/register1000 запросов/деньGreyNoisegreynoise.io/signup50 запросов/день
Рекомендуемые платные API (для профессионального использования):
Shodan Pro ($49/месяц) — неограниченные запросы
IntelX (от $100/месяц) — доступ к базам утечек
Dehashed ($15/месяц) — поиск по утечкам паролей
Режимы работы: от базового до профессионального
SpiderFoot предлагает несколько предустановленных режимов работы (Use Cases) и возможность точечного выбора модулей:
1. Passive (Пассивная разведка)
Безопасный режим без прямого взаимодействия с целью. Использует только публичные источники и кэши.
Bash:
# CLI запуск
python3 ./sf.py -s example.com -u passive -o passive_scan.json
# Через веб-интерфейс
New Scan → Use Case:
"Passive"
→ Start Scan
Когда использовать: Первичная разведка, когда важна скрытность.
2. Footprint (Отпечаток инфраструктуры)
Умеренно активный режим с запросами к целевым ресурсам (robots.txt, sitemap.xml).
Bash:
python3 ./sf.py -s example.com -u footprint
Когда использовать: Детальное изучение инфраструктуры с минимальным шумом.
3. Investigate (Расследование угроз)
Проверка IP/доменов по базам угроз и репутационным спискам.
Bash:
python3 ./sf.py -s suspicious-domain.com -u investigate
Когда использовать: Анализ подозрительной активности, проверка IoC.
4. All (Полное сканирование)
НЕ РЕКОМЕНДУЕТСЯ! Запускает все модули, генерирует гигабайты данных.
Профессиональный подход: точечный выбор модулей
Bash:
# Только поиск поддоменов и их резолвинг
python3 ./sf.py -s example.com -m sfp_subdomain_enum,sfp_dnsresolve
# Только email и связанные домены
python3 ./sf.py -s example.com -t EMAILADDR,DOMAIN_NAME
# Экспорт в CSV для анализа
python3 ./sf.py -s example.com -u passive -o results.csv -F CSV
Практические примеры использования
Кейс 1: Аудит безопасности корпоративной инфраструктуры
Задача: Проверить, какая информация о компании доступна публично.
Bash:
# Шаг 1: Пассивная разведка основного домена
python3 ./sf.py -s company.com -u passive -o company_passive.json
# Шаг 2: Анализ найденных поддоменов
python3 ./sf.py -s company.com -m sfp_subdomain_enum,sfp_shodan,sfp_censys
# Шаг 3: Проверка email-адресов сотрудников
python3 ./sf.py -s company.com -t EMAILADDR -m sfp_haveibeenpwned,sfp_hunter
Результат: Обнаружены 47 поддоменов, 12 из которых имеют открытые административные панели. 5 корпоративных email найдены в публичных утечках.
Кейс 2: Расследование фишинговой кампании
Задача: Изучить инфраструктуру фишингового сайта.
Bash:
# Комплексный анализ подозрительного домена
python3 ./sf.py -s phishing-site.com -u investigate
# Поиск связанной инфраструктуры через SSL-сертификаты
python3 ./sf.py -s phishing-site.com -m sfp_tlscert,sfp_crt
Результат: Через общий SSL-сертификат найдены еще 8 фишинговых доменов на том же хостинге.
Кейс 3: OSINT-разведка по email
Задача: Собрать информацию о человеке по email-адресу.
Bash:
# Поиск по email
python3 ./sf.py -s target@example.com -t EMAILADDR
# Поиск в социальных сетях и утечках
python3 ./sf.py -s target@example.com -m sfp_socialprofiles,sfp_haveibeenpwned
Безопасность и OPSEC при работе
Критические правила безопасности
Правило №1: Никогда не сканируйте с личного/рабочего IP
Любое активное сканирование оставляет следы в логах целевых систем. Ваш IP-адрес будет записан.
Правило №2: Используйте промежуточную инфраструктуру
Bash:
# Вариант 1: Работа через VPN
# Подключитесь к VPN перед запуском SpiderFoot
# Вариант 2: Арендованный VPS
ssh
user@vps-server
# Запускайте SpiderFoot на VPS
# Вариант 3: Tor (медленно, но анонимно)
# В настройках SpiderFoot: Settings → Global Settings → Use Tor
Правило №3: Соблюдайте законодательство
Получите письменное разрешение на тестирование
Не сканируйте государственные ресурсы
Учитывайте законы страны размещения целевых систем
Настройка SpiderFoot для работы через Tor
Установите Tor:
Bash:
sudo
apt
install
tor
sudo
service
tor start
В веб-интерфейсе SpiderFoot:
Settings → Global Settings
Enable "Route requests through Tor"
SOCKS Proxy: 127.0.0.1:9050
Проверьте анонимность:
Bash:
curl
--socks5
127.0
.0.1:9050 https://check.torproject.org
Рекомендации по скрытности
Используйте режим "Passive" для первичной разведки
Растягивайте сканирование во времени (настройка delays)
Не используйте агрессивные модули без необходимости
Регулярно меняйте IP-адреса при длительных исследованиях
SpiderFoot vs Maltego и другие альтернативы
Сравнительная таблица OSINT-инструментов
ХарактеристикаSpiderFootMaltegoRecon-ngtheHarvesterЛицензияOpen SourceFreemiumOpen SourceOpen SourceИнтерфейсWeb + CLIGUICLICLIКоличество модулей200+50+ (transforms)100+30+ВизуализацияБаз ваяОтличнаяОтсутствуетОт утствуетАвтоматизацияВыс каяСредняяВысокаяВысокая ложность освоенияСредняяВысокаяСре дняяНизкаяСтоимость Pro$899/год$999/годБесплатноБесплатно
Если вы хотите расширить свой арсенал практических средств для быстрой разведки, рекомендую ознакомиться со статьёй про самые актуальные OSINT-боты для новичков (https://forum.antichat.xyz/threads/584778/) на античат . В материале собраны самые удобные Telegram-боты и онлайн-сервисы для анализа аккаунтов в соцсетях, поиска открытых данных и автоматизации рутинных задач — от Telegram и VK до Steam и Discord. Особое внимание уделено инструменту Sherlock для массового поиска по никнейму на 400+ платформах и ботам для локального логгирования. Отличный стартовый набор для тех, кто только начинает погружаться в OSINT-практику: выясняйте историю профиля, проверяйте утечки, интегрируйте дополнительные источники — и действуйте осмотрительно с точки зрения OPSEC и законодательства.
Когда использовать каждый инструмент
SpiderFoot — когда нужен максимальный охват источников и автоматизация:
Массовый сбор данных
Автоматизированные проверки безопасности
Регулярный мониторинг инфраструктуры
Maltego — когда важна визуализация и анализ связей:
Расследование сложных схем
Презентация результатов руководству
Анализ социальных связей
Recon-ng — для программистов и автоматизации:
Интеграция в скрипты
Кастомные модули
CLI-автоматизация
theHarvester — для быстрого поиска email и поддоменов:
Простые задачи разведки
Начальный этап пентеста
Обучение OSINT
Оптимальная связка инструментов
Код:
SpiderFoot (сбор данных) → Экспорт CSV/JSON → Maltego (визуализация) → Отчет
Профессионалы часто используют SpiderFoot для массового сбора информации, затем импортируют наиболее интересные находки в Maltego для глубокого визуального анализа связей.
Решение частых проблем
Проблема: "Module failed: sfp_shodan"
Решение:
Bash:
# Проверьте API-ключ
Settings → API Keys → Shodan API Key
# Проверьте лимиты (100 запросов/месяц на бесплатном плане)
# Решение: используйте режим passive или купите Shodan Pro
Проблема: "Connection refused" при запуске веб-интерфейса
Решение:
Bash:
# Проверьте, не занят ли порт
netstat
-tulpn
|
grep
5001
# Используйте другой порт
python3 ./sf.py -l
127.0
.0.1:5002
# Для доступа с других машин
python3 ./sf.py -l
0.0
.0.0:5001
Проблема: Слишком много данных, браузер зависает
Решение:
Bash:
# Используйте фильтры в веб-интерфейсе
# Или экспортируйте в JSON/CSV для внешнего анализа
python3 ./sf.py -s target.com -u passive -o results.json -q
Проблема: "SSL Certificate Verify Failed"
Решение:
Python:
# Временное решение (НЕ для продакшена!)
# В файле sf.py добавить:
import
ssl
ssl
.
_create_default_https_context
=
ssl
.
_create_unverified_context
Проблема: Медленная работа сканирования
Решение:
Уменьшите количество одновременных модулей: Settings → Global Settings → Thread Count (5-10)
Отключите медленные модули (например, sfp_torch при работе без Tor)
Используйте SSD для базы данных SpiderFoot
Часто задаваемые вопросы
Как установить SpiderFoot на Windows 10/11?
Установите Python 3.8+ с официального сайта python.org, затем откройте PowerShell от администратора и выполните:
Код:
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
pip install -r requirements.txt
python sf.py -l 127.0.0.1:5001
Откройте браузер и перейдите на http://127.0.0.1:5001
SpiderFoot vs Maltego — что лучше для начинающих?
SpiderFoot проще в освоении и бесплатен, идеален для автоматизированного сбора данных. Maltego лучше для визуального анализа, но требует больше времени на изучение и стоит $999/год для полной версии. Начните с SpiderFoot, затем освойте Maltego для презентаций.
Какие бесплатные альтернативы SpiderFoot существуют?
Recon-ng — мощный CLI-фреймворк для OSINT
theHarvester — простой инструмент для поиска email и поддоменов
Amass — продвинутый поиск поддоменов
Photon — веб-краулер для OSINT
Sherlock — поиск username по соцсетям
Можно ли использовать SpiderFoot без API-ключей?
Технически да, но вы получите только 20-30% функционала. Без API-ключей не работают Shodan, VirusTotal, HaveIBeenPwned и другие ключевые модули. Потратьте 30 минут на регистрацию в бесплатных сервисах — это критически важно.
Как запустить SpiderFoot в Docker?
Bash:
docker pull blacklanternsecurity/spiderfoot
docker run -p
5001
:5001 -v ~/spiderfoot:/var/lib/spiderfoot blacklanternsecurity/spiderfoot
Откройте http://localhost:5001 в браузере.
Законно ли использовать SpiderFoot?
Сбор публичной информации (OSINT) законен. Однако активное сканирование чужих систем без разрешения может нарушать законы о компьютерных преступлениях. Всегда получайте письменное разрешение перед сканированием корпоративных сетей.
Как экспортировать результаты из SpiderFoot в Excel?
Bash:
# Экспорт в CSV
python3 ./sf.py -s target.com -o results.csv -F CSV
# Открыть в Excel или конвертировать через pandas:
python3 -c
"import pandas as pd; pd.read_csv('results.csv').to_excel('results.xlsx' )"
Почему SpiderFoot не находит поддомены?
Проверьте:
Включены ли модули sfp_subdomain_enum, sfp_sublist3r
Есть ли API-ключи для Shodan, Censys
Используйте режим "Footprint" вместо "Passive"
Попробуйте специализированные инструменты: Amass, Subfinder
Как настроить SpiderFoot для работы через прокси?
В веб-интерфейсе: Settings → Global Settings → HTTP Proxy
Формат:
http://user:pass@proxy.server:8080
или для SOCKS:
socks5://127.0.0.1:9050
Можно ли автоматизировать регулярные сканирования?
Да, через cron и CLI:
Bash:
# Добавить в crontab для ежедневного сканирования
0
2
* * * /usr/bin/python3 /path/to/sf.py -s example.com -u passive -o /path/to/reports/scan_
$(date +\%Y\%m\%d)
.json -q
Заключение
SpiderFoot — мощнейший инструмент в арсенале специалиста по кибербезопасности и OSINT-аналитика. Его главные преимущества: автоматизация рутинных задач, огромное количество источников данных и гибкая настройка под конкретные задачи.
Если вы хотите системно развить навыки OSINT и построить собственный автоматизированный workflow — ознакомьтесь с «OSINT 2025: Полным руководством по инструментам, AI и автоматизации разведки» (https://forum.antichat.xyz/threads/588590/).
Этот материал продолжает тему SpiderFoot, объясняя, как выстроить современный OSINT-процесс: от легальности и этики до AI-интеграции и автоматизации поиска. В нем есть карта инструментов, примеры рабочих сценариев и подборка дистрибутивов для OSINT-лаборатории.
Чек-лист для эффективной работы с SpiderFoot:
[ ] Установлен SpiderFoot последней версии
[ ] Настроены минимум 5-7 API-ключей (Shodan, VirusTotal, HaveIBeenPwned обязательно)
[ ] Изучены основные режимы работы (Passive, Footprint, Investigate)
[ ] Настроена работа через VPN или прокси
[ ] Отработан процесс экспорта данных для анализа
[ ] Изучены правовые аспекты использования в вашей юрисдикции
[ ] Создан набор шаблонов для типовых задач
[ ] Настроена интеграция с другими инструментами (Maltego, Recon-ng)
Помните: SpiderFoot — это инструмент сбора данных, а не анализа. Комбинируйте его с другими решениями для максимальной эффективности. И всегда соблюдайте законодательство и этические нормы при проведении исследований.
Освоение инструментов OSINT-разведки — важный шаг в карьере специалиста по информационной безопасности. Если вы нацелены на профессиональный рост в области пентестинга, рекомендую изучить материал о подготовке к сертификации OSCP (https://forum.antichat.xyz/threads/585873/), где навыки OSINT-разведки играют ключевую роль.
Делитесь в комментариях своими кейсами использования SpiderFoot и любимыми модулями. Какие источники данных вы считаете наиболее полезными?