HOME FORUMS MEMBERS RECENT POSTS LOG IN  
× Авторизация
Имя пользователя:
Пароль:
Нет аккаунта? Регистрация
Баннер 1   Баннер 2
НОВЫЕ ТОРГОВАЯ НОВОСТИ ЧАТ
loading...
Скрыть
Вернуться   ANTICHAT > ПРОГРАММИРОВАНИЕ > PHP
   
 
 
Опции темы Поиск в этой теме Опции просмотра

  #1  
Старый 30.06.2025, 16:58
qwerty120
Новичок
Регистрация: 03.01.2025
Сообщений: 0
С нами: 718213

Репутация: 0
По умолчанию



Цитата:

Обновлено для SpiderFoot 4.0 | Ноябрь 2025

Что такое SpiderFoot и зачем он нужен
SpiderFoot — это open-source платформа для автоматизированной OSINT-разведки, которая собирает и анализирует данные о целевых объектах из более чем 200 различных источников. Инструмент исследует IP-адреса, домены, email, телефоны, имена и автоматически выявляет связи между найденными данными, превращая разрозненную информацию в структурированную картину цифрового следа.

В отличие от коммерческих решений вроде Maltego ($999/год), SpiderFoot полностью бесплатен, имеет удобный веб-интерфейс и часто превосходит конкурентов по объему собираемых данных.
Быстрый старт за 10 минут
Новичок в SpiderFoot? Следуйте этому пошаговому маршруту:

Шаг 1: Установка на вашу ОС → 5 минут
Шаг 2: Настройка API-ключей → 15 минут
Шаг 3: Запуск первого сканирования → 2 минуты
Шаг 4: Анализ результатов → Изучите примеры

Важно: Без настройки API-ключей вы получите только 20-30% возможностей инструмента!
Основные сценарии использования SpiderFoot
Пентестинг и аудит безопасности — поиск потенциальных векторов атаки через публичную информацию
Threat Intelligence — сбор данных об угрозах и анализ инфраструктуры злоумышленников
Проверка цифрового следа компании — выявление утечек корпоративной информации
OSINT-расследования — комплексный сбор данных о целевых объектах
Due Diligence — проверка контрагентов и партнеров
Оглавление
  • Ключевые возможности и модули
  • Установка SpiderFoot на разные ОС
  • Настройка API-ключей для максимальной эффективности
  • Режимы работы: от базового до профессионального
  • Практические примеры использования
  • Безопасность и OPSEC при работе
  • SpiderFoot vs Maltego и другие альтернативы
  • Решение частых проблем
  • Часто задаваемые вопросы
Ключевые возможности и модули
SpiderFoot построен на модульной архитектуре — более 200 специализированных модулей собирают данные из различных источников. Каждый модуль отвечает за конкретный тип разведки:
1. Базовая сетевая разведка
DNS и доменная информация:
  • Whois-данные — владельцы доменов, даты регистрации, контактная информация
  • DNS-записи — полный анализ A, AAAA, MX, TXT, NS, CNAME записей
  • Поиск поддоменов — через bruteforce, словари и пассивные DNS-базы
  • Reverse DNS — определение доменов по IP-адресам
2. Поисковые системы и публичные источники
Поисковики:
  • Google, Bing, DuckDuckGo, Yandex — поиск упоминаний, кэшированных страниц, документов
  • Специализированные поисковики — GitHub, Reddit, архивы веб-страниц
Социальные сети:
  • LinkedIn, Twitter, Facebook, Instagram — поиск профилей по email и именам
  • Telegram, Discord — поиск публичных каналов и упоминаний
3. Базы утечек и уязвимостей
Проверка скомпрометированных данных:
  • HaveIBeenPwned — проверка email в известных утечках
  • Pastebin и аналоги — поиск паст с упоминанием целей
  • Базы утечек — Dehashed, IntelX (требуют платные API)
4. Сетевая разведка и Threat Intelligence
Сканеры интернета:
  • Shodan — открытые порты, сервисы, уязвимые системы, IoT-устройства
  • Censys — SSL-сертификаты, HTTP-заголовки, технологии сайтов
  • BinaryEdge — данные о сетевой инфраструктуре
Репутационные базы:
  • VirusTotal — проверка доменов и IP на вредоносную активность
  • AlienVault OTX — индикаторы компрометации
  • AbuseIPDB — база злоумышленных IP-адресов
Для углубленного поиска уязвимостей после первичной разведки рекомендую изучить материал про открытые сканеры уязвимостей.
5. Анализ веб-ресурсов
  • Сканирование сайтов — извлечение email, телефонов, метаданных
  • SSL/TLS сертификаты — поиск альтернативных доменов через SAN
  • Технологии сайта — CMS, фреймворки, библиотеки
  • Web-архивы — история изменений сайта через Wayback Machine
Установка SpiderFoot на разные ОС
Установка на Linux (Ubuntu/Debian/Kali)
Важно: SpiderFoot НЕ предустановлен в Kali Linux, но доступен в репозиториях.

Bash:


Код:
# Для Kali Linux и Debian-based систем
sudo
apt
update
&&
sudo
apt
install
spiderfoot
# Запуск после установки
spiderfoot -l
127.0
.0.1:5001
Рекомендуемый способ — установка из исходников (версия 4.0):

Bash:


Код:
# Скачивание стабильной версии 4.0
wget
https://github.com/smicallef/spiderfoot/archive/v4.0.tar.gz
tar
zxvf v4.0.tar.gz
cd
spiderfoot-4.0
# Установка зависимостей (требуется Python 3.7+)
pip3
install
-r requirements.txt
# Запуск
python3 ./sf.py -l
127.0
.0.1:5001
Для разработчиков (bleeding edge версия):

Bash:


Код:
git
clone https://github.com/smicallef/spiderfoot.git
cd
spiderfoot
pip3
install
-r requirements.txt
python3 ./sf.py -l
127.0
.0.1:5001
Установка на Windows
Для Windows потребуется предварительно установленный Python 3.7+:

Код:


Код:
# 1. Скачайте и установите Python с python.org
# 2. Откройте PowerShell от администратора
# Скачивание SpiderFoot (см. команды в разделе "Установка на Linux" выше)
# После скачивания перейдите в папку:
cd spiderfoot
# Установка зависимостей
pip install -r requirements.txt
# Запуск
python sf.py -l 127.0.0.1:5001
Установка через Docker (универсальный метод)
Docker-контейнер — самый простой способ для любой ОС:

Bash:


Код:
# Скачивание и запуск официального образа
docker pull blacklanternsecurity/spiderfoot
# Базовый запуск
docker run -p
5001
:5001 blacklanternsecurity/spiderfoot
# С сохранением данных
docker run -p
5001
:5001
\
-v /path/to/data:/var/lib/spiderfoot
\
blacklanternsecurity/spiderfoot
После запуска откройте браузер и перейдите на
Код:
http://127.0.0.1:5001
При выборе операционной системы для OSINT-работы важно учитывать не только SpiderFoot. Подробный обзор и сравнение операционных систем для OSINT поможет выбрать оптимальное окружение.
Настройка API-ключей для максимальной эффективности
КРИТИЧЕСКИ ВАЖНО: Без API-ключей SpiderFoot использует только 20-30% своих возможностей. Большинство мощных модулей требуют авторизации в external сервисах.
Пошаговая настройка API-ключей:
  1. Запустите веб-интерфейс:

    Bash:


    Код:
    python3 ./sf.py -l
    127.0
    .0.1:5001
  2. Откройте в браузере:
    Код:
    http://127.0.0.1:5001
  3. Перейдите в настройки: Settings → API Key Manager
  4. Получите бесплатные ключи для основных сервисов
Обязательные API-ключи (бесплатные):

СервисРегистрацияЛимиты бесплатного планаShodanshodan.io/register100 запросов/месяцVirusTotalvirustotal.com/gui/join-us500 запросов/деньHaveIBeenPwnedhaveibeenpwned.com/API/Key10 запросов/минутаHunter.iohunter.io/users/sign_up25 поисков/месяцCensyscensys.io/register250 запросов/месяцAlienVault OTXotx.alienvault.comБез ограниченийAbuseIPDBabuseipdb.com/register1000 запросов/деньGreyNoisegreynoise.io/signup50 запросов/день

Рекомендуемые платные API (для профессионального использования):
  • Shodan Pro ($49/месяц) — неограниченные запросы
  • IntelX (от $100/месяц) — доступ к базам утечек
  • Dehashed ($15/месяц) — поиск по утечкам паролей
Совет: Потратьте 30 минут на регистрацию хотя бы в 5-7 бесплатных сервисах. Это увеличит эффективность SpiderFoot в 3-4 раза.
Режимы работы: от базового до профессионального
SpiderFoot предлагает несколько предустановленных режимов работы (Use Cases) и возможность точечного выбора модулей:
1. Passive (Пассивная разведка)
Безопасный режим без прямого взаимодействия с целью. Использует только публичные источники и кэши.

Bash:


Код:
# CLI запуск
python3 ./sf.py -s example.com -u passive -o passive_scan.json
# Через веб-интерфейс
New Scan → Use Case:
"Passive"
→ Start Scan
Когда использовать: Первичная разведка, когда важна скрытность.
2. Footprint (Отпечаток инфраструктуры)
Умеренно активный режим с запросами к целевым ресурсам (robots.txt, sitemap.xml).

Bash:


Код:
python3 ./sf.py -s example.com -u footprint
Когда использовать: Детальное изучение инфраструктуры с минимальным шумом.
3. Investigate (Расследование угроз)
Проверка IP/доменов по базам угроз и репутационным спискам.

Bash:


Код:
python3 ./sf.py -s suspicious-domain.com -u investigate
Когда использовать: Анализ подозрительной активности, проверка IoC.
4. All (Полное сканирование)
НЕ РЕКОМЕНДУЕТСЯ! Запускает все модули, генерирует гигабайты данных и может занять несколько часов.
Профессиональный подход: точечный выбор модулей

Bash:


Код:
# Только поиск поддоменов и их резолвинг
python3 ./sf.py -s example.com -m sfp_subdomain_enum,sfp_dnsresolve
# Только email и связанные домены
python3 ./sf.py -s example.com -t EMAILADDR,DOMAIN_NAME
# Экспорт в CSV для анализа
python3 ./sf.py -s example.com -u passive -o results.csv -F CSV
Практические примеры использования
Кейс 1: Аудит безопасности корпоративной инфраструктуры
Задача: Проверить, какая информация о компании доступна публично.

Bash:


Код:
# Шаг 1: Пассивная разведка основного домена
python3 ./sf.py -s company.com -u passive -o company_passive.json
# Шаг 2: Анализ найденных поддоменов
python3 ./sf.py -s company.com
\
-m sfp_subdomain_enum,sfp_shodan,sfp_censys
# Шаг 3: Проверка email-адресов сотрудников
python3 ./sf.py -s company.com
\
-t EMAILADDR
\
-m sfp_haveibeenpwned,sfp_hunter
Результат: Обнаружены 47 поддоменов, 12 из которых имеют открытые административные панели. 5 корпоративных email найдены в публичных утечках.
Кейс 2: Расследование фишинговой кампании
Задача: Изучить инфраструктуру фишингового сайта.

Bash:


Код:
# Комплексный анализ подозрительного домена
python3 ./sf.py -s phishing-site.com -u investigate
# Поиск связанной инфраструктуры через SSL-сертификаты
python3 ./sf.py -s phishing-site.com -m sfp_tlscert,sfp_crt
Результат: Через общий SSL-сертификат найдены еще 8 фишинговых доменов на том же хостинге.
Кейс 3: OSINT-разведка по email
Задача: Собрать информацию о человеке по email-адресу.

Bash:


Код:
# Поиск по email
python3 ./sf.py -s target@example.com -t EMAILADDR
# Поиск в социальных сетях и утечках
python3 ./sf.py -s target@example.com
\
-m sfp_socialprofiles,sfp_haveibeenpwned
Кейс 4: Мониторинг Attack Surface компании
Задача: Регулярно проверять изменения в цифровом следе организации.

Bash:


Код:
# Создание cron-задачи для ежедневного сканирования
# Добавить в crontab
0
2
* * * /usr/bin/python3 /path/to/sf.py
\
-s company.com
\
-u passive
\
-o /path/to/reports/scan_
$(date +\%Y\%m\%d)
.json
\
-q
Безопасность и OPSEC при работе
Критические правила безопасности
Правило №1: Никогда не сканируйте с личного/рабочего IP
Любое активное сканирование оставляет следы в логах целевых систем. Ваш IP-адрес будет записан.

Правило №2: Используйте промежуточную инфраструктуру

Bash:


Код:
# Вариант 1: Работа через VPN
# Подключитесь к VPN перед запуском SpiderFoot
# Вариант 2: Арендованный VPS
ssh
user@vps-server
# Запускайте SpiderFoot на VPS
# Вариант 3: Tor (медленно, но анонимно)
# В настройках SpiderFoot: Settings → Global Settings → Use Tor
Правило №3: Соблюдайте законодательство
  • Получите письменное разрешение на тестирование
  • Не сканируйте государственные ресурсы без официального разрешения
  • Учитывайте законы страны размещения целевых систем
  • В РФ действует закон 152-ФЗ о персональных данных
Настройка SpiderFoot для работы через Tor
  1. Установите Tor:

    Bash:


    Код:
    sudo
    apt
    install
    tor
    sudo
    service
    tor start
  2. В веб-интерфейсе SpiderFoot:
    • Settings → Global Settings
    • Enable "Route requests through Tor"
    • SOCKS Proxy: 127.0.0.1:9050
  3. Проверьте анонимность:

    Bash:


    Код:
    curl
    --socks5
    127.0
    .0.1:9050 https://check.torproject.org
Рекомендации по скрытности
  • Используйте режим "Passive" для первичной разведки
  • Растягивайте сканирование во времени (настройка delays)
  • Не используйте агрессивные модули без необходимости
  • Регулярно меняйте IP-адреса при длительных исследованиях
  • Избегайте сканирования в рабочие часы целевой организации
SpiderFoot vs Maltego и другие альтернативы
Сравнительная таблица OSINT-инструментов

ХарактеристикаSpiderFootMaltegoRecon-ngtheHarvesterЛицензияOpen SourceFreemiumOpen SourceOpen SourceИнтерфейсWeb + CLIGUICLICLIКоличество модулей200+50+ (transforms)100+30+ВизуализацияБазоваяОтличнаяОтсутствуе тОтсутствуетАвтоматизацияВысокаяСредняяВысокаяВысо каяСложность освоенияСредняяВысокаяСредняяНизк аяСтоимость ProHX: по запросу$999/годБесплатноБесплатноТребованияPython 3.7+JavaPython 3.6+Python 3.6+

Когда использовать каждый инструмент
SpiderFoot — когда нужен максимальный охват источников и автоматизация:
  • Массовый сбор данных
  • Автоматизированные проверки безопасности
  • Регулярный мониторинг инфраструктуры
  • Начальный этап пентестинга
Maltego — когда важна визуализация и анализ связей:
  • Расследование сложных схем
  • Презентация результатов руководству
  • Анализ социальных связей
  • Финансовые расследования
Recon-ng — для программистов и автоматизации:
  • Интеграция в скрипты
  • Кастомные модули
  • CLI-автоматизация
  • DevSecOps пайплайны
theHarvester — для быстрого поиска email и поддоменов:
  • Простые задачи разведки
  • Начальный этап пентеста
  • Обучение OSINT
  • Быстрая проверка домена
Оптимальная связка инструментов

Код:


Код:
SpiderFoot (сбор данных)
  → Экспорт CSV/JSON
  → Maltego (визуализация)
  → Презентация/Отчет
Профессионалы часто используют SpiderFoot для массового сбора информации, затем импортируют наиболее интересные находки в Maltego для глубокого визуального анализа связей.

Если вы хотите расширить свой арсенал практических средств для быстрой разведки, рекомендую ознакомиться со статьёй про самые актуальные OSINT-боты для новичков на античат . В материале собраны самые удобные Telegram-боты и онлайн-сервисы для анализа аккаунтов в соцсетях, поиска открытых данных и автоматизации рутинных задач.
Решение частых проблем
Проблема: "Module failed: sfp_shodan"
Причина: Неправильный API-ключ или превышен лимит запросов.
Решение:

Bash:


Код:
# Проверьте API-ключ
Settings → API Keys → Shodan API Key
# Проверьте лимиты (100 запросов/месяц на бесплатном плане)
# на сайте Shodan: Account → Usage
# Решение: используйте режим passive или купите Shodan Pro
Проблема: "Connection refused" при запуске веб-интерфейса
Причина: Порт 5001 уже занят другим приложением.
Решение:

Bash:


Код:
# Проверьте, не занят ли порт
netstat
-tulpn
|
grep
5001
# Используйте другой порт
python3 ./sf.py -l
127.0
.0.1:5002
# Для доступа с других машин в локальной сети
python3 ./sf.py -l
0.0
.0.0:5001
Проблема: Слишком много данных, браузер зависает
Причина: Включено слишком много модулей или выбран режим "All".
Решение:

Bash:


Код:
# Используйте фильтры в веб-интерфейсе
# Или экспортируйте в JSON/CSV для внешнего анализа
python3 ./sf.py -s target.com -u passive -o results.json -q
# Анализируйте данные в Python/Excel
Проблема: "SSL Certificate Verify Failed"
Причина: Проблемы с сертификатами SSL в корпоративной сети.
Решение:

Python:


Код:
# Временное решение (НЕ для продакшена!)
# В файле sf.py добавить перед импортами:
import
ssl
ssl
.
_create_default_https_context
=
ssl
.
_create_unverified_context
Правильное решение: Установите корневые сертификаты вашей организации.
Проблема: Медленная работа сканирования
Решение:
  • Уменьшите количество одновременных модулей: Settings → Global Settings → Thread Count (5-10)
  • Отключите медленные модули (например, sfp_torch при работе без Tor)
  • Используйте SSD для базы данных SpiderFoot
  • Увеличьте timeout для медленных источников
Проблема: Python версии 3.6 не поддерживается
Причина: SpiderFoot 4.0 требует Python 3.7+
Решение:

Bash:


Код:
# Обновите Python до версии 3.7 или выше
python3 --version
# Ubuntu/Debian
sudo
apt
update
sudo
apt
install
python3.9
# Или используйте Docker
docker run -p
5001
:5001 blacklanternsecurity/spiderfoot
Часто задаваемые вопросы
Как установить SpiderFoot на Windows 10/11?
Установите Python 3.7+ с официального сайта python.org, затем следуйте инструкциям в разделе Установка на Windows.
Краткая версия:

Код:


Код:
# После скачивания SpiderFoot
cd spiderfoot
pip install -r requirements.txt
python sf.py -l 127.0.0.1:5001
Откройте браузер и перейдите на http://127.0.0.1:5001
SpiderFoot vs Maltego — что лучше для начинающих?
SpiderFoot проще в освоении и бесплатен, идеален для автоматизированного сбора данных. Maltego лучше для визуального анализа, но требует больше времени на изучение и стоит $999/год для полной версии. Рекомендация: Начните с SpiderFoot, затем освойте Maltego для презентаций.
Какие бесплатные альтернативы SpiderFoot существуют?
  • Recon-ng — мощный CLI-фреймворк для OSINT
  • theHarvester — простой инструмент для поиска email и поддоменов
  • Amass — продвинутый поиск поддоменов от OWASP
  • Photon — веб-краулер для OSINT
  • Sherlock — поиск username по 300+ соцсетям
Можно ли использовать SpiderFoot без API-ключей?
Технически да, но вы получите только 20-30% функционала. Без API-ключей не работают Shodan, VirusTotal, HaveIBeenPwned и другие ключевые модули. Настоятельно рекомендуется потратить 30 минут на регистрацию в бесплатных сервисах — это критически важно для эффективной работы.
Как запустить SpiderFoot в Docker?

Bash:


Код:
# Скачать образ
docker pull blacklanternsecurity/spiderfoot
# Запустить с сохранением данных
docker run -p
5001
:5001
\
-v ~/spiderfoot:/var/lib/spiderfoot
\
blacklanternsecurity/spiderfoot
Откройте http://localhost:5001 в браузере.
Законно ли использовать SpiderFoot в России?
Сбор публичной информации (OSINT) законен. Однако активное сканирование чужих систем без разрешения может нарушать:
  • Статью 272 УК РФ (неправомерный доступ к компьютерной информации)
  • Закон 152-ФЗ (о персональных данных)
Всегда получайте письменное разрешение перед сканированием корпоративных сетей. Для обучения используйте специальные площадки (scanme.nmap.org, testphp.vulnweb.com).
Как экспортировать результаты из SpiderFoot в Excel?

Bash:


Код:
# Экспорт в CSV
python3 ./sf.py -s target.com -o results.csv -F CSV
# Конвертация в Excel через Python
python3 -c
"import pandas as pd; pd.read_csv('results.csv').to_excel('results.xlsx', index=False)"
Или используйте веб-интерфейс: Browse → Export → CSV, затем откройте в Excel.
Почему SpiderFoot не находит поддомены?
Проверьте:
  1. Включены ли модули sfp_subdomain_enum, sfp_sublist3r
  2. Есть ли API-ключи для Shodan, Censys (они критичны для поиска)
  3. Используйте режим "Footprint" вместо "Passive"
  4. Попробуйте специализированные инструменты: Amass, Subfinder, Assetfinder
Как настроить SpiderFoot для работы через прокси?
В веб-интерфейсе: Settings → Global Settings → HTTP Proxy
Формат:
Код:
http://user:pass@proxy.server:8080
SOCKS:
Код:
socks5://127.0.0.1:9050
Можно ли автоматизировать регулярные сканирования?
Да, через cron и CLI:

Bash:


Код:
# Добавить в crontab для ежедневного сканирования в 2:00
0
2
* * * /usr/bin/python3 /path/to/sf.py
\
-s example.com
\
-u passive
\
-o /path/to/reports/scan_
$(date +\%Y\%m\%d)
.json
\
-q
В чем разница между SpiderFoot и SpiderFoot HX?
SpiderFoot (Open Source):
  • Бесплатный
  • Self-hosted
  • 1 пользователь
  • Ограничение: 1 цель за сканирование, 3 часа работы
  • ~25% возможностей HX версии
SpiderFoot HX (Commercial):
  • Платный (цены по запросу)
  • Cloud-hosted
  • Множество пользователей
  • Без ограничений по целям и времени
  • Расширенная визуализация
  • Мониторинг изменений
  • Интеграция с командами
  • Дополнительные модули
Как обновить SpiderFoot до версии 4.0?

Bash:


Код:
# Если установлен через Git
cd
spiderfoot
git
pull origin master
pip3
install
-r requirements.txt --upgrade
# Если скачан архивом - скачайте новую версию:
# wget https://github.com/smicallef/.../v4.0.tar.gz (см. раздел "Установка на Linux")
tar
zxvf v4.0.tar.gz
cd
spiderfoot-4.0
pip3
install
-r requirements.txt
Заключение
SpiderFoot — мощнейший инструмент в арсенале специалиста по кибербезопасности и OSINT-аналитика. Его главные преимущества: автоматизация рутинных задач, огромное количество источников данных (200+ модулей) и гибкая настройка под конкретные задачи.

Если вы хотите системно развить навыки OSINT и построить собственный автоматизированный workflow — ознакомьтесь с «OSINT 2025: Полным руководством по инструментам, AI и автоматизации разведки».

Этот материал продолжает тему SpiderFoot, объясняя, как выстроить современный OSINT-процесс: от легальности и этики до AI-интеграции и автоматизации поиска. В нем есть карта инструментов, примеры рабочих сценариев и подборка дистрибутивов для OSINT-лаборатории.
Чек-лист для эффективной работы с SpiderFoot:
  • Установлен SpiderFoot версии 4.0
  • Настроены минимум 5-7 API-ключей (Shodan, VirusTotal, HaveIBeenPwned обязательно)
  • Изучены основные режимы работы (Passive, Footprint, Investigate)
  • Настроена работа через VPN или прокси
  • Отработан процесс экспорта данных для анализа
  • Изучены правовые аспекты использования в вашей юрисдикции
  • Создан набор шаблонов для типовых задач
  • Настроена интеграция с другими инструментами (Maltego, Recon-ng)
Помните: SpiderFoot — это инструмент сбора данных, а не анализа. Комбинируйте его с другими решениями для максимальной эффективности. И всегда соблюдайте законодательство и этические нормы при проведении исследований.

Освоение инструментов OSINT-разведки — важный шаг в карьере специалиста по информационной безопасности. Если вы нацелены на профессиональный рост в области пентестинга, рекомендую изучить материал о подготовке к сертификации OSCP, где навыки OSINT-разведки играют ключевую роль.

Делитесь в комментариях своими кейсами использования SpiderFoot и любимыми модулями. Какие источники данных вы считаете наиболее полезными?

Обновлено: Ноябрь 2025 | Версия SpiderFoot: 4.0 | Требования: Python 3.7+
— проверка контрагентов и партнеров

В отличие от коммерческих решений вроде Maltego, SpiderFoot полностью бесплатен в базовой версии, имеет удобный веб-интерфейс и часто превосходит конкурентов по объему собираемых сырых данных. Инструмент активно развивается сообществом и регулярно обновляется новыми модулями.
ОглавлениеКлючевые возможности и модули
SpiderFoot построен на модульной архитектуре — более 200 специализированных модулей собирают данные из различных источников. Каждый модуль отвечает за конкретный тип разведки:
1. Базовая сетевая разведка
DNS и доменная информация:
  • Whois-данные — владельцы доменов, даты регистрации, контактная информация
  • DNS-записи — полный анализ A, AAAA, MX, TXT, NS, CNAME записей
  • Поиск поддоменов — через bruteforce, словари и пассивные DNS-базы
  • Reverse DNS — определение доменов по IP-адресам
2. Поисковые системы и публичные источники
Поисковики:
  • Google, Bing, DuckDuckGo, Yandex — поиск упоминаний, кэшированных страниц, документов
  • Специализированные поисковики — GitHub, Reddit, архивы веб-страниц
Социальные сети:
  • LinkedIn, Twitter, Facebook, Instagram — поиск профилей по email и именам
  • Telegram, Discord — поиск публичных каналов и упоминаний
3. Базы утечек и уязвимостей
Проверка скомпрометированных данных:
  • HaveIBeenPwned — проверка email в известных утечках
  • Pastebin и аналоги — поиск паст с упоминанием целей
  • Базы утечек — Dehashed, IntelX (требуют платные API)
4. Сетевая разведка и Threat Intelligence
Сканеры интернета:
  • Shodan — открытые порты, сервисы, уязвимые системы, IoT-устройства
  • Censys — SSL-сертификаты, HTTP-заголовки, технологии сайтов
  • BinaryEdge — данные о сетевой инфраструктуре
Репутационные базы:
  • VirusTotal — проверка доменов и IP на вредоносную активность
  • AlienVault OTX — индикаторы компрометации
  • AbuseIPDB — база злоумышленных IP-адресов
Для углубленного поиска уязвимостей после первичной разведки рекомендую изучить материал про открытые сканеры уязвимостей.
5. Анализ веб-ресурсов
  • Сканирование сайтов — извлечение email, телефонов, метаданных
  • SSL/TLS сертификаты — поиск альтернативных доменов через SAN
  • Технологии сайта — CMS, фреймворки, библиотеки
  • Web-архивы — история изменений сайта через Wayback Machine
Установка SpiderFoot на разные ОС
Установка на Linux (Ubuntu/Debian/Kali)
Вопреки распространенному мнению, SpiderFoot не предустановлен в Kali Linux, но доступен в репозиториях:

Bash:


Код:
# Для Kali Linux и Debian-based систем
sudo
apt
update
&&
sudo
apt
install
spiderfoot
# Запуск после установки
spiderfoot -l
127.0
.0.1:5001
Для установки из исходников (рекомендуется для последней версии):

Bash:


Код:
# Клонирование репозитория
git
clone https://github.com/smicallef/spiderfoot.git
cd
spiderfoot
# Установка зависимостей Python
pip3
install
-r requirements.txt
# Запуск
python3 ./sf.py -l
127.0
.0.1:5001
Установка на Windows
Для Windows потребуется предварительно установленный Python 3.6+:

Код:


Код:
# 1. Установите Python с python.org
# 2. Откройте PowerShell от администратора
# Клонирование репозитория
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
# Установка зависимостей
pip install -r requirements.txt
# Запуск
python sf.py -l 127.0.0.1:5001
Установка через Docker (универсальный метод)
Docker-контейнер — самый простой способ для любой ОС:

Bash:


Код:
# Скачивание и запуск официального образа
docker pull blacklanternsecurity/spiderfoot
docker run -p
5001
:5001 blacklanternsecurity/spiderfoot
# Или с сохранением данных
docker run -p
5001
:5001 -v /path/to/data:/var/lib/spiderfoot blacklanternsecurity/spiderfoot
При выборе операционной системы для OSINT-работы важно учитывать не только SpiderFoot. Подробный обзор и сравнение операционных систем для OSINT поможет выбрать оптимальное окружение.
Настройка API-ключей для максимальной эффективности
КРИТИЧЕСКИ ВАЖНО: Без API-ключей SpiderFoot использует только 20-30% своих возможностей. Большинство мощных модулей требуют авторизации в external сервисах.
Пошаговая настройка API-ключей:
  1. Запустите веб-интерфейс:

    Bash:


    Код:
    python3 ./sf.py -l
    127.0
    .0.1:5001
  2. Откройте в браузере:
    Код:
    http://127.0.0.1:5001
  3. Перейдите в настройки: Settings → API Key Manager
  4. Получите бесплатные ключи для основных сервисов:
Обязательные API-ключи (бесплатные):

СервисРегистрацияЛимиты бесплатного планаShodanshodan.io/register100 запросов/месяцVirusTotalvirustotal.com/gui/join-us500 запросов/деньHaveIBeenPwnedhaveibeenpwned.com/API/Key10 запросов/минутаHunter.iohunter.io/users/sign_up25 поисков/месяцCensyscensys.io/register250 запросов/месяцAlienVault OTXotx.alienvault.comБез ограниченийAbuseIPDBabuseipdb.com/register1000 запросов/деньGreyNoisegreynoise.io/signup50 запросов/день

Рекомендуемые платные API (для профессионального использования):
  • Shodan Pro ($49/месяц) — неограниченные запросы
  • IntelX (от $100/месяц) — доступ к базам утечек
  • Dehashed ($15/месяц) — поиск по утечкам паролей
Режимы работы: от базового до профессионального
SpiderFoot предлагает несколько предустановленных режимов работы (Use Cases) и возможность точечного выбора модулей:
1. Passive (Пассивная разведка)
Безопасный режим без прямого взаимодействия с целью. Использует только публичные источники и кэши.

Bash:


Код:
# CLI запуск
python3 ./sf.py -s example.com -u passive -o passive_scan.json
# Через веб-интерфейс
New Scan → Use Case:
"Passive"
→ Start Scan
Когда использовать: Первичная разведка, когда важна скрытность.
2. Footprint (Отпечаток инфраструктуры)
Умеренно активный режим с запросами к целевым ресурсам (robots.txt, sitemap.xml).

Bash:


Код:
python3 ./sf.py -s example.com -u footprint
Когда использовать: Детальное изучение инфраструктуры с минимальным шумом.
3. Investigate (Расследование угроз)
Проверка IP/доменов по базам угроз и репутационным спискам.

Bash:


Код:
python3 ./sf.py -s suspicious-domain.com -u investigate
Когда использовать: Анализ подозрительной активности, проверка IoC.
4. All (Полное сканирование)
НЕ РЕКОМЕНДУЕТСЯ! Запускает все модули, генерирует гигабайты данных.
Профессиональный подход: точечный выбор модулей

Bash:


Код:
# Только поиск поддоменов и их резолвинг
python3 ./sf.py -s example.com -m sfp_subdomain_enum,sfp_dnsresolve
# Только email и связанные домены
python3 ./sf.py -s example.com -t EMAILADDR,DOMAIN_NAME
# Экспорт в CSV для анализа
python3 ./sf.py -s example.com -u passive -o results.csv -F CSV
Практические примеры использования
Кейс 1: Аудит безопасности корпоративной инфраструктуры
Задача: Проверить, какая информация о компании доступна публично.

Bash:


Код:
# Шаг 1: Пассивная разведка основного домена
python3 ./sf.py -s company.com -u passive -o company_passive.json
# Шаг 2: Анализ найденных поддоменов
python3 ./sf.py -s company.com -m sfp_subdomain_enum,sfp_shodan,sfp_censys
# Шаг 3: Проверка email-адресов сотрудников
python3 ./sf.py -s company.com -t EMAILADDR -m sfp_haveibeenpwned,sfp_hunter
Результат: Обнаружены 47 поддоменов, 12 из которых имеют открытые административные панели. 5 корпоративных email найдены в публичных утечках.
Кейс 2: Расследование фишинговой кампании
Задача: Изучить инфраструктуру фишингового сайта.

Bash:


Код:
# Комплексный анализ подозрительного домена
python3 ./sf.py -s phishing-site.com -u investigate
# Поиск связанной инфраструктуры через SSL-сертификаты
python3 ./sf.py -s phishing-site.com -m sfp_tlscert,sfp_crt
Результат: Через общий SSL-сертификат найдены еще 8 фишинговых доменов на том же хостинге.
Кейс 3: OSINT-разведка по email
Задача: Собрать информацию о человеке по email-адресу.

Bash:


Код:
# Поиск по email
python3 ./sf.py -s target@example.com -t EMAILADDR
# Поиск в социальных сетях и утечках
python3 ./sf.py -s target@example.com -m sfp_socialprofiles,sfp_haveibeenpwned
Безопасность и OPSEC при работе
Критические правила безопасности
Правило №1: Никогда не сканируйте с личного/рабочего IP
Любое активное сканирование оставляет следы в логах целевых систем. Ваш IP-адрес будет записан.
Правило №2: Используйте промежуточную инфраструктуру

Bash:


Код:
# Вариант 1: Работа через VPN
# Подключитесь к VPN перед запуском SpiderFoot
# Вариант 2: Арендованный VPS
ssh
user@vps-server
# Запускайте SpiderFoot на VPS
# Вариант 3: Tor (медленно, но анонимно)
# В настройках SpiderFoot: Settings → Global Settings → Use Tor
Правило №3: Соблюдайте законодательство
  • Получите письменное разрешение на тестирование
  • Не сканируйте государственные ресурсы
  • Учитывайте законы страны размещения целевых систем
Настройка SpiderFoot для работы через Tor
  1. Установите Tor:

    Bash:


    Код:
    sudo
    apt
    install
    tor
    sudo
    service
    tor start
  2. В веб-интерфейсе SpiderFoot:
    • Settings → Global Settings
    • Enable "Route requests through Tor"
    • SOCKS Proxy: 127.0.0.1:9050
  3. Проверьте анонимность:

    Bash:


    Код:
    curl
    --socks5
    127.0
    .0.1:9050 https://check.torproject.org
Рекомендации по скрытности
  • Используйте режим "Passive" для первичной разведки
  • Растягивайте сканирование во времени (настройка delays)
  • Не используйте агрессивные модули без необходимости
  • Регулярно меняйте IP-адреса при длительных исследованиях
SpiderFoot vs Maltego и другие альтернативы
Сравнительная таблица OSINT-инструментов

ХарактеристикаSpiderFootMaltegoRecon-ngtheHarvesterЛицензияOpen SourceFreemiumOpen SourceOpen SourceИнтерфейсWeb + CLIGUICLICLIКоличество модулей200+50+ (transforms)100+30+ВизуализацияБазоваяОтличнаяОтсутствуе тОтсутствуетАвтоматизацияВысокаяСредняяВысокаяВысо каяСложность освоенияСредняяВысокаяСредняяНизк аяСтоимость Pro$899/год$999/годБесплатноБесплатно

Если вы хотите расширить свой арсенал практических средств для быстрой разведки, рекомендую ознакомиться со статьёй про самые актуальные OSINT-боты для новичков на античат . В материале собраны самые удобные Telegram-боты и онлайн-сервисы для анализа аккаунтов в соцсетях, поиска открытых данных и автоматизации рутинных задач — от Telegram и VK до Steam и Discord. Особое внимание уделено инструменту Sherlock для массового поиска по никнейму на 400+ платформах и ботам для локального логгирования. Отличный стартовый набор для тех, кто только начинает погружаться в OSINT-практику: выясняйте историю профиля, проверяйте утечки, интегрируйте дополнительные источники — и действуйте осмотрительно с точки зрения OPSEC и законодательства.
Когда использовать каждый инструмент
SpiderFoot — когда нужен максимальный охват источников и автоматизация:
  • Массовый сбор данных
  • Автоматизированные проверки безопасности
  • Регулярный мониторинг инфраструктуры
Maltego — когда важна визуализация и анализ связей:
  • Расследование сложных схем
  • Презентация результатов руководству
  • Анализ социальных связей
Recon-ng — для программистов и автоматизации:
  • Интеграция в скрипты
  • Кастомные модули
  • CLI-автоматизация
theHarvester — для быстрого поиска email и поддоменов:
  • Простые задачи разведки
  • Начальный этап пентеста
  • Обучение OSINT
Оптимальная связка инструментов

Код:


Код:
SpiderFoot (сбор данных) → Экспорт CSV/JSON → Maltego (визуализация) → Отчет
Профессионалы часто используют SpiderFoot для массового сбора информации, затем импортируют наиболее интересные находки в Maltego для глубокого визуального анализа связей.
Решение частых проблем
Проблема: "Module failed: sfp_shodan"
Решение:

Bash:


Код:
# Проверьте API-ключ
Settings → API Keys → Shodan API Key
# Проверьте лимиты (100 запросов/месяц на бесплатном плане)
# Решение: используйте режим passive или купите Shodan Pro
Проблема: "Connection refused" при запуске веб-интерфейса
Решение:

Bash:


Код:
# Проверьте, не занят ли порт
netstat
-tulpn
|
grep
5001
# Используйте другой порт
python3 ./sf.py -l
127.0
.0.1:5002
# Для доступа с других машин
python3 ./sf.py -l
0.0
.0.0:5001
Проблема: Слишком много данных, браузер зависает
Решение:

Bash:


Код:
# Используйте фильтры в веб-интерфейсе
# Или экспортируйте в JSON/CSV для внешнего анализа
python3 ./sf.py -s target.com -u passive -o results.json -q
Проблема: "SSL Certificate Verify Failed"
Решение:

Python:


Код:
# Временное решение (НЕ для продакшена!)
# В файле sf.py добавить:
import
ssl
ssl
.
_create_default_https_context
=
ssl
.
_create_unverified_context
Проблема: Медленная работа сканирования
Решение:
  • Уменьшите количество одновременных модулей: Settings → Global Settings → Thread Count (5-10)
  • Отключите медленные модули (например, sfp_torch при работе без Tor)
  • Используйте SSD для базы данных SpiderFoot
Часто задаваемые вопросы
Как установить SpiderFoot на Windows 10/11?
Установите Python 3.8+ с официального сайта python.org, затем откройте PowerShell от администратора и выполните:

Код:


Код:
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
pip install -r requirements.txt
python sf.py -l 127.0.0.1:5001
Откройте браузер и перейдите на http://127.0.0.1:5001
SpiderFoot vs Maltego — что лучше для начинающих?
SpiderFoot проще в освоении и бесплатен, идеален для автоматизированного сбора данных. Maltego лучше для визуального анализа, но требует больше времени на изучение и стоит $999/год для полной версии. Начните с SpiderFoot, затем освойте Maltego для презентаций.
Какие бесплатные альтернативы SpiderFoot существуют?
  • Recon-ng — мощный CLI-фреймворк для OSINT
  • theHarvester — простой инструмент для поиска email и поддоменов
  • Amass — продвинутый поиск поддоменов
  • Photon — веб-краулер для OSINT
  • Sherlock — поиск username по соцсетям
Можно ли использовать SpiderFoot без API-ключей?
Технически да, но вы получите только 20-30% функционала. Без API-ключей не работают Shodan, VirusTotal, HaveIBeenPwned и другие ключевые модули. Потратьте 30 минут на регистрацию в бесплатных сервисах — это критически важно.
Как запустить SpiderFoot в Docker?

Bash:


Код:
docker pull blacklanternsecurity/spiderfoot
docker run -p
5001
:5001 -v ~/spiderfoot:/var/lib/spiderfoot blacklanternsecurity/spiderfoot
Откройте http://localhost:5001 в браузере.
Законно ли использовать SpiderFoot?
Сбор публичной информации (OSINT) законен. Однако активное сканирование чужих систем без разрешения может нарушать законы о компьютерных преступлениях. Всегда получайте письменное разрешение перед сканированием корпоративных сетей.
Как экспортировать результаты из SpiderFoot в Excel?

Bash:


Код:
# Экспорт в CSV
python3 ./sf.py -s target.com -o results.csv -F CSV
# Открыть в Excel или конвертировать через pandas:
python3 -c
"import pandas as pd; pd.read_csv('results.csv').to_excel('results.xlsx')"
Почему SpiderFoot не находит поддомены?
Проверьте:
  1. Включены ли модули sfp_subdomain_enum, sfp_sublist3r
  2. Есть ли API-ключи для Shodan, Censys
  3. Используйте режим "Footprint" вместо "Passive"
  4. Попробуйте специализированные инструменты: Amass, Subfinder
Как настроить SpiderFoot для работы через прокси?
В веб-интерфейсе: Settings → Global Settings → HTTP Proxy
Формат:
Код:
http://user:pass@proxy.server:8080
или для SOCKS:
Код:
socks5://127.0.0.1:9050
Можно ли автоматизировать регулярные сканирования?
Да, через cron и CLI:

Bash:


Код:
# Добавить в crontab для ежедневного сканирования
0
2
* * * /usr/bin/python3 /path/to/sf.py -s example.com -u passive -o /path/to/reports/scan_
$(date +\%Y\%m\%d)
.json -q
Заключение
SpiderFoot — мощнейший инструмент в арсенале специалиста по кибербезопасности и OSINT-аналитика. Его главные преимущества: автоматизация рутинных задач, огромное количество источников данных и гибкая настройка под конкретные задачи.

Если вы хотите системно развить навыки OSINT и построить собственный автоматизированный workflow — ознакомьтесь с «OSINT 2025: Полным руководством по инструментам, AI и автоматизации разведки».

Этот материал продолжает тему SpiderFoot, объясняя, как выстроить современный OSINT-процесс: от легальности и этики до AI-интеграции и автоматизации поиска. В нем есть карта инструментов, примеры рабочих сценариев и подборка дистрибутивов для OSINT-лаборатории.
Чек-лист для эффективной работы с SpiderFoot:
  • [ ] Установлен SpiderFoot последней версии
  • [ ] Настроены минимум 5-7 API-ключей (Shodan, VirusTotal, HaveIBeenPwned обязательно)
  • [ ] Изучены основные режимы работы (Passive, Footprint, Investigate)
  • [ ] Настроена работа через VPN или прокси
  • [ ] Отработан процесс экспорта данных для анализа
  • [ ] Изучены правовые аспекты использования в вашей юрисдикции
  • [ ] Создан набор шаблонов для типовых задач
  • [ ] Настроена интеграция с другими инструментами (Maltego, Recon-ng)
Помните: SpiderFoot — это инструмент сбора данных, а не анализа. Комбинируйте его с другими решениями для максимальной эффективности. И всегда соблюдайте законодательство и этические нормы при проведении исследований.

Освоение инструментов OSINT-разведки — важный шаг в карьере специалиста по информационной безопасности. Если вы нацелены на профессиональный рост в области пентестинга, рекомендую изучить материал о подготовке к сертификации OSCP, где навыки OSINT-разведки играют ключевую роль.

Делитесь в комментариях своими кейсами использования SpiderFoot и любимыми модулями. Какие источники данных вы считаете наиболее полезными?
 
Ответить с цитированием
 





Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 


Быстрый переход




ANTICHAT ™ © 2001- Antichat Kft.