ANTICHAT - SpiderFoot: полное руководство по OSINT-инструменту для автоматизированной разведки [2025]

https://forum.antichat.xyz/attachmen...1305710069.png

Цитата:

Обновлено для SpiderFoot 4.0 | Ноябрь 2025

Что такое SpiderFoot и зачем он нужен
SpiderFoot — это open-source платформа для автоматизированной OSINT-разведки, которая собирает и анализирует данные о целевых объектах из более чем 200 различных источников. Инструмент исследует IP-адреса, домены, email, телефоны, имена и автоматически выявляет связи между найденными данными, превращая разрозненную информацию в структурированную картину цифрового следа.

В отличие от коммерческих решений вроде Maltego ($999/год), SpiderFoot полностью бесплатен, имеет удобный веб-интерфейс и часто превосходит конкурентов по объему собираемых данных.
Быстрый старт за 10 минут
Новичок в SpiderFoot? Следуйте этому пошаговому маршруту:

Шаг 1: Установка на вашу ОС → 5 минут
Шаг 2: Настройка API-ключей → 15 минут
Шаг 3: Запуск первого сканирования → 2 минуты
Шаг 4: Анализ результатов → Изучите примеры

Важно: Без настройки API-ключей вы получите только 20-30% возможностей инструмента!
Основные сценарии использования SpiderFoot
Пентестинг и аудит безопасности — поиск потенциальных векторов атаки через публичную информацию
Threat Intelligence — сбор данных об угрозах и анализ инфраструктуры злоумышленников
Проверка цифрового следа компании — выявление утечек корпоративной информации
OSINT-расследования — комплексный сбор данных о целевых объектах
Due Diligence — проверка контрагентов и партнеров
Оглавление

Ключевые возможности и модули
Установка SpiderFoot на разные ОС
Настройка API-ключей для максимальной эффективности
Режимы работы: от базового до профессионального
Практические примеры использования
Безопасность и OPSEC при работе
SpiderFoot vs Maltego и другие альтернативы
Решение частых проблем
Часто задаваемые вопросы

Ключевые возможности и модули
SpiderFoot построен на модульной архитектуре — более 200 специализированных модулей собирают данные из различных источников. Каждый модуль отвечает за конкретный тип разведки:
1. Базовая сетевая разведка
DNS и доменная информация:

Whois-данные — владельцы доменов, даты регистрации, контактная информация
DNS-записи — полный анализ A, AAAA, MX, TXT, NS, CNAME записей
Поиск поддоменов — через bruteforce, словари и пассивные DNS-базы
Reverse DNS — определение доменов по IP-адресам

2. Поисковые системы и публичные источники
Поисковики:

Google, Bing, DuckDuckGo, Yandex — поиск упоминаний, кэшированных страниц, документов
Специализированные поисковики — GitHub, Reddit, архивы веб-страниц

Социальные сети:

LinkedIn, Twitter, Facebook, Instagram — поиск профилей по email и именам
Telegram, Discord — поиск публичных каналов и упоминаний

3. Базы утечек и уязвимостей
Проверка скомпрометированных данных:

HaveIBeenPwned — проверка email в известных утечках
Pastebin и аналоги — поиск паст с упоминанием целей
Базы утечек — Dehashed, IntelX (требуют платные API)

4. Сетевая разведка и Threat Intelligence
Сканеры интернета:

Shodan — открытые порты, сервисы, уязвимые системы, IoT-устройства
Censys — SSL-сертификаты, HTTP-заголовки, технологии сайтов
BinaryEdge — данные о сетевой инфраструктуре

Репутационные базы:

VirusTotal — проверка доменов и IP на вредоносную активность
AlienVault OTX — индикаторы компрометации
AbuseIPDB — база злоумышленных IP-адресов

Для углубленного поиска уязвимостей после первичной разведки рекомендую изучить материал про открытые сканеры уязвимостей.
5. Анализ веб-ресурсов

Сканирование сайтов — извлечение email, телефонов, метаданных
SSL/TLS сертификаты — поиск альтернативных доменов через SAN
Технологии сайта — CMS, фреймворки, библиотеки
Web-архивы — история изменений сайта через Wayback Machine

Установка SpiderFoot на разные ОС
Установка на Linux (Ubuntu/Debian/Kali)
Важно: SpiderFoot НЕ предустановлен в Kali Linux, но доступен в репозиториях.

Bash:

Код:

# Для Kali Linux и Debian-based систем

sudo

apt

update

&&

sudo

apt

install

spiderfoot

# Запуск после установки

spiderfoot -l

127.0

.0.1:5001

Рекомендуемый способ — установка из исходников (версия 4.0):

Bash:

Код:

# Скачивание стабильной версии 4.0

wget

https://github.com/smicallef/spiderfoot/archive/v4.0.tar.gz

tar

zxvf v4.0.tar.gz

cd

spiderfoot-4.0

# Установка зависимостей (требуется Python 3.7+)

pip3

install

-r requirements.txt

# Запуск

python3 ./sf.py -l

127.0

.0.1:5001

Для разработчиков (bleeding edge версия):

Bash:

Код:

git

clone https://github.com/smicallef/spiderfoot.git

cd

spiderfoot

pip3

install

-r requirements.txt

python3 ./sf.py -l

127.0

.0.1:5001

Установка на Windows
Для Windows потребуется предварительно установленный Python 3.7+:

Код:

Код:

# 1. Скачайте и установите Python с python.org

# 2. Откройте PowerShell от администратора

# Скачивание SpiderFoot (см. команды в разделе "Установка на Linux" выше)

# После скачивания перейдите в папку:

cd spiderfoot

# Установка зависимостей

pip install -r requirements.txt

# Запуск

python sf.py -l 127.0.0.1:5001

Установка через Docker (универсальный метод)
Docker-контейнер — самый простой способ для любой ОС:

Bash:

Код:

# Скачивание и запуск официального образа

docker pull blacklanternsecurity/spiderfoot

# Базовый запуск

docker run -p

5001

:5001 blacklanternsecurity/spiderfoot

# С сохранением данных

docker run -p

5001

:5001

\

-v /path/to/data:/var/lib/spiderfoot

\

blacklanternsecurity/spiderfoot

После запуска откройте браузер и перейдите на

Код:

http://127.0.0.1:5001

При выборе операционной системы для OSINT-работы важно учитывать не только SpiderFoot. Подробный обзор и сравнение операционных систем для OSINT поможет выбрать оптимальное окружение.
Настройка API-ключей для максимальной эффективности
КРИТИЧЕСКИ ВАЖНО: Без API-ключей SpiderFoot использует только 20-30% своих возможностей. Большинство мощных модулей требуют авторизации в external сервисах.
Пошаговая настройка API-ключей:

Запустите веб-интерфейс:

Bash:

Код:

python3 ./sf.py -l 127.0 .0.1:5001
Откройте в браузере:

Код:

http://127.0.0.1:5001
Перейдите в настройки: Settings → API Key Manager
Получите бесплатные ключи для основных сервисов

Обязательные API-ключи (бесплатные):

СервисРегистрацияЛимиты бесплатного планаShodanshodan.io/register100 запросов/месяцVirusTotalvirustotal.com/gui/join-us500 запросов/деньHaveIBeenPwnedhaveibeenpwned.com/API/Key10 запросов/минутаHunter.iohunter.io/users/sign_up25 поисков/месяцCensyscensys.io/register250 запросов/месяцAlienVault OTXotx.alienvault.comБез ограниченийAbuseIPDBabuseipdb.com/register1000 запросов/деньGreyNoisegreynoise.io/signup50 запросов/день

Рекомендуемые платные API (для профессионального использования):

Shodan Pro ($49/месяц) — неограниченные запросы
IntelX (от $100/месяц) — доступ к базам утечек
Dehashed ($15/месяц) — поиск по утечкам паролей

Совет: Потратьте 30 минут на регистрацию хотя бы в 5-7 бесплатных сервисах. Это увеличит эффективность SpiderFoot в 3-4 раза.
Режимы работы: от базового до профессионального
SpiderFoot предлагает несколько предустановленных режимов работы (Use Cases) и возможность точечного выбора модулей:
1. Passive (Пассивная разведка)
Безопасный режим без прямого взаимодействия с целью. Использует только публичные источники и кэши.

Bash:

Код:

# CLI запуск

python3 ./sf.py -s example.com -u passive -o passive_scan.json

# Через веб-интерфейс

New Scan → Use Case:

"Passive"

→ Start Scan

Когда использовать: Первичная разведка, когда важна скрытность.
2. Footprint (Отпечаток инфраструктуры)
Умеренно активный режим с запросами к целевым ресурсам (robots.txt, sitemap.xml).

Bash:

Код:

python3 ./sf.py -s example.com -u footprint

Когда использовать: Детальное изучение инфраструктуры с минимальным шумом.
3. Investigate (Расследование угроз)
Проверка IP/доменов по базам угроз и репутационным спискам.

Bash:

Код:

python3 ./sf.py -s suspicious-domain.com -u investigate

Когда использовать: Анализ подозрительной активности, проверка IoC.
4. All (Полное сканирование)
НЕ РЕКОМЕНДУЕТСЯ! Запускает все модули, генерирует гигабайты данных и может занять несколько часов.
Профессиональный подход: точечный выбор модулей

Bash:

Код:

# Только поиск поддоменов и их резолвинг

python3 ./sf.py -s example.com -m sfp_subdomain_enum,sfp_dnsresolve

# Только email и связанные домены

python3 ./sf.py -s example.com -t EMAILADDR,DOMAIN_NAME

# Экспорт в CSV для анализа

python3 ./sf.py -s example.com -u passive -o results.csv -F CSV

Практические примеры использования
Кейс 1: Аудит безопасности корпоративной инфраструктуры
Задача: Проверить, какая информация о компании доступна публично.

Bash:

Код:

# Шаг 1: Пассивная разведка основного домена

python3 ./sf.py -s company.com -u passive -o company_passive.json

# Шаг 2: Анализ найденных поддоменов

python3 ./sf.py -s company.com

\

-m sfp_subdomain_enum,sfp_shodan,sfp_censys

# Шаг 3: Проверка email-адресов сотрудников

python3 ./sf.py -s company.com

\

-t EMAILADDR

\

-m sfp_haveibeenpwned,sfp_hunter

Результат: Обнаружены 47 поддоменов, 12 из которых имеют открытые административные панели. 5 корпоративных email найдены в публичных утечках.
Кейс 2: Расследование фишинговой кампании
Задача: Изучить инфраструктуру фишингового сайта.

Bash:

Код:

# Комплексный анализ подозрительного домена

python3 ./sf.py -s phishing-site.com -u investigate

# Поиск связанной инфраструктуры через SSL-сертификаты

python3 ./sf.py -s phishing-site.com -m sfp_tlscert,sfp_crt

Результат: Через общий SSL-сертификат найдены еще 8 фишинговых доменов на том же хостинге.
Кейс 3: OSINT-разведка по email
Задача: Собрать информацию о человеке по email-адресу.

Bash:

Код:

# Поиск по email

python3 ./sf.py -s target@example.com -t EMAILADDR

# Поиск в социальных сетях и утечках

python3 ./sf.py -s target@example.com

\

-m sfp_socialprofiles,sfp_haveibeenpwned

Кейс 4: Мониторинг Attack Surface компании
Задача: Регулярно проверять изменения в цифровом следе организации.

Bash:

Код:

# Создание cron-задачи для ежедневного сканирования

# Добавить в crontab

0

2

* * * /usr/bin/python3 /path/to/sf.py

\

-s company.com

\

-u passive

\

-o /path/to/reports/scan_

$(date +\%Y\%m\%d)

.json

\

-q

Безопасность и OPSEC при работе
Критические правила безопасности
Правило №1: Никогда не сканируйте с личного/рабочего IP
Любое активное сканирование оставляет следы в логах целевых систем. Ваш IP-адрес будет записан.

Правило №2: Используйте промежуточную инфраструктуру

Bash:

Код:

# Вариант 1: Работа через VPN

# Подключитесь к VPN перед запуском SpiderFoot

# Вариант 2: Арендованный VPS

ssh

user@vps-server

# Запускайте SpiderFoot на VPS

# Вариант 3: Tor (медленно, но анонимно)

# В настройках SpiderFoot: Settings → Global Settings → Use Tor

Правило №3: Соблюдайте законодательство

Получите письменное разрешение на тестирование
Не сканируйте государственные ресурсы без официального разрешения
Учитывайте законы страны размещения целевых систем
В РФ действует закон 152-ФЗ о персональных данных

Настройка SpiderFoot для работы через Tor

Установите Tor:

Bash:

Код:

sudo apt install tor sudo service tor start
В веб-интерфейсе SpiderFoot:
- Settings → Global Settings
- Enable "Route requests through Tor"
- SOCKS Proxy: 127.0.0.1:9050
Проверьте анонимность:

Bash:

Код:

curl --socks5 127.0 .0.1:9050 https://check.torproject.org

Рекомендации по скрытности

Используйте режим "Passive" для первичной разведки
Растягивайте сканирование во времени (настройка delays)
Не используйте агрессивные модули без необходимости
Регулярно меняйте IP-адреса при длительных исследованиях
Избегайте сканирования в рабочие часы целевой организации

Массовый сбор данных
Автоматизированные проверки безопасности
Регулярный мониторинг инфраструктуры
Начальный этап пентестинга

Maltego — когда важна визуализация и анализ связей:

Расследование сложных схем
Презентация результатов руководству
Анализ социальных связей
Финансовые расследования

Recon-ng — для программистов и автоматизации:

Интеграция в скрипты
Кастомные модули
CLI-автоматизация
DevSecOps пайплайны

theHarvester — для быстрого поиска email и поддоменов:

Простые задачи разведки
Начальный этап пентеста
Обучение OSINT
Быстрая проверка домена

Оптимальная связка инструментов

Код:

Код:

SpiderFoot (сбор данных)

  → Экспорт CSV/JSON

  → Maltego (визуализация)

  → Презентация/Отчет

Профессионалы часто используют SpiderFoot для массового сбора информации, затем импортируют наиболее интересные находки в Maltego для глубокого визуального анализа связей.

Если вы хотите расширить свой арсенал практических средств для быстрой разведки, рекомендую ознакомиться со статьёй про самые актуальные OSINT-боты для новичков на античат . В материале собраны самые удобные Telegram-боты и онлайн-сервисы для анализа аккаунтов в соцсетях, поиска открытых данных и автоматизации рутинных задач.
Решение частых проблем
Проблема: "Module failed: sfp_shodan"
Причина: Неправильный API-ключ или превышен лимит запросов.
Решение:

Bash:

Код:

# Проверьте API-ключ

Settings → API Keys → Shodan API Key

# Проверьте лимиты (100 запросов/месяц на бесплатном плане)

# на сайте Shodan: Account → Usage

# Решение: используйте режим passive или купите Shodan Pro

Проблема: "Connection refused" при запуске веб-интерфейса
Причина: Порт 5001 уже занят другим приложением.
Решение:

Bash:

Код:

# Проверьте, не занят ли порт

netstat

-tulpn

|

grep

5001

# Используйте другой порт

python3 ./sf.py -l

127.0

.0.1:5002

# Для доступа с других машин в локальной сети

python3 ./sf.py -l

0.0

.0.0:5001

Проблема: Слишком много данных, браузер зависает
Причина: Включено слишком много модулей или выбран режим "All".
Решение:

Bash:

Код:

# Используйте фильтры в веб-интерфейсе

# Или экспортируйте в JSON/CSV для внешнего анализа

python3 ./sf.py -s target.com -u passive -o results.json -q

# Анализируйте данные в Python/Excel

Проблема: "SSL Certificate Verify Failed"
Причина: Проблемы с сертификатами SSL в корпоративной сети.
Решение:

Python:

Код:

# Временное решение (НЕ для продакшена!)

# В файле sf.py добавить перед импортами:

import

ssl

ssl

.

_create_default_https_context

=

ssl

.

_create_unverified_context

Правильное решение: Установите корневые сертификаты вашей организации.
Проблема: Медленная работа сканирования
Решение:

Уменьшите количество одновременных модулей: Settings → Global Settings → Thread Count (5-10)
Отключите медленные модули (например, sfp_torch при работе без Tor)
Используйте SSD для базы данных SpiderFoot
Увеличьте timeout для медленных источников

Проблема: Python версии 3.6 не поддерживается
Причина: SpiderFoot 4.0 требует Python 3.7+
Решение:

Bash:

Код:

# Обновите Python до версии 3.7 или выше

python3 --version

# Ubuntu/Debian

sudo

apt

update

sudo

apt

install

python3.9

# Или используйте Docker

docker run -p

5001

:5001 blacklanternsecurity/spiderfoot

Часто задаваемые вопросы
Как установить SpiderFoot на Windows 10/11?
Установите Python 3.7+ с официального сайта python.org, затем следуйте инструкциям в разделе Установка на Windows.
Краткая версия:

Код:

Код:

# После скачивания SpiderFoot

cd spiderfoot

pip install -r requirements.txt

python sf.py -l 127.0.0.1:5001

Откройте браузер и перейдите на http://127.0.0.1:5001
SpiderFoot vs Maltego — что лучше для начинающих?
SpiderFoot проще в освоении и бесплатен, идеален для автоматизированного сбора данных. Maltego лучше для визуального анализа, но требует больше времени на изучение и стоит $999/год для полной версии. Рекомендация: Начните с SpiderFoot, затем освойте Maltego для презентаций.
Какие бесплатные альтернативы SpiderFoot существуют?

Recon-ng — мощный CLI-фреймворк для OSINT
theHarvester — простой инструмент для поиска email и поддоменов
Amass — продвинутый поиск поддоменов от OWASP
Photon — веб-краулер для OSINT
Sherlock — поиск username по 300+ соцсетям

Можно ли использовать SpiderFoot без API-ключей?
Технически да, но вы получите только 20-30% функционала. Без API-ключей не работают Shodan, VirusTotal, HaveIBeenPwned и другие ключевые модули. Настоятельно рекомендуется потратить 30 минут на регистрацию в бесплатных сервисах — это критически важно для эффективной работы.
Как запустить SpiderFoot в Docker?

Bash:

Код:

# Скачать образ

docker pull blacklanternsecurity/spiderfoot

# Запустить с сохранением данных

docker run -p

5001

:5001

\

-v ~/spiderfoot:/var/lib/spiderfoot

\

blacklanternsecurity/spiderfoot

Откройте http://localhost:5001 в браузере.
Законно ли использовать SpiderFoot в России?
Сбор публичной информации (OSINT) законен. Однако активное сканирование чужих систем без разрешения может нарушать:

Статью 272 УК РФ (неправомерный доступ к компьютерной информации)
Закон 152-ФЗ (о персональных данных)

Всегда получайте письменное разрешение перед сканированием корпоративных сетей. Для обучения используйте специальные площадки (scanme.nmap.org, testphp.vulnweb.com).
Как экспортировать результаты из SpiderFoot в Excel?

Bash:

Код:

# Экспорт в CSV

python3 ./sf.py -s target.com -o results.csv -F CSV

# Конвертация в Excel через Python

python3 -c

"import pandas as pd; pd.read_csv('results.csv').to_excel('results.xlsx', index=False)"

Или используйте веб-интерфейс: Browse → Export → CSV, затем откройте в Excel.
Почему SpiderFoot не находит поддомены?
Проверьте:

Включены ли модули sfp_subdomain_enum, sfp_sublist3r
Есть ли API-ключи для Shodan, Censys (они критичны для поиска)
Используйте режим "Footprint" вместо "Passive"
Попробуйте специализированные инструменты: Amass, Subfinder, Assetfinder

Как настроить SpiderFoot для работы через прокси?
В веб-интерфейсе: Settings → Global Settings → HTTP Proxy
Формат:

Код:

http://user:pass@proxy.server:8080

SOCKS:

Код:

socks5://127.0.0.1:9050

Можно ли автоматизировать регулярные сканирования?
Да, через cron и CLI:

Bash:

Код:

# Добавить в crontab для ежедневного сканирования в 2:00

0

2

* * * /usr/bin/python3 /path/to/sf.py

\

-s example.com

\

-u passive

\

-o /path/to/reports/scan_

$(date +\%Y\%m\%d)

.json

\

-q

В чем разница между SpiderFoot и SpiderFoot HX?
SpiderFoot (Open Source):

Бесплатный
Self-hosted
1 пользователь
Ограничение: 1 цель за сканирование, 3 часа работы
~25% возможностей HX версии

SpiderFoot HX (Commercial):

Платный (цены по запросу)
Cloud-hosted
Множество пользователей
Без ограничений по целям и времени
Расширенная визуализация
Мониторинг изменений
Интеграция с командами
Дополнительные модули

Как обновить SpiderFoot до версии 4.0?

Bash:

Код:

# Если установлен через Git

cd

spiderfoot

git

pull origin master

pip3

install

-r requirements.txt --upgrade

# Если скачан архивом - скачайте новую версию:

# wget https://github.com/smicallef/.../v4.0.tar.gz (см. раздел "Установка на Linux")

tar

zxvf v4.0.tar.gz

cd

spiderfoot-4.0

pip3

install

-r requirements.txt

Заключение
SpiderFoot — мощнейший инструмент в арсенале специалиста по кибербезопасности и OSINT-аналитика. Его главные преимущества: автоматизация рутинных задач, огромное количество источников данных (200+ модулей) и гибкая настройка под конкретные задачи.

Если вы хотите системно развить навыки OSINT и построить собственный автоматизированный workflow — ознакомьтесь с «OSINT 2025: Полным руководством по инструментам, AI и автоматизации разведки».

Этот материал продолжает тему SpiderFoot, объясняя, как выстроить современный OSINT-процесс: от легальности и этики до AI-интеграции и автоматизации поиска. В нем есть карта инструментов, примеры рабочих сценариев и подборка дистрибутивов для OSINT-лаборатории.
Чек-лист для эффективной работы с SpiderFoot:

Установлен SpiderFoot версии 4.0
Настроены минимум 5-7 API-ключей (Shodan, VirusTotal, HaveIBeenPwned обязательно)
Изучены основные режимы работы (Passive, Footprint, Investigate)
Настроена работа через VPN или прокси
Отработан процесс экспорта данных для анализа
Изучены правовые аспекты использования в вашей юрисдикции
Создан набор шаблонов для типовых задач
Настроена интеграция с другими инструментами (Maltego, Recon-ng)

Помните: SpiderFoot — это инструмент сбора данных, а не анализа. Комбинируйте его с другими решениями для максимальной эффективности. И всегда соблюдайте законодательство и этические нормы при проведении исследований.

Освоение инструментов OSINT-разведки — важный шаг в карьере специалиста по информационной безопасности. Если вы нацелены на профессиональный рост в области пентестинга, рекомендую изучить материал о подготовке к сертификации OSCP, где навыки OSINT-разведки играют ключевую роль.

Делитесь в комментариях своими кейсами использования SpiderFoot и любимыми модулями. Какие источники данных вы считаете наиболее полезными?

Обновлено: Ноябрь 2025 | Версия SpiderFoot: 4.0 | Требования: Python 3.7+ — проверка контрагентов и партнеров

В отличие от коммерческих решений вроде Maltego, SpiderFoot полностью бесплатен в базовой версии, имеет удобный веб-интерфейс и часто превосходит конкурентов по объему собираемых сырых данных. Инструмент активно развивается сообществом и регулярно обновляется новыми модулями.
Оглавление

Whois-данные — владельцы доменов, даты регистрации, контактная информация
DNS-записи — полный анализ A, AAAA, MX, TXT, NS, CNAME записей
Поиск поддоменов — через bruteforce, словари и пассивные DNS-базы
Reverse DNS — определение доменов по IP-адресам

2. Поисковые системы и публичные источники
Поисковики:

Google, Bing, DuckDuckGo, Yandex — поиск упоминаний, кэшированных страниц, документов
Специализированные поисковики — GitHub, Reddit, архивы веб-страниц

Социальные сети:

LinkedIn, Twitter, Facebook, Instagram — поиск профилей по email и именам
Telegram, Discord — поиск публичных каналов и упоминаний

3. Базы утечек и уязвимостей
Проверка скомпрометированных данных:

HaveIBeenPwned — проверка email в известных утечках
Pastebin и аналоги — поиск паст с упоминанием целей
Базы утечек — Dehashed, IntelX (требуют платные API)

4. Сетевая разведка и Threat Intelligence
Сканеры интернета:

Shodan — открытые порты, сервисы, уязвимые системы, IoT-устройства
Censys — SSL-сертификаты, HTTP-заголовки, технологии сайтов
BinaryEdge — данные о сетевой инфраструктуре

Репутационные базы:

VirusTotal — проверка доменов и IP на вредоносную активность
AlienVault OTX — индикаторы компрометации
AbuseIPDB — база злоумышленных IP-адресов

Сканирование сайтов — извлечение email, телефонов, метаданных
SSL/TLS сертификаты — поиск альтернативных доменов через SAN
Технологии сайта — CMS, фреймворки, библиотеки
Web-архивы — история изменений сайта через Wayback Machine

Установка SpiderFoot на разные ОС
Установка на Linux (Ubuntu/Debian/Kali)
Вопреки распространенному мнению, SpiderFoot не предустановлен в Kali Linux, но доступен в репозиториях:

Bash:

Код:

# Для Kali Linux и Debian-based систем

sudo

apt

update

&&

sudo

apt

install

spiderfoot

# Запуск после установки

spiderfoot -l

127.0

.0.1:5001

Для установки из исходников (рекомендуется для последней версии):

Bash:

Код:

# Клонирование репозитория

git

clone https://github.com/smicallef/spiderfoot.git

cd

spiderfoot

# Установка зависимостей Python

pip3

install

-r requirements.txt

# Запуск

python3 ./sf.py -l

127.0

.0.1:5001

Установка на Windows
Для Windows потребуется предварительно установленный Python 3.6+:

Код:

Код:

# 1. Установите Python с python.org

# 2. Откройте PowerShell от администратора

# Клонирование репозитория

git clone https://github.com/smicallef/spiderfoot.git

cd spiderfoot

# Установка зависимостей

pip install -r requirements.txt

# Запуск

python sf.py -l 127.0.0.1:5001

Установка через Docker (универсальный метод)
Docker-контейнер — самый простой способ для любой ОС:

Bash:

Код:

# Скачивание и запуск официального образа

docker pull blacklanternsecurity/spiderfoot

docker run -p

5001

:5001 blacklanternsecurity/spiderfoot

# Или с сохранением данных

docker run -p

5001

:5001 -v /path/to/data:/var/lib/spiderfoot blacklanternsecurity/spiderfoot

Запустите веб-интерфейс:

Bash:

Код:

python3 ./sf.py -l 127.0 .0.1:5001
Откройте в браузере:

Код:

http://127.0.0.1:5001
Перейдите в настройки: Settings → API Key Manager
Получите бесплатные ключи для основных сервисов:

Shodan Pro ($49/месяц) — неограниченные запросы
IntelX (от $100/месяц) — доступ к базам утечек
Dehashed ($15/месяц) — поиск по утечкам паролей

Режимы работы: от базового до профессионального
SpiderFoot предлагает несколько предустановленных режимов работы (Use Cases) и возможность точечного выбора модулей:
1. Passive (Пассивная разведка)
Безопасный режим без прямого взаимодействия с целью. Использует только публичные источники и кэши.

Bash:

Код:

# CLI запуск

python3 ./sf.py -s example.com -u passive -o passive_scan.json

# Через веб-интерфейс

New Scan → Use Case:

"Passive"

→ Start Scan

Код:

python3 ./sf.py -s example.com -u footprint

Код:

python3 ./sf.py -s suspicious-domain.com -u investigate

Когда использовать: Анализ подозрительной активности, проверка IoC.
4. All (Полное сканирование)
НЕ РЕКОМЕНДУЕТСЯ! Запускает все модули, генерирует гигабайты данных.
Профессиональный подход: точечный выбор модулей

Bash:

Код:

# Только поиск поддоменов и их резолвинг

python3 ./sf.py -s example.com -m sfp_subdomain_enum,sfp_dnsresolve

# Только email и связанные домены

python3 ./sf.py -s example.com -t EMAILADDR,DOMAIN_NAME

# Экспорт в CSV для анализа

python3 ./sf.py -s example.com -u passive -o results.csv -F CSV

Код:

# Шаг 1: Пассивная разведка основного домена

python3 ./sf.py -s company.com -u passive -o company_passive.json

# Шаг 2: Анализ найденных поддоменов

python3 ./sf.py -s company.com -m sfp_subdomain_enum,sfp_shodan,sfp_censys

# Шаг 3: Проверка email-адресов сотрудников

python3 ./sf.py -s company.com -t EMAILADDR -m sfp_haveibeenpwned,sfp_hunter

Код:

# Комплексный анализ подозрительного домена

python3 ./sf.py -s phishing-site.com -u investigate

# Поиск связанной инфраструктуры через SSL-сертификаты

python3 ./sf.py -s phishing-site.com -m sfp_tlscert,sfp_crt

Код:

# Поиск по email

python3 ./sf.py -s target@example.com -t EMAILADDR

# Поиск в социальных сетях и утечках

python3 ./sf.py -s target@example.com -m sfp_socialprofiles,sfp_haveibeenpwned

Безопасность и OPSEC при работе
Критические правила безопасности
Правило №1: Никогда не сканируйте с личного/рабочего IP
Любое активное сканирование оставляет следы в логах целевых систем. Ваш IP-адрес будет записан.
Правило №2: Используйте промежуточную инфраструктуру

Bash:

Код:

# Вариант 1: Работа через VPN

# Подключитесь к VPN перед запуском SpiderFoot

# Вариант 2: Арендованный VPS

ssh

user@vps-server

# Запускайте SpiderFoot на VPS

# Вариант 3: Tor (медленно, но анонимно)

# В настройках SpiderFoot: Settings → Global Settings → Use Tor

Правило №3: Соблюдайте законодательство

Получите письменное разрешение на тестирование
Не сканируйте государственные ресурсы
Учитывайте законы страны размещения целевых систем

Настройка SpiderFoot для работы через Tor

Установите Tor:

Bash:

Код:

sudo apt install tor sudo service tor start
В веб-интерфейсе SpiderFoot:
- Settings → Global Settings
- Enable "Route requests through Tor"
- SOCKS Proxy: 127.0.0.1:9050
Проверьте анонимность:

Bash:

Код:

curl --socks5 127.0 .0.1:9050 https://check.torproject.org

Рекомендации по скрытности

Используйте режим "Passive" для первичной разведки
Растягивайте сканирование во времени (настройка delays)
Не используйте агрессивные модули без необходимости
Регулярно меняйте IP-адреса при длительных исследованиях

SpiderFoot vs Maltego и другие альтернативы
Сравнительная таблица OSINT-инструментов

ХарактеристикаSpiderFootMaltegoRecon-ngtheHarvesterЛицензияOpen SourceFreemiumOpen SourceOpen SourceИнтерфейсWeb + CLIGUICLICLIКоличество модулей200+50+ (transforms)100+30+ВизуализацияБазоваяОтличнаяОтсутствуе тОтсутствуетАвтоматизацияВысокаяСредняяВысокаяВысо каяСложность освоенияСредняяВысокаяСредняяНизк аяСтоимость Pro$899/год$999/годБесплатноБесплатно

Если вы хотите расширить свой арсенал практических средств для быстрой разведки, рекомендую ознакомиться со статьёй про самые актуальные OSINT-боты для новичков на античат . В материале собраны самые удобные Telegram-боты и онлайн-сервисы для анализа аккаунтов в соцсетях, поиска открытых данных и автоматизации рутинных задач — от Telegram и VK до Steam и Discord. Особое внимание уделено инструменту Sherlock для массового поиска по никнейму на 400+ платформах и ботам для локального логгирования. Отличный стартовый набор для тех, кто только начинает погружаться в OSINT-практику: выясняйте историю профиля, проверяйте утечки, интегрируйте дополнительные источники — и действуйте осмотрительно с точки зрения OPSEC и законодательства.
Когда использовать каждый инструмент
SpiderFoot — когда нужен максимальный охват источников и автоматизация:

Массовый сбор данных
Автоматизированные проверки безопасности
Регулярный мониторинг инфраструктуры

Maltego — когда важна визуализация и анализ связей:

Расследование сложных схем
Презентация результатов руководству
Анализ социальных связей

Recon-ng — для программистов и автоматизации:

Интеграция в скрипты
Кастомные модули
CLI-автоматизация

theHarvester — для быстрого поиска email и поддоменов:

Простые задачи разведки
Начальный этап пентеста
Обучение OSINT

Оптимальная связка инструментов

Код:

Код:

SpiderFoot (сбор данных) → Экспорт CSV/JSON → Maltego (визуализация) → Отчет

Код:

# Проверьте API-ключ

Settings → API Keys → Shodan API Key

# Проверьте лимиты (100 запросов/месяц на бесплатном плане)

# Решение: используйте режим passive или купите Shodan Pro

Проблема: "Connection refused" при запуске веб-интерфейса
Решение:

Bash:

Код:

# Проверьте, не занят ли порт

netstat

-tulpn

|

grep

5001

# Используйте другой порт

python3 ./sf.py -l

127.0

.0.1:5002

# Для доступа с других машин

python3 ./sf.py -l

0.0

.0.0:5001

Проблема: Слишком много данных, браузер зависает
Решение:

Bash:

Код:

# Используйте фильтры в веб-интерфейсе

# Или экспортируйте в JSON/CSV для внешнего анализа

python3 ./sf.py -s target.com -u passive -o results.json -q

Проблема: "SSL Certificate Verify Failed"
Решение:

Python:

Код:

# Временное решение (НЕ для продакшена!)

# В файле sf.py добавить:

import

ssl

ssl

.

_create_default_https_context

=

ssl

.

_create_unverified_context

Проблема: Медленная работа сканирования
Решение:

Уменьшите количество одновременных модулей: Settings → Global Settings → Thread Count (5-10)
Отключите медленные модули (например, sfp_torch при работе без Tor)
Используйте SSD для базы данных SpiderFoot

Часто задаваемые вопросы
Как установить SpiderFoot на Windows 10/11?
Установите Python 3.8+ с официального сайта python.org, затем откройте PowerShell от администратора и выполните:

Код:

Код:

git clone https://github.com/smicallef/spiderfoot.git

cd spiderfoot

pip install -r requirements.txt

python sf.py -l 127.0.0.1:5001

Откройте браузер и перейдите на http://127.0.0.1:5001
SpiderFoot vs Maltego — что лучше для начинающих?
SpiderFoot проще в освоении и бесплатен, идеален для автоматизированного сбора данных. Maltego лучше для визуального анализа, но требует больше времени на изучение и стоит $999/год для полной версии. Начните с SpiderFoot, затем освойте Maltego для презентаций.
Какие бесплатные альтернативы SpiderFoot существуют?

Recon-ng — мощный CLI-фреймворк для OSINT
theHarvester — простой инструмент для поиска email и поддоменов
Amass — продвинутый поиск поддоменов
Photon — веб-краулер для OSINT
Sherlock — поиск username по соцсетям

Можно ли использовать SpiderFoot без API-ключей?
Технически да, но вы получите только 20-30% функционала. Без API-ключей не работают Shodan, VirusTotal, HaveIBeenPwned и другие ключевые модули. Потратьте 30 минут на регистрацию в бесплатных сервисах — это критически важно.
Как запустить SpiderFoot в Docker?

Bash:

Код:

docker pull blacklanternsecurity/spiderfoot

docker run -p

5001

:5001 -v ~/spiderfoot:/var/lib/spiderfoot blacklanternsecurity/spiderfoot

Откройте http://localhost:5001 в браузере.
Законно ли использовать SpiderFoot?
Сбор публичной информации (OSINT) законен. Однако активное сканирование чужих систем без разрешения может нарушать законы о компьютерных преступлениях. Всегда получайте письменное разрешение перед сканированием корпоративных сетей.
Как экспортировать результаты из SpiderFoot в Excel?

Bash:

Код:

# Экспорт в CSV

python3 ./sf.py -s target.com -o results.csv -F CSV

# Открыть в Excel или конвертировать через pandas:

python3 -c

"import pandas as pd; pd.read_csv('results.csv').to_excel('results.xlsx')"

Почему SpiderFoot не находит поддомены?
Проверьте:

Включены ли модули sfp_subdomain_enum, sfp_sublist3r
Есть ли API-ключи для Shodan, Censys
Используйте режим "Footprint" вместо "Passive"
Попробуйте специализированные инструменты: Amass, Subfinder

Как настроить SpiderFoot для работы через прокси?
В веб-интерфейсе: Settings → Global Settings → HTTP Proxy
Формат:

Код:

http://user:pass@proxy.server:8080

или для SOCKS:

Код:

socks5://127.0.0.1:9050

Можно ли автоматизировать регулярные сканирования?
Да, через cron и CLI:

Bash:

Код:

# Добавить в crontab для ежедневного сканирования

0

2

* * * /usr/bin/python3 /path/to/sf.py -s example.com -u passive -o /path/to/reports/scan_

$(date +\%Y\%m\%d)

.json -q

Заключение
SpiderFoot — мощнейший инструмент в арсенале специалиста по кибербезопасности и OSINT-аналитика. Его главные преимущества: автоматизация рутинных задач, огромное количество источников данных и гибкая настройка под конкретные задачи.

Если вы хотите системно развить навыки OSINT и построить собственный автоматизированный workflow — ознакомьтесь с «OSINT 2025: Полным руководством по инструментам, AI и автоматизации разведки».

Этот материал продолжает тему SpiderFoot, объясняя, как выстроить современный OSINT-процесс: от легальности и этики до AI-интеграции и автоматизации поиска. В нем есть карта инструментов, примеры рабочих сценариев и подборка дистрибутивов для OSINT-лаборатории.
Чек-лист для эффективной работы с SpiderFoot:

[ ] Установлен SpiderFoot последней версии
[ ] Настроены минимум 5-7 API-ключей (Shodan, VirusTotal, HaveIBeenPwned обязательно)
[ ] Изучены основные режимы работы (Passive, Footprint, Investigate)
[ ] Настроена работа через VPN или прокси
[ ] Отработан процесс экспорта данных для анализа
[ ] Изучены правовые аспекты использования в вашей юрисдикции
[ ] Создан набор шаблонов для типовых задач
[ ] Настроена интеграция с другими инструментами (Maltego, Recon-ng)

Помните: SpiderFoot — это инструмент сбора данных, а не анализа. Комбинируйте его с другими решениями для максимальной эффективности. И всегда соблюдайте законодательство и этические нормы при проведении исследований.

Освоение инструментов OSINT-разведки — важный шаг в карьере специалиста по информационной безопасности. Если вы нацелены на профессиональный рост в области пентестинга, рекомендую изучить материал о подготовке к сертификации OSCP, где навыки OSINT-разведки играют ключевую роль.

Делитесь в комментариях своими кейсами использования SpiderFoot и любимыми модулями. Какие источники данных вы считаете наиболее полезными?