Como Usar o OpenOSINT Com o Bright Data Para Inteligência Web Automatizada

Aprenda como configurar o OpenOSINT, conectá-lo ao Bright Data e transformar consultas dork OSINT em resultados de busca ao vivo e páginas públicas extraídas.
15 min de leitura
OpenOSINT with bright data

Neste artigo sobre o OpenOSINT, você vai aprender:

  • O que é o framework OSINT.
  • O que é o OpenOSINT, seus principais recursos e ferramentas.
  • Como o Bright Data potencializa o OpenOSINT.
  • Como usar o OpenOSINT com o Bright Data, passo a passo.

Vamos começar!

O que é o OpenOSINT?

OSINT (Open-source intelligence) é a prática de coletar e analisar informações publicamente disponíveis para responder a uma questão investigativa. No contexto de scraping de dados, a coleta de dados é a parte familiar do processo. O OSINT adiciona um fluxo investigativo por cima: ele define o escopo, coleta informações, segue conexões, verifica descobertas e documenta os resultados.

OpenOSINT é um framework OSINT de código aberto, licenciado sob MIT e impulsionado por IA. O produto conecta utilitários OSINT existentes, APIs de inteligência, serviços de busca e capacidades de scraping de dados. Os usuários podem trabalhar por meio de um terminal interativo, uma interface de linha de comando, uma interface baseada em navegador, ou um servidor MCP para se conectar a ferramentas e terceiros compatíveis.

Sua arquitetura é construída sobre um design em camadas, onde nenhuma camada importa de uma acima dela. Isso garante execução modular de ferramentas e separação estrutural entre o raciocínio da IA e as chamadas de ferramentas:

A arquitetura do OpenOSINT

Principais Recursos do OpenOSINT

O software atende principalmente investigadores OSINT, pesquisadores de segurança e analistas que conduzem investigações autorizadas, fornecendo a eles o seguinte:

  • 20 ferramentas integradas: Investiga e-mails, nomes de usuário, domínios, endereços IP e números de telefone por meio de uma interface unificada que conecta utilitários OSINT, APIs de inteligência e serviços de coleta web.
  • Relatórios em Markdown e PDF: Salva automaticamente relatórios de investigação em Markdown e gera relatórios em PDF.
  • Execução paralela: Executa ferramentas complementares simultaneamente com a opção --parallel para coletar diferentes tipos de informação ao mesmo tempo.
  • Histórico de sessão persistente: Salva automaticamente sessões do terminal interativo e permite navegar por investigações anteriores por meio do comando history.
  • Backends de IA flexíveis: Executa inferência localmente por meio do Ollama, usa o Anthropic Claude, ou se conecta a um endpoint compatível com OpenAI.
  • Integração nativa com MCP: Expõe todas as 20 ferramentas de investigação por meio do servidor MCP nativo do OpenOSINT para uso por clientes de IA compatíveis, sem escrever código novo.

A tabela abaixo apresenta e descreve as ferramentas atualmente suportadas:

Ferramenta Impulsionada por Descrição da ferramenta
search_email holehe Verifica serviços online em busca de contas associadas a um endereço de e-mail. Ajuda os investigadores a identificar a presença do alvo nesses serviços.
search_username sherlock Busca um nome de usuário em mais de 300 plataformas e retorna perfis correspondentes para investigação adicional.
search_breach HaveIBeenPwned v3 API Verifica se um endereço de e-mail aparece em vazamentos de dados conhecidos e identifica os vazamentos e categorias de dados expostos.
search_whois python-whois Recupera informações de registro de domínio, incluindo detalhes disponíveis do titular, o registrador, datas de registro e expiração, e servidores de nomes.
search_ip ipinfo.io Recupera a geolocalização de um endereço IP, o número do sistema autônomo (ASN) e o hostname para ajudar os investigadores a entender seu contexto de rede.
search_domain sublist3r Enumera subdomínios associados a um domínio, ajudando investigadores a descobrir hosts relacionados, como servidores de e-mail, ambientes de desenvolvimento e endpoints de API.
generate_dorks nativo Gera 12 URLs de busca do Google direcionadas para um alvo. Prepara consultas para pesquisas futuras, mas não executa buscas nem faz chamadas de rede.
search_paste psbdmp.ws Busca em dumps indexados do Pastebin por menções a um alvo e retorna referências correspondentes para revisão adicional.
search_phone phoneinfoga Recupera informações sobre um número de telefone, incluindo seu país, operadora e tipo de linha. Aceita números no formato internacional E.164.
search_shodan Shodan API Consulta um endereço IPv4 para recuperar portas expostas, banners de serviço e vulnerabilidades relatadas. Também suporta buscas por palavra-chave e banner para descobrir infraestrutura correspondente.
search_virustotal VirusTotal API v3 Verifica um endereço IP, domínio, URL ou hash de arquivo contra resultados de mais de 70 mecanismos antivírus. Detecta automaticamente o tipo de entrada e relata veredictos de segurança.
search_ip2location IP2Location.io API Recupera geolocalização de IP, informações de ISP e ASN. O Plano de Segurança do provedor adiciona indicadores de VPN, proxy, Tor e datacenter. Esta integração é patrocinada.
search_censys Censys Search API Investiga infraestrutura exposta à internet. Para endereços IPv4, recupera portas, serviços e informações de ASN; para domínios, busca informações de certificado, incluindo nomes alternativos e emissores.
search_abuseipdb AbuseIPDB v2 API Verifica a reputação de abuso de um endereço IP e retorna uma pontuação de confiança de abuso, contagem de relatórios, país, ISP e o timestamp do último relatório.
search_github GitHub REST API Recupera perfis e repositórios públicos para um nome de usuário e descobre endereços de e-mail em dados de commit. Também suporta buscas por palavra-chave para usuários e repositórios.
search_dns dnspython (nativo) Consulta registros A, AAAA, MX, NS, TXT, CNAME e SOA para examinar a configuração DNS de um domínio. Também analisa configurações de segurança de e-mail SPF, DMARC e DKIM.
search_gdelt_geo GDELT GEO 2.0 API Recupera cobertura de notícias geolocalizadas em todo o mundo e retorna saída GeoJSON, permitindo que investigadores trabalhem com resultados de notícias que incluem informações geográficas.
search_dorks_live API SERP do Bright Data Executa consultas dork do Google e retorna resultados de busca estruturados com títulos, URLs e trechos. Ao contrário do generate_dorks, ele realiza buscas ao vivo em vez de apenas preparar URLs de busca.
scrape_url Web Unlocker do Bright Data Busca páginas web públicas por meio de um serviço que lida com barreiras de acesso, como Cloudflare e CAPTCHAs, e retorna o conteúdo da página como Markdown limpo.
search_footprint API SERP do Bright Data Detecta se um alvo é um endereço de e-mail, nome de usuário, domínio, número de telefone ou nome completo, e então executa consultas do Google sob medida. Retorna resultados estruturados e nós e arestas de Gráfico de Correlação de Entidades para domínios e perfis descobertos.

O Que o OpenOSINT Faz?

Graças aos seus recursos, o produto suporta vários tipos de pesquisa:

  • Pesquisa de contas e identidade: Encontre serviços associados a um endereço de e-mail, busque nomes de usuário em plataformas e examine perfis e repositórios públicos do GitHub.
  • Verificações de exposição a vazamentos: Consulte o HaveIBeenPwned em busca de vazamentos de dados associados a um endereço de e-mail.
  • Pesquisa de infraestrutura: Recupere registros WHOIS e DNS, descubra subdomínios e investigue serviços expostos à internet, portas e certificados.
  • Inteligência de IP e ameaças: Reúna informações de geolocalização e rede, verifique relatórios de abuso de IP e consulte serviços de segurança como Shodan, VirusTotal e Censys.
  • Busca e coleta web: Gere consultas de busca direcionadas, recupere resultados de busca ao vivo, extraia URLs públicas em Markdown e colete a pegada de mecanismo de busca pública de um alvo.

O agente de IA encadeia essas ações em uma investigação. Por exemplo, pode começar com um endereço de e-mail, descobrir um nome de usuário e buscar esse nome de usuário em outras plataformas. A aplicação executa as ferramentas e APIs subjacentes em vez de pedir ao modelo que gere resultados de pesquisa por conta própria.

Como o Bright Data Potencializa o OpenOSINT

O OpenOSINT se integra nativamente com o Bright Data por meio das três ferramentas nativas apresentadas acima. Por baixo dos panos, a integração chama as APIs REST do Bright Data. Isso significa que os usuários podem ativar a integração com uma chave de API e as configurações relevantes da zona do Bright Data.

Sem o Bright Data, o OpenOSINT suporta descoberta de contas, verificações de vazamento, pesquisa de infraestrutura e suas outras ferramentas independentes. Também pode gerar URLs de busca do Google direcionadas, mas gerar uma consulta não recupera seus resultados. O Bright Data fecha essa lacuna com suas ferramentas.

Juntos, ajudam a transformar investigações de consultas de busca preparadas em resultados de busca coletados e material-fonte legível, reduzindo a pesquisa manual e a extração de páginas. O benefício é prático: o Bright Data cuida da recuperação de buscas, extração de dados e acesso a páginas protegidas, enquanto o OpenOSINT coloca essa coleta dentro de um fluxo de investigação assistido por IA.

Usando o OpenOSINT Com e Sem a Integração do Bright Data

Para fins práticos, considere um analista revisando a exposição pública de sua organização em example.com.

Este é o fluxo sem usar o Bright Data:

  • O analista pede ao OpenOSINT para investigar example.com.
  • O agente pode usar o search_whois para recuperar detalhes de registro, o search_dns para examinar registros DNS e configurações de segurança de e-mail, e o search_domain para enumerar subdomínios.
  • Para estender a investigação ao conteúdo web indexado, o analista usa o generate_dorks para produzir URLs de busca do Google direcionadas.

O processo é direto. No entanto, a limitação é que o OpenOSINT não executa as buscas nem coleta resultados. Isso significa que o analista deve abrir essas URLs e revisar as páginas resultantes manualmente.

Portanto, o OpenOSINT suporta pesquisa de infraestrutura sem o Bright Data, mas seus links de busca gerados deixam as etapas de busca web e revisão de páginas para o analista.

Por outro lado, aqui está o fluxo de trabalho quando a integração do Bright Data está ativada:

  • O analista pede ao OpenOSINT para investigar example.com.
  • Além das verificações de infraestrutura, o search_footprint reconhece example.com como um domínio e executa consultas do Google específicas para domínio por meio da API SERP do Bright Data.
  • Retorna resultados estruturados para domínios e perfis descobertos.
  • O analista também pode usar o search_dorks_live para executar buscas direcionadas e coletar títulos, URLs e trechos. Se uma busca retornar uma página pública relevante (por exemplo, uma página de documentação indexada), o analista pode usar o scrape_url para recuperar seu conteúdo como Markdown limpo por meio do Web Unlocker, que lida com barreiras de acesso, como Cloudflare e CAPTCHAs.

Assim, nesse caso, o analista pode coletar resultados de busca e recuperar páginas-fonte relevantes dentro do OpenOSINT, em vez de abrir manualmente cada busca e copiar o conteúdo da página. Além disso, o software retorna os resultados tanto em Markdown quanto em PDF, prontos para serem compartilhados com as partes interessadas.

Construindo um Fluxo de Trabalho OSINT Com o OpenOSINT e o Bright Data: Tutorial Passo a Passo

Nesta seção, você aprenderá como usar o OpenOSINT. O site-alvo é https://openosint.tech/:

O site-alvo

NOTA: O proprietário do site, que é o desenvolvedor do próprio OpenOSINT, concedeu permissão para usá-lo como site-alvo e para relatar os resultados neste artigo.

Siga os próximos passos para descobrir como instalar e usar o OpenOSINT via REPL.

Requisitos

Para reproduzir o tutorial, seu sistema deve atender aos seguintes requisitos:

Os requisitos foram atendidos. Você está pronto para instalar o software.

Etapa nº 1: Instale o OpenOSINT

Crie uma pasta em sua máquina:

mkdir openosint-project

Navegue até a pasta:

cd openosint-project

Crie um ambiente virtual:

python -m venv venv

No macOS ou Linux, ative o ambiente virtual com:

source venv/bin/activate

Ou, no Windows:

./venv/Scripts/activate

Em seguida, instale o OpenOSINT em sua versão que usa a OpenAI:

pip install "openosint[openai]" sublist3r

NOTA: Atualmente, a configuração padrão usa LLMs da Anthropic. Se preferir usar essa versão, o comando de instalação é: pip install openosint.

Muito bem! O produto está instalado. Você está pronto para configurá-lo.

Etapa nº 2: Defina Suas Variáveis da OpenAI e do Bright Data

Antes de usar o OpenOSINT, você deve configurá-lo definindo algumas variáveis. Para isso, crie um arquivo .env em sua pasta openosint-project/. Dentro dele, escreva o seguinte:

OPENAI_API_KEY="<sua-chave-de-api-openai>"
OPENAI_BASE_URL="https://api.openai.com/v1"
OPENAI_MODEL="gpt-4o" 
BRIGHTDATA_API_KEY="<sua-chave-de-api-bright-data>"
BRIGHTDATA_SERP_ZONE="<sua-zona-serp-bright-data>"
BRIGHTDATA_UNLOCKER_ZONE="<sua-zona-unlocker-bright-data>"

Isto é o que o arquivo .env que você criou define:

  • OPENAI_API_KEY é a variável que armazena sua chave de API da OpenAI.
  • OPENAI_BASE_URL é a URL base que o OpenOSINT usa internamente para fazer a chamada de API para a OpenAI. Deixe seu valor como está acima.
  • OPENAI_MODEL permite que você use qualquer modelo da OpenAI de sua escolha.
  • BRIGHTDATA_API_KEY é a variável que armazena sua chave de API do Bright Data. Este parâmetro não é obrigatório para usar o OpenOSINT. Mas você deve defini-lo se quiser usar as ferramentas do Bright Data no OpenOSINT.
  • BRIGHTDATA_SERP_ZONE permite que você use as ferramentas search_dorks_live e search_footprint.
  • BRIGHTDATA_UNLOCKER_ZONE libera o uso da ferramenta scrape_url.

Para criar uma chave de API do Bright Data, navegue até Web Access > My APIs e clique em Create API:

A seção de APIs no painel do Bright Data

Selecione SERP API, clique em Continue, e pronto:

Criando uma nova chave de API

Referindo-se ao arquivo .env acima, as variáveis que terminam com ZONE representam o nome da chave de API que você definiu. Por exemplo, considere a seguinte chave de API:

O nome da chave de API

A imagem acima mostra que o nome dela é “serp_api1”. Nesse caso, você precisaria escrever o seguinte no arquivo .env:

BRIGHTDATA_SERP_ZONE="serp_api1"

Sua pasta openosint-project/ agora tem a seguinte estrutura:

openosint-project/
   ├── .env
   └── venv/

Perfeito. Você definiu suas configurações. Tudo está pronto para um teste inicial.

Etapa nº 3: Investigue um Alvo Usando o REPL do OpenOSINT

Para usar o REPL do OpenOSINT com um modelo da OpenAI, inicie-o via CLI da seguinte forma:

openosint --provider openai

Abaixo está o que você verá:

A CLI quando você executa o OpenOSINT pela primeira vez

Invoque a função de ajuda para aprender como usar o software:

A função de ajuda do OpenOSINT

O uso básico requer investigar o site-alvo. Para isso, digite a URL que lhe interessa:

Os resultados de um uso básico via REPL

Quando o processo for concluído, você encontrará uma pasta chamada reports/ dentro de openosint-project/. É lá que você encontrará os relatórios em Markdown e PDF criados pelo OpenOSINT. Abaixo está uma imagem do relatório parcial em PDF:

O relatório em PDF do OpenOSINT

Ótimo. Você chegou a um primeiro exemplo. Hora de inserir o Bright Data na equação.

Etapa nº 4: Execute Buscas ao Vivo Com o Bright Data

Digamos que você queira usar o search_dorks_live. Esta ferramenta executa consultas dork do Google ao vivo via API SERP do Bright Data, retornando resultados estruturados (título, URL, trecho). Para usá-la, digite o seguinte:

search_dorks_live openosint.tech

A imagem mostra o que a ferramenta retorna via linha de comando:

Os resultados de usar o OpenOSINT com o Bright Data via REPL

No parágrafo anterior, a investigação básica recuperou dados DNS, mas não conseguiu concluir as verificações de WHOIS e subdomínio, limitando as descobertas. Ao usar a integração com o Bright Data, o search_dorks_live executou consultas do Google ao vivo e retornou resultados acionáveis, incluindo GitHub, LinkedIn e os perfis do desenvolvedor. É isso que realmente transforma links de busca manuais em inteligência imediatamente utilizável.

Et voilà! Você concluiu seu primeiro projeto usando o OpenOSINT e o Bright Data.

Outras Formas de Integrar e Executar o OpenOSINT

O OpenOSINT não se limita aos fluxos de trabalho de REPL e CLI mostrados acima neste artigo. Seu servidor MCP nativo expõe todas as suas ferramentas a clientes de IA compatíveis com MCP, permitindo que aplicações como Claude Code e Claude Desktop invoquem utilitários OSINT diretamente durante uma conversa.

O OpenOSINT também suporta diferentes preferências de tempo de execução:

  • Com o Docker Compose, as equipes podem empacotar a aplicação e suas dependências em um ambiente reproduzível, executar comandos únicos, solicitar saída em JSON e persistir relatórios gerados.
  • A interface web opcional fornece um chat de IA baseado em navegador com saída de ferramenta em streaming, cartões de resultado inline e temas claro e escuro. Pode se conectar ao Ollama para inferência totalmente local ou a endpoints compatíveis com OpenAI. Essas opções oferecem aos engenheiros uma interface conveniente para testar ferramentas e revisar resultados antes de incorporar fluxos de trabalho à automação de produção.

Conclusão

Neste artigo, você aprendeu o que é o OpenOSINT, quais ferramentas de investigação ele suporta e como usá-lo por meio de seu REPL interativo. Você também explorou suas outras capacidades de integração, bem como as demais formas de executá-lo.

Como você aprendeu, o Bright Data potencializa o OpenOSINT com resultados ao vivo do Google e extração confiável de páginas públicas, mesmo quando barreiras de acesso, como CAPTCHAs, complicam a coleta de dados. Isso transforma consultas dork estáticas em inteligência acionável dentro de um fluxo de trabalho único assistido por IA.

Crie uma conta no Bright Data gratuitamente hoje e transforme suas investigações OSINT em fluxos de trabalho automatizados de inteligência web.