A infraestrutura por trás da nossa prática de GEO. Milhares de prompts por dia, em todos os principais LLMs, sem precisar monitorar um único scraper.
TL;DR
- A Airfleet criou seu próprio monitoramento de visibilidade de IA para ver como as marcas aparecem no ChatGPT, Claude, Gemini e Perplexity
- As ferramentas prontas não conseguiam atingir a escala ou o nível de detalhe que queríamos, e nossos próprios scrapers baseados em navegador continuavam quebrando com captchas, trocas de modelos e mudanças de interface.
- Agora rodamos toda a operação na Bright Data. Milhares de prompts por dia, uma API consistente em todos os LLMs, e funciona mesmo quando as plataformas de IA mudam suas interfaces.
- O fit foi técnico e humano. O produto escalou rapidamente, e o interesse genuíno de um profissional de marketing da Bright Data no nosso caso de uso transformou nossa curiosidade em uma parceria real.
- Desde então, tornou-se infraestrutura central em nossa pesquisa de SERP, pipeline de conteúdo e fluxos de trabalho de agentes, incluindo um estudo de cibersegurança que rodou quase um milhão de prompts.
Rodamos nosso trabalho de visibilidade de IA na Bright Data porque funciona
Airfleet é uma agência B2B de desenvolvimento, design e serviços de websites. Criamos e otimizamos sites que geram pipeline para empresas de tecnologia B2B, e uma parte crescente desse trabalho é entender como nossos clientes aparecem nas respostas de IA e ferramentas LLM, não apenas na busca.
Para fazer isso bem, rodamos nosso próprio monitoramento de visibilidade de IA nos principais LLMs, incluindo ChatGPT, Claude, Gemini e Perplexity. Observamos como as marcas são citadas, quais fontes influenciam essas respostas e o que realmente muda um resultado. O motor por trás de tudo isso é a Bright Data.
Explicaremos como chegamos a construir nossa própria ferramenta. Mas a conclusão é que a Bright Data nos ajudou a escalar e minimizou as lacunas de dados irritantes que tínhamos com outras ferramentas de monitoramento de GEO do mercado. Rodamos milhares de prompts por dia através dela, e não gastamos tempo mantendo a ferramenta funcionando.
“Não somos uma empresa de produto. Criamos produtos para a agência poder entregar serviços. Não temos tempo para ajustes ou para descobrir por que algo não está funcionando. Precisamos de algo que simplesmente funcione.” – Elad Hefetz, CEO da Airfleet
O que queríamos construir e onde tudo quebrou pela primeira vez
Começamos com um objetivo direto. Queríamos ver como as marcas aparecem nas respostas de IA na escala de uma categoria inteira, não uma lista rastreada de trinta ou cem prompts.
Analisamos primeiro as ferramentas de visibilidade de IA existentes. A maioria era sólida. O problema era o teto. Se você quer entender um setor inteiro, precisa de milhares de prompts em muitas empresas, muitos subtópicos e muitas regiões, e as ferramentas prontas ou não conseguiam essa amplitude ou cobravam por prompt para chegar lá. Então decidimos construir a nossa própria.
Foi aí que encontramos o problema real. Quando começamos a buscar respostas pelas APIs oficiais, as respostas não correspondiam ao que um usuário real vê.
“Rapidamente percebemos que consultar o ChatGPT via API dá uma resposta muito diferente de fazer um prompt na web. Há uma camada sobre o modelo que muda como ele responde. O mesmo vale para Gemini, Claude e os demais.” – Elad Hefetz, CEO da Airfleet
Se a resposta da API não é a resposta que seu comprador vê, são dados errados. Então fizemos o óbvio e começamos a usar navegadores reais, agindo como humanos para capturar a resposta real. E foi aí que tudo quebrou.
Captchas. Pontos de quebra. Novos lançamentos de modelos. Mudanças de interface. Qualquer um deles podia derrubar um scraper, e manter uma frota de automações de navegador funcionando em todos os LLMs virou um trabalho em tempo integral que não queríamos. Tentamos uma alternativa mais barata para carregar esse peso primeiro. Ela não se sustentou da forma que precisávamos.
Por que escolhemos a Bright Data
Dois fatores importavam na escolha, e eram os mesmos dois que nos estavam quebrando: escala e estabilidade.
A Bright Data resolveu ambos rapidamente. A implementação foi simples, e a API era consistente entre os LLMs, então um padrão de chamada cobria ChatGPT, Claude, Gemini e Perplexity em vez de uma integração separada para cada um. Uma vez funcionando, continuou funcionando.
“Mesmo quando o ChatGPT muda sua interface, continua funcionando. Não precisamos construir mecanismos de fallback para quando um scraper quebra. Simplesmente usamos.” – Elad Hefetz, CEO da Airfleet
Houve um benefício que não planejamos. Junto com as respostas, começamos a obter metadados que não achávamos que poderíamos extrair de uma sessão de navegador.
“Obtemos as consultas de busca finais e as fontes que o ChatGPT usou para construir sua resposta. Essa é a informação contra a qual realmente otimizamos.” – Elad Hefetz, CEO da Airfleet
O fit não foi apenas técnico. Elad entrou pelo plano gratuito para testar se a abordagem funcionaria, mais curioso do que comprometido, como a maioria das avaliações iniciais começa. Então um profissional de marketing da Bright Data entrou em contato. Ele havia percebido que Elad tinha começado e depois pausado, enviou créditos para tentar novamente, mostrou como outras empresas estavam usando o produto e perguntou, genuinamente, o que ele estava tentando fazer.
“Ele demonstrou interesse real no que estávamos construindo, e isso mudou completamente como eu via a Bright Data como empresa.” – Elad Hefetz, CEO da Airfleet
Foi nessa conversa que a parceria realmente começou, construída em torno do nosso caso de uso e não de um contrato.
A Bright Data se tornou infraestrutura central, não apenas um scraper
Trouxemos a Bright Data para automatizar uma coisa: prompting baseado em navegador para o ChatGPT. Ela não ficou só nisso.
Depois de ter uma camada de navegador confiável para IA, começamos a usá-la em todo lugar onde essa camada estava faltando. Usamos para ler páginas de resultados do Google no nosso trabalho de SEO. Usamos como o navegador por trás dos nossos agentes de IA, para que os agentes possam acessar a web aberta sem serem bloqueados.
“As pessoas assumem que qualquer IA está conectada à internet. Não está. Se você quer que um agente faça pesquisa real na web, precisa construir uma camada de navegador para ele. Isso é difícil de construir, e a Bright Data simplesmente fornece isso.” – Elad Hefetz, CEO da Airfleet
Essa camada agora alimenta diretamente nosso pipeline de conteúdo. Quando o pipeline pesquisa um tópico, verifica o que está ranqueando, monitora subreddits para o que uma categoria está realmente discutindo, coleta sinais de atividade pública no LinkedIn ou faz scraping do site de um concorrente para ver o que mudou, a Bright Data está fazendo a busca por baixo. Se nossa IA tentasse acessar essas fontes sozinha, seria bloqueada. A Bright Data fica entre a IA e a internet e abre a web de volta para ela.
Um estudo de cibersegurança que não poderíamos ter realizado de outra forma
O exemplo mais claro é um projeto de pesquisa na categoria de cibersegurança. Queríamos entender o que realmente influencia as respostas de IA ao longo do funil, desde perguntas amplas no topo do funil até prompts na fase de compra na base do funil. Isso exige volume que nenhuma ferramenta pronta poderia nos fornecer.
Usamos a Bright Data para rodar o monitoramento no volume que o estudo exigia: mais de 371.000 respostas de IA, em 21 empresas de cibersegurança e mais de 5.000 fontes de terceiros, repetidas ao longo do tempo e no ChatGPT, Gemini e Perplexity. Depois analisamos o que a IA citava em cada etapa. Alguns achados se destacaram:
- Plataformas de avaliação são a maior alavanca. G2, Peerspot, Capterra, Software Advice e TrustRadius mostraram o maior aumento nas menções de marcas nas etapas de consideração e decisão, frequentemente dezenas de pontos percentuais acima da linha de base da etapa. Quando a IA cita uma delas, geralmente nomeia uma marca específica junto.
- Reddit é a fonte mais citada em todas as etapas do funil. A IA se apoia em discussões reais de usuários mais do que em quase qualquer outra coisa ao decidir quais marcas destacar.
- A Wikipedia ganha suas citações por definições, não por recomendações. Aparece em consultas educacionais, mas sua influência nas menções de marcas fica negativa conforme os prompts ficam mais comerciais.
- O topo do funil é terreno magro. Com uma taxa de menção de linha de base de 7,9%, prompts amplos de conscientização raramente surfaceiam uma marca específica, o que os torna o lugar errado para medir se você está vencendo.
Nenhuma dessas conclusões vem de olhar para alguns poucos prompts. Elas vêm de rodar a categoria em escala, que é exatamente o que a Bright Data tornou possível.
Para onde estamos levando a Bright Data a seguir
O monitoramento de visibilidade de IA agora é uma parte permanente de como trabalhamos, não um estudo pontual, e a Bright Data é a camada sobre a qual construímos o restante. À medida que mais do tráfego na web migra de humanos para agentes e crawlers, a capacidade de ver a web da forma como esses sistemas a veem, e no volume deles, só se torna mais central para o que fazemos. Planejamos continuar ampliando o que monitoramos e automatizamos sobre ela.
