O principal obstáculo para a Web agêntica ainda é a “Web antiga”: dinâmica, com muitos JS, CAPTCHAs, paywalls, pop-ups, limitação e HTML confuso que os agentes não conseguem analisar de forma confiável. É por isso que criamos o Web MCP: para que os agentes possam acessar e interagir com a Web antiga. É também por isso que decidimos dar um passo a mais e disponibilizar os principais recursos gratuitamente.
Como principal desenvolvedor e mantenedor do Web MCP da Bright Data, sabíamos desde o início que esse não era um MCP “comum”. A maioria dos servidores MCP envolve um único SaaS/API (como Gmail, HubSpot, GitHub), que é um problema organizado e estruturado: um esquema e um modelo de autenticação, entradas e saídas previsíveis e ações repetíveis com erros documentados.
Mas o Web MCP abrange toda a Internet.
Ele se integra à Web aberta, onde cada site é sua própria “API” variável, as páginas são renderizadas no lado do cliente, a rolagem infinita aparece e os CAPTCHAs ou a limitação podem mudar o comportamento a cada minuto. O Web MCP absorve esse caos com navegação e busca resilientes, sessões gerenciadas e controle de região, além de extração que transforma HTML confuso em JSON/Markdown utilizável.
O que é o Web MCP?
O Web MCP permite que seu agente navegue na Web real. Ele lida com páginas renderizadas em JS e CAPTCHAs e, em seguida, retorna um texto limpo que seu modelo pode usar. Pense nisso como “acesso à Internet para agentes”, empacotado como ferramentas de MCP.
Por que gratuito? O plano Free oferece exatamente o que você precisa para começar a criar e testar sem atrito de custo (além de o suficiente para seus usos diários). Ele inclui 5.000 solicitações/mês para o modo Rapid, expondo as duas ferramentas cotidianas: resultados de pesquisa e “scrape as Markdown”. Isso é perfeito para a maioria dos agentes encontrar páginas e lê-las de forma confiável.
Você pode atualizar para o Pro mais tarde, quando estiver pronto para cliques, rolagem, capturas de tela e extração de JSON estruturado (defina PRO_MODE na versão local ou adicione &pro=1 na versão remota).
Início rápido e documentos
Tutoriais guiados
- Raspagem da Web com servidores MCP (como fazer)
- Passo a passo do Gemini CLI + Web MCP
- OpenAI Codex CLI + Web MCP
Engenharia de um servidor MCP em escala da Web
Enquanto os MCPs “regulares” oferecem ferramentas determinísticas em APIs fixas, o Web MCP oferece ferramentas tolerantes a falhas em uma Internet caótica para que os agentes ainda possam agir de forma confiável. Fazer isso corretamente implica grandes desafios de engenharia e responsabilidade real.
O envio de um MCP para toda a Web significava que tínhamos que atender a três padrões rigorosos:
- Seja leve e inteligente – para que você não queime tokens apenas por se conectar
- Ser dimensionável e eficiente, para que funcione na carga de produção, não apenas em demonstrações
- Seja seguro e compatível, para que as equipes possam implementar com confiança
1) Ser leve e inteligente (eficiência de token sem simplificar)
Originalmente, enviamos o MCP com mais de 60 ferramentas, mas os primeiros usuários nos ensinaram um insight valioso: cerca de 90% das chamadas de agentes usavam apenas duas ferramentas: search e scrape-as-markdown.
No entanto, os MCPs típicos enumeram dezenas de ferramentas logo de início. No MCP, a primeira etapa é /list/tools. Com mais de 60 ferramentas, esse aperto de mão sozinho custa cerca de 17.000 tokens 🤯 antes de fazer qualquer trabalho real. Isso também confundia os modelos e levava a escolhas ruins de ferramentas, o que tornava o trabalho mais lento e menos consistente.
Aprendemos que os custos do token durante o handshake afugentavam os usuários muito mais do que a latência do tempo de execução, e que o manuseio do CAPTCHA era uma questão de jogo: sem ele, muitas páginas do mundo real simplesmente falhavam.
Nossa resposta: dois modos.
Modo rápido (padrão)
Exatamente duas ferramentas:
search_engine→ retorna resultados SERPscrape_as_markdown→ obtém qualquer URL como Markdown limpo e amigável ao LLM
Aperto de mão quase nulo: metadados mínimos da ferramenta, confusão mínima
Abrange a grande maioria das tarefas de pesquisa e extração
Rápido e adequado para casos de uso em tempo real
Por que scrape_as_markdown é importante
A maioria das integrações na “Web” é interrompida nesse ponto devido a CAPTCHAs e bloqueios, que não funcionam na Web moderna.scrape_as_markdown:
- Funciona em sites com muitos JS (renderização completa)
- Solução automática de CAPTCHAs
- Retorna Markdown limpo que os LLMs digerem muito melhor do que HTML bruto
Quando você precisar de JSON estruturado (por exemplo, dados de produtos), mude para o Pro e use os raspadores verticais.
Modo Pro (opcional)
- A superfície completa de cerca de 60 ferramentas (comércio eletrônico, redes sociais, notícias, imóveis, finanças, LinkedIn/HR e muito mais)
- Usa a API de raspagem da Web da Bright Data para retornar JSON estruturado quando o fluxo de trabalho exige isso
- Você opta por participar quando a estrutura vertical justifica o custo do token
Resultado: partidas mais rápidas, menos tokens e agentes mais felizes por escolherem a ferramenta certa.
Como ativar o Pro
- Remoto/hospedado: acrescente
&pro=1ao URL da conexão - STDIO/self-hosted: definir
PRO_MODE = true
2) Ser dimensionável e eficiente (desenvolvido para o tráfego do mundo real)
Mantivemos a orquestração fora do hot path, de modo que o tempo de solicitação vem do site de destino, não do Web MCP.
Visão geral da arquitetura:
- Ponto final único de MCP com uma superfície de ferramenta de dois modos
- Orquestração de navegador sem cabeça para páginas com muitos JS ou se for necessária qualquer interação com o site de destino
- Solução automática de CAPTCHAs e gerenciamento resiliente de sessões
- Concorrência ajustável e isolamento por conta
Na prática:
- Baixa sobrecarga de handshake (modo Rapid) → tempo mínimo de inicialização
- Raspagem robusta em sites reais e ricos em JS
- Espaço operacional para trabalhos em lote e agentes de alto QPS
3) Estar seguro e em conformidade (com base no programa GDPR da Bright Data)
O Web MCP é um invólucro fino sobre as APIs da Bright Data, de modo que você herda a postura de privacidade, segurança e governança da plataforma (GDPR/CCPA) em vez de reimplementar os controles no seu agente. Leia mais em nosso Trust Center.
Você está executando a infraestrutura e as políticas aprovadas da Bright Data – a mesma configuração usada pelos clientes de produção – enquanto a camada de MCP permanece mínima. A base jurídica da plataforma é comprovada, com vitórias em processos judiciais com a Meta e a X Corp, apoiando o acesso responsável a dados públicos da Web.
O que não está (intencionalmente) dentro do Web MCP
O Web MCP não adiciona suas próprias camadas de isolamento, residência, redação de PII ou limitação de taxa; essas proteções são tratadas pelas APIs/políticas da Bright Data e/ou devem ser implementadas em seu agente/aplicativo de acordo com sua postura de risco.
Início rápido e fácil
from langchain_mcp_adapters.client import MultiServerMCPClient
from langgraph.prebuilt import create_react_agent
client = MultiServerMCPClient({
"brightdata": {
"url": "https://mcp.brightdata.com/sse?token=<API_TOKEN>", # add &pro=1 to opt into Pro
"transport": "sse",
}
})
tools = await client.get_tools() # Rapid mode returns the slim, high-value set
agent = create_react_agent("openai:gpt-4.1", tools)
# Your agent can now search and extract live sites reliably:
resp = await agent.ainvoke({"messages": "Find the latest guidance on US passport renewal fees and summarize the changes."})Livre significa “sem desculpas”
Se o seu agente não estiver conectado à Web em tempo real, ele estará confiantemente errado em tarefas urgentes. Com o nível gratuito do Web MCP, você pode corrigir isso hoje mesmo.
