Aprimore o Databricks Agent Bricks com o Web MCP da Bright Data

Neste artigo, você aprenderá:

• O que é o Databricks Agent Bricks e o valor que ele traz para o desenvolvimento de agentes de IA.
• Por que os agentes de IA do Databricks se tornam muito mais poderosos quando combinam dados empresariais internos com inteligência externa da web.
• Como equipar um agente de IA no Agent Bricks com essas capacidades conectando-o ao Web MCP da Bright Data.

Vamos começar!

O que é o Databricks Agent Bricks?

Agent Bricks é um serviço do Databricks para construir, implantar e governar agentes de IA de nível de produção baseados nos dados da sua empresa. Combinando contexto empresarial, modelos de IA e ferramentas externas, ele permite que organizações criem agentes de IA confiáveis, escaláveis e governados.

É especialmente útil para cenários como análise de documentos, suporte ao cliente, pesquisa, automação de fluxos de trabalho e inteligência empresarial. Os principais recursos que oferece são:

• Agentes de IA com consciência empresarial: Utiliza esquemas de negócios, definições e contexto semântico para gerar respostas mais precisas e fundamentadas.
• Múltiplos tipos de agentes: Suporta assistentes de conhecimento, pipelines de extração de informações, agentes supervisores para fluxos de trabalho em múltiplas etapas e agentes Python totalmente personalizados.
• Suporte a múltiplos modelos: Acesse modelos da OpenAI, Anthropic, Google, Meta e provedores de código aberto por meio de uma única plataforma com lógica de alternância e fallback de modelos.
• Integrações externas: Conecta-se a servidores MCP, APIs e sistemas empresariais para estender as capacidades dos agentes além dos dados internos.
• Governança e segurança: Integra-se ao Unity Catalog para aplicar permissões, linhagem, propriedade e controle de acesso granular.
• Avaliação e observabilidade: Inclui benchmarking automatizado, avaliação LLM-as-a-judge e rastreamento MLflow para depuração e monitoramento.

Por que os Agentes de IA do Databricks Precisam de Acesso à Web

Independentemente da plataforma utilizada para construí-los, os agentes de IA empresariais são tão capazes quanto as ferramentas que podem acessar. Isso ocorre porque todos os LLMs compartilham duas limitações principais:

• Conhecimento limitado: Os LLMs são treinados em conjuntos de dados estáticos que representam apenas um instantâneo do passado.
• Sem acesso nativo a sistemas externos: Por padrão, os LLMs não podem interagir com a web ou outros serviços no seu stack tecnológico.

Essa lacuna é resolvida equipando os agentes de IA com ferramentas, normalmente por meio de MCP ou integrações personalizadas. É por isso que o Databricks Agent Bricks suporta MCP.

Para resolver ambas as limitações, você precisa de um MCP que permita aos agentes de IA pesquisar na web, descobrir informações relevantes e extrair conteúdo de sites. É exatamente isso que o Web MCP da Bright Data oferece.

Bright Data Web MCP como a Solução

O Bright Data Web MCP expõe ferramentas que se conectam às APIs da Bright Data. É uma das integrações oficialmente suportadas no Databricks, o que significa que você pode encontrá-la diretamente no Databricks Marketplace:

No nível gratuito do modo Rapid (que inclui 5.000 solicitações gratuitas por mês), as ferramentas disponíveis no Web MCP incluem:

[Pro mode](https://github.com/brightdata/brightdata-mcp?tab=readme-ov-file#-pricing, modes) desbloqueia capacidades avançadas de extração estruturada para plataformas como Amazon, LinkedIn, Yahoo Finance, YouTube, Zillow, Google Maps e mais de 40 fontes. Também inclui ferramentas para automação de navegadores. Descubra todas as ferramentas do Web MCP.

O que diferencia a Bright Data é sua infraestrutura de nível empresarial, apoiada por uma rede de proxies com mais de 400 milhões de IPs residenciais. Isso suporta escalabilidade e concorrência ilimitadas, com taxa de sucesso de 99,95% e disponibilidade garantida por SLA de 99,99%.

Como Conectar o Databricks Agent Bricks ao Web MCP da Bright Data

Neste capítulo passo a passo, você será guiado pelo processo de configuração do Web MCP no Databricks. Em seguida, aprenderá como integrá-lo a um agente de IA do Databricks no Agent Bricks para habilitar capacidades de busca na web, descoberta e scraping.

Observação: Se você está buscando como acessar e consultar conjuntos de dados da Bright Data no Databricks, leia nosso artigo dedicado ao tema.

Siga as instruções abaixo!

Pré-requisitos

Para concluir esta seção do tutorial, certifique-se de ter:

• Uma conta no Databricks (é necessário um teste gratuito via configuração Express com cartão de crédito configurado).
• Uma conta na Bright Data com uma chave de API configurada. Consulte o guia oficial para gerar sua chave de API da Bright Data.

Para uma experiência mais tranquila, é recomendado que você também tenha:

• Compreensão básica de como o MCP funciona.
• Familiaridade com as ferramentas expostas pelo Bright Data Web MCP.

Passo #1: Instale o Bright Data Web MCP

Faça login na sua conta do Databricks. Você deverá ver o painel inicial do workspace:

Lembre-se de que o Bright Data Web MCP é uma integração oficialmente suportada disponível no Databricks Marketplace. Na barra lateral esquerda, selecione a opção “Marketplace” e clique em “View MCP listings”:

Você será redirecionado ao Databricks Marketplace. Na barra de pesquisa, digite “bright data” e selecione o listing “The web MCP”:

Na página “The web MCP” da Bright Data, revise os detalhes e clique em “Install” para adicioná-lo ao seu workspace:

Certifique-se de preencher o formulário de instalação com os seguintes detalhes:

• Connection name: bright-data-web-mcp (ou o nome que preferir)
• Host: https://mcp.brightdata.com (Importante: Verifique se a URL proposta corresponde a esta)
• Base path: /mcp
• Bearer token: Cole sua chave de API da Bright Data
• Credential type: Bearer token
• Port: 433

Por fim, clique em “Install” para adicionar o Bright Data Web MCP ao seu workspace do Databricks por meio da integração oficial. Ótimo!

Passo #2: Permitir Conexões com os Servidores da Bright Data

Após a instalação, você será redirecionado para a página bright-data-web-mcp. No entanto, pode notar que nenhuma ferramenta é detectada para o servidor MCP configurado:

Isso acontece porque o Databricks bloqueia conexões de saída para domínios externos por padrão, incluindo mcp.brightdata.com (necessário para o servidor Web MCP).

Para referência, o erro técnico subjacente é:

"Failed request to https://mcp.bringthdata.com:443/mcp. Error: Access to mcp.bringthdata.com is denied because of serverless network policy."

Para corrigir isso, você deve permitir explicitamente o acesso a mcp.brightdata.com para tráfego de saída serverless nas configurações da sua conta do Databricks. Comece abrindo o menu suspenso do workspace no canto superior direito e selecionando “Manage account”:

Vá para a seção “Security”, selecione “Serverless egress control” e clique em “Create new network policy”:

Dê um nome à política (por exemplo, bright-data-mcp) e escolha a opção “Restricted access to specific destinations”. Em seguida, adicione mcp.brightdata.com como destino permitido usando o botão “Add destination”:

Ative a política para todos os produtos serverless do Databricks e clique em “Create”:

Em seguida, vá para a página Workspaces, selecione seu workspace e clique no ícone de edição na seção suspensa “Networking”. Defina a política de rede como bright-data-mcp e clique em “Save”:

Retorne à página bright-data-web-mcp e atualize-a. Agora você deverá ver o Databricks carregando com sucesso as ferramentas do Web MCP:

Essas ferramentas correspondem às capacidades expostas pelo Web MCP no modo Rapid (gratuito). Muito bem!

Passo #3: Verifique se a Conexão do Web MCP Funciona

Na página bright-data-web-mcp, clique em “Try in Playground”. Isso abre uma interface de chat com IA com o servidor MCP já configurado.

Faça uma pergunta simples, como:

Scrape the https://example.com page as Markwon

Você deverá ver a IA chamando autonomamente a ferramenta scrape_as_markdown do Web MCP na URL especificada para concluir a tarefa:

O Markdown retornado (recuperado via ferramenta scrape_as_markdown apoiada pela API Web Unlocker da Bright Data) corresponde ao conteúdo visível na página de destino:

Isso confirma que a IA está usando corretamente as ferramentas do Web MCP e que a integração está funcionando conforme esperado. Perfeito!

Passo #4: Defina Seu Agente de IA do Databricks

Para acessar o serviço Databricks Agent Bricks, clique em “Agents” na barra lateral esquerda. Em seguida, adicione um novo agente de IA pressionando “Create Agent”:

Você será solicitado a escolher o tipo de agente que deseja criar. Para este tutorial, selecione “Supervisor Agent”:

Um agente supervisor é um sistema de orquestração multi-agente que coordena agentes de IA e ferramentas para resolver tarefas mais complexas.

Para conectar o Bright Data Web MCP, clique em “Add an External MCP” na seção “Tools and subagents”:

Em seguida, selecione a conexão bright-data-web-mcp que você configurou anteriormente:

Seu agente agora terá acesso às ferramentas do Bright Data Web MCP. Você pode repetir o mesmo processo para adicionar ferramentas adicionais, servidores MCP, Genie Spaces ou outras integrações.

Neste exemplo, o agente também foi conectado ao “Bakehouse Sales Starter Space”, um Genie Space integrado vinculado ao dataset Delta de exemplo samples.bakehouse.

Importante: Em produção, configure o agente para usar Genie Spaces personalizados conectados aos seus próprios datasets do Databricks. Você também deve personalizar o nome, as instruções e a descrição do agente para melhor alinhamento com seu caso de uso específico.

Ótimo! O único passo restante é testar seu agente de IA do Databricks com Web MCP.

Passo #5: Teste o Agente

Para verificar se seu agente de IA do Databricks está funcionando corretamente, experimente uma tarefa que combine dados empresariais internos com inteligência externa da web. Por exemplo, escreva:

Retrieve our revenue for May 2024. Then search online for bakery industry revenue data for the same period. Scrape the most relevant sources and produce a report highlighting both internal revenue performance and external market insights, including trends, expectations, and overall industry conditions.

Execute o prompt e você deverá ver algo assim:

Especificamente, o agente de IA do Databricks:

1. Consultou o “Bakehouse Sales Starter Space” para recuperar dados de receita do período solicitado.
2. Chamou a ferramenta search_engine do Bright Data Web MCP (alimentada pela API SERP da Bright Data) para coletar resultados de pesquisa relevantes do Google sobre o desempenho do setor de panificação.
3. Identificou as fontes mais relevantes dos resultados retornados.
4. Extraiu conteúdo dessas páginas usando a ferramenta scrape_as_markdown.
5. Combinou insights externos com dados empresariais internos para gerar um relatório unificado.

Observe que o resultado final combina informações empresariais proprietárias com inteligência de mercado atualizada. Sem o Web MCP, isso não seria possível, pois os LLMs não têm acesso nativo à web.

O Web MCP fecha essa lacuna, permitindo que seu agente de IA do Databricks pesquise na web, descubra fontes relevantes e extraia informações de sites, incluindo páginas complexas ou protegidas. Tudo isso roda na infraestrutura de nível empresarial da Bright Data, construída para escalabilidade e concorrência.

Et voilà! Este exemplo apenas arranha a superfície do que você pode construir. Combinando agentes de IA do Databricks com o Bright Data Web MCP, você pode criar fluxos de trabalho muito mais avançados que integram análises internas com dados web em tempo real para uma ampla gama de casos de uso.

Conclusão

Neste tutorial, você aprendeu o que é o Databricks Agent Bricks e os recursos que ele suporta. Em particular, você viu como construir um agente de IA do Databricks e conectá-lo ao Bright Data Web MCP.

Graças a essa integração, os agentes de IA do Databricks ganham acesso à web para pesquisa, fundamentação, enriquecimento de dados e muitas outras tarefas. Isso ajuda a combinar dados internos do Databricks com inteligência externa de nível empresarial, abrindo portas para análises mais profundas e ricas.

Para cenários mais avançados, explore a gama completa de soluções da Bright Data construídas para ecossistemas de IA.

Crie uma conta na Bright Data hoje e comece a construir com ferramentas de dados web prontas para IA!