Conecte Agentes de IA do Dataiku à Web via Bright Data

Neste tutorial, você aprenderá:

• O que é o Dataiku e o que ele oferece para o desenvolvimento de agentes de IA em empresas.
• As principais limitações dos agentes de IA e como superá-las usando ferramentas de acesso à web.
• Como conectar um agente de IA do Dataiku ao Web MCP da Bright Data para scraping de dados, pesquisa, descoberta, automação e muito mais.

Vamos lá!

Como o Dataiku Suporta Agentes de IA

Dataiku é uma plataforma centralizada e colaborativa que ajuda organizações a transformar dados brutos em insights acionáveis, modelos preditivos e aplicações GenAI. Ela fornece um ambiente completo onde equipes de dados e usuários de negócios podem colaborar em projetos de análise e IA.

O Dataiku suporta agentes de IA oferecendo um ambiente completo para criar, implantar e gerenciar agentes com segurança em escala. Ele fornece as ferramentas, a governança e as integrações necessárias para conectar agentes a dados, modelos e sistemas externos, garantindo que operem de forma confiável em fluxos de trabalho corporativos, mantendo-se controlados e auditáveis.

As principais capacidades fornecidas pela plataforma Dataiku para agentes de IA são:

• Criação flexível de agentes: Criação de agentes visual e baseada em código, tanto para usuários não técnicos quanto para desenvolvedores avançados.
• Suporte integrado a ferramentas: Integrações com serviços de terceiros para consultar conjuntos de dados, conectar-se a modelos de IA e chamar serviços web.
• LLM Mesh: Camada de abstração centralizada para gerenciar e rotear o uso de LLM entre provedores como OpenAI, Anthropic e Mistral.
• Governança corporativa: Controle de acesso baseado em funções, auditoria, rastreabilidade, testes e monitoramento de desempenho para uso seguro em produção.

Por Que Ampliar os Agentes de IA do Dataiku com Ferramentas de Scraping, Descoberta, Pesquisa e Interação Web

Os agentes de IA do Dataiku, como todos os sistemas baseados em LLM, são limitados por uma restrição fundamental: a estagnação de informações…

Os grandes modelos de linguagem geram saídas com base em dados de treinamento que refletem o passado, não o presente. Como resultado, podem produzir recomendações desatualizadas, fatos alucinados ou insights incompletos em ambientes corporativos em rápida mudança.

Na prática, isso se torna um gargalo sério para os fluxos de trabalho do Dataiku. Um agente de IA sem acesso a dados atualizados pode depender de práticas obsoletas, perder atualizações recentes em APIs ou plataformas, ou deixar de incorporar conjuntos de dados e sinais de negócios recém-disponíveis, reduzindo a confiabilidade e limitando o valor da automação baseada em IA.

Para superar essa limitação, os agentes do Dataiku podem ser conectados nativamente a uma infraestrutura de dados web em tempo real. É aqui que a Bright Data se torna um aprimoramento fundamental.

Web MCP da Bright Data

O Web MCP da Bright Data equipa os agentes de IA do Dataiku com pesquisa web ao vivo, descoberta de dados, extração estruturada e interação automatizada com o navegador. Ele permite que os agentes operem com informações atuais e verificáveis, em vez de depender exclusivamente de conhecimento estático.

O Web MCP expõe mais de 70 ferramentas para interagir com produtos e serviços baseados em API da Bright Data. Mesmo no modo Rapid (nível gratuito), ele conta com ferramentas úteis como:

Já o [modo Pro](https://github.com/brightdata/brightdata-mcp?tab=readme-ov-file#-pricing, modes) desbloqueia capacidades avançadas para extração de dados estruturados de plataformas como Yahoo Finance, Amazon, LinkedIn, YouTube, Zillow, Google Maps e mais de 40 outras. Além disso, oferece ferramentas para automação completa do navegador web.

Importante: As ferramentas do Web MCP se baseiam na infraestrutura de grande escala da Bright Data, alimentada por uma rede global de proxies residenciais com mais de 400 milhões de IPs em mais de 195 países. Isso garante alta confiabilidade, escalabilidade e acesso consistente a recursos web, mesmo em níveis de carga corporativa.

Como Dar aos Agentes do Dataiku Acesso à Web via Web MCP da Bright Data

Neste guia passo a passo, você será orientado pelo processo de configuração do Web MCP da Bright Data em agentes do Dataiku, permitindo que eles explorem a web e baseiem suas respostas em informações reais, atuais e verificáveis.

Siga as instruções abaixo!

Pré-requisitos

Para acompanhar esta seção do tutorial, certifique-se de ter:

• Uma conta no Dataiku Cloud (até uma avaliação gratuita é suficiente).
• Uma chave de API para um dos provedores de LLM suportados pelo Dataiku (usaremos uma chave de API da OpenAI neste exemplo).
• Uma conta na Bright Data com uma chave de API configurada.
• Familiaridade com como o MCP funciona.
• Familiaridade com as ferramentas expostas pelo servidor Web MCP.

Nota: Siga o guia oficial para configurar sua chave de API da Bright Data.

Etapa 1: Crie Seu Espaço no Dataiku

Após fazer login no Dataiku Cloud pela primeira vez, você será solicitado a criar seu primeiro espaço no Dataiku.

Insira um nome para seu espaço, selecione uma região e clique no botão “CREATE MY SPACE”:

Você pode pensar em um espaço como um ambiente Dataiku isolado com sua própria configuração. Cada espaço executa uma versão específica da plataforma Dataiku. Como o Dataiku lança atualizações regularmente, os espaços são periodicamente atualizados para fornecer acesso aos recursos e melhorias mais recentes.

Após a criação do seu espaço, você será levado ao painel do espaço Dataiku:

Ótimo! Sua conta e espaço no Dataiku Cloud estão prontos para uso.

Etapa 2: Configure a Integração com o LLM

Seu agente do Dataiku precisa de acesso a um LLM para funcionar. Nesta seção, conectaremos uma conta OpenAI, mas o processo é similar para outros provedores suportados.

Comece abrindo a página “Connections”. Em seguida, clique em “ADD A CONNECTION”:

Você será redirecionado para a página “DSS Settings”:

Aqui, clique no menu suspenso “NEW CONNECTION”, pesquise pela string “openai” e selecione a opção correspondente:

Insira um nome para a conexão (por exemplo, “OpenAI”) e cole sua chave de API da OpenAI. Clique em “TEST” para verificar se a conexão funciona e, em seguida, selecione “CREATE” para adicioná-la:

Após a criação, a conexão OpenAI aparecerá na página “Connections”:

Sua conta no Dataiku agora pode acessar modelos LLM da OpenAI. Você está pronto para criar agentes de IA alimentados por modelos externos. Ótimo!

Etapa 3: Prepare-se para a Conexão Remota ao Web MCP da Bright Data

Antes de criar seu agente, você precisa configurar uma conexão com o servidor Web MCP da Bright Data.

Ao contrário de soluções de agentes de IA locais, o Dataiku roda na nuvem. Isso significa que você deve se conectar à versão remota do servidor Web MCP da Bright Data. Em outras palavras, não é possível instalar o servidor Web MCP localmente e conectá-lo ao Dataiku.

Nota: O servidor remoto Web MCP da Bright Data é pronto para uso corporativo. Suporta conexões ilimitadas e alta escalabilidade, assim como todos os outros produtos da Bright Data.

Para começar, familiarize-se com o formato de URL de conexão remota do Web MCP da Bright Data:

https://mcp.brightdata.com/mcp?token=<YOUR_BRIGHT_DATA_API_KEY>&pro=1

Lembre-se de que o parâmetro &pro=1 é opcional:

• Sem &pro=1: Você obtém acesso apenas às ferramentas gratuitas (5.000 solicitações/mês) no modo Rapid.
• Com &pro=1: Você tem acesso ao conjunto completo de mais de 70 ferramentas e capacidades avançadas, mas cobranças de uso se aplicam.

Se você quiser um controle mais granular, como habilitar apenas ferramentas ou grupos de ferramentas específicos, pode gerar uma URL MCP remota personalizada diretamente pelo painel da Bright Data.

Faça login em sua conta da Bright Data e navegue até a página “AI Gateways > MCP”. Siga o assistente de configuração para configurar seu acesso ao servidor MCP. Ao final do processo, você obterá uma URL de conexão personalizada como esta:

Copie a URL de conexão “Streamable HTTP”, pois você precisará dela em breve para configurar a conexão Web MCP da Bright Data em seu espaço do Dataiku. Ótimo!

Etapa 4: Conecte o Dataiku ao Web MCP da Bright Data

Agora que você tem a URL de conexão Web MCP da Bright Data, o próximo passo é criar uma conexão MCP em seu espaço do Dataiku.

Como antes, abra o menu suspenso “NEW CONNECTION”. Desta vez, pesquise por “mcp” e selecione a opção “Remote MCP”:

Dê um nome à sua conexão MCP (ex.: bright-data-web-mcp) e cole a URL de conexão remota do Web MCP obtida anteriormente:

Pressione “TEST” para verificar se a conexão funciona corretamente e selecione “CREATE” para adicioná-la. Após a criação, a conexão MCP aparecerá na página “DSS Settings”:

Excelente! Seu espaço no Dataiku agora pode se conectar ao servidor Web MCP da Bright Data, dando aos seus futuros agentes de IA acesso a capacidades web ao vivo.

Etapa 5: Crie Seu Agente de IA no Dataiku

De volta à página “Overview” do Dataiku, clique em “MANAGE” no cartão “Dataiku Solutions”:

Isso levará você à página de gerenciamento de projetos. Clique no menu suspenso “NEW PROJECT” e selecione a opção “Blank project”:

Dê um nome ao seu projeto Dataiku, como “Web Access”, e clique em “CREATE”:

Dentro do projeto, clique no ícone “GenAI” e selecione “Agents & GenAI Models”:

Aqui, clique em “CREATE YOUR FIRST AGENT” para começar:

Escolha o tipo de agente de sua preferência (neste exemplo, usaremos “Simple Visual Agent”) e clique em “CREATE”:

Você chegará à página de configuração do agente de IA:

Perfeito! Você está pronto para equipar o agente de IA com as ferramentas do Web MCP da Bright Data.

Etapa 7: Crie as Ferramentas do Agente Web MCP

Antes de continuar com a configuração do agente de IA, você precisa converter a conexão Remote MCP criada anteriormente em ferramentas do agente de IA.

Comece abrindo a página “Agent Tools” pelo ícone “GenAI”:

Na página “Agent Tools”, clique em “NEW AGENT TOOL”:

Selecione a opção “MCP” e pressione “CREATE”:

Em seguida, configure o servidor Remote MCP selecionando a conexão “bright-data-web-mcp” criada anteriormente. Depois clique em “CREATE”:

Você chegará à página de configuração das ferramentas do agente de IA MCP. Aqui, você pode testar as ferramentas e definir uma descrição geral para o conjunto de ferramentas MCP. Selecione todas as ferramentas disponíveis e ative-as:

Se você configurou o servidor no modo Pro, verá o conjunto completo de mais de 70 ferramentas do Web MCP:

Caso contrário, você verá apenas as ferramentas disponíveis no modo Rapid (gratuito).

Pressione “SAVE” no canto superior direito. As ferramentas do Web MCP da Bright Data estão agora disponíveis para seu agente Dataiku. Muito bem!

Etapa 8: Configure Seu Agente Dataiku para Acesso à Web

Agora você tem todos os elementos necessários para concluir seu agente de IA alimentado pela Bright Data para tarefas relacionadas à web.

Volte à página “Simple Visual Agent”. No menu suspenso “LLM”, você verá os modelos OpenAI da conexão criada anteriormente. Neste exemplo, usaremos o modelo “GPT-5.4 mini“:

Em seguida, você precisa fornecer instruções claras para definir como o agente deve se comportar. No campo “Instructions”, cole um prompt como este:

You are a general-purpose assistant with access to the web. Use the Bright Data Web MCP tools whenever you are asked to perform web-related tasks, such as:
- Searching the web
- Fetching, reading, or scraping web pages
- Extracting structured data from supported platforms
- Running browser automation or web automation workflows
- Conducting research, investigations, fact-checking, or news lookups
- Any other task involving URLs, links, or web content

Agora clique em “ADD TOOL” e selecione a opção “MCP” (que corresponde ao conjunto de ferramentas Web MCP configurado anteriormente):

Seu agente de IA do Dataiku com acesso à web deve ter esta aparência:

Missão cumprida. Você criou com sucesso um agente de IA do Dataiku integrado à Bright Data via MCP para tarefas relacionadas à web. O único passo restante é testá-lo!

Etapa 9: Teste o Agente

Para verificar se seu agente de IA está funcionando corretamente, execute-o com uma tarefa relacionada à web. Por exemplo, escreva um prompt como este:

Access the Best Buy "Top 100 Deals" page and retrieve the top three products listed there.

For each product, extract structured data. Then use this information to produce a detailed report comparing the three products over product name, description, price, rating if available, and key features or specifications.

Finally, conclude with a short analysis of the retailer's current marketing intent based on the selected products, such as discount strategy, promoted categories, positioning, and what this suggests about demand.

Note que isso é algo que um LLM padrão não consegue fazer por conta própria, pois requer capacidades de pesquisa e scraping de dados na web.

Execute o prompt e isto deve acontecer:

Concentre-se na tabela de comparação de produtos da Best Buy:

Note que o relatório inclui uma análise detalhada dos três principais produtos da página “Top 100 Deals of the Season” da Best Buy, que você pode visualizar diretamente abrindo a mesma página em seu navegador:

Em particular, ao inspecionar os logs do agente, você verá que ele:

1. Chamou a ferramenta Web MCP search_engine (baseada na API SERP) para pesquisar no Google a página Top 100 Deals da Best Buy.
2. Recuperou dados SERP estruturados e os analisou para identificar a URL de destino correta.
3. Acessou a página via ferramenta scrape_as_markdown (alimentada pela Web Unlocker API), que retorna uma versão Markdown da página.
4. Detectou as 3 principais URLs de produtos da Best Buy analisando o conteúdo Markdown.
5. Fez scraping de cada produto usando a ferramenta Pro Web MCP web_data_bestbuy_products (que se conecta ao Scraper da Best Buy da Bright Data).
6. Agregou todas as informações recuperadas no relatório final.

Isso confirma que as ferramentas do Web MCP da Bright Data estão sendo usadas para fundamentar o agente de IA em dados web do mundo real.

Et voilà! A integração Dataiku + Bright Data em um agente de IA funciona perfeitamente. Lembre-se de que este foi apenas um exemplo. Graças à integração com a Bright Data, este agente pode lidar com muitos outros casos de uso e cenários!

Próximos Passos

Para um agente de IA do Dataiku Cloud pronto para uso corporativo no mundo real, considere adicionar conexões de terceiros adicionais como Slack, Google Drive e outras ferramentas de colaboração. Além disso, considere integrar conexões de dados com seus bancos de dados.

Isso permite que os resultados gerados sejam compartilhados automaticamente nos fluxos de trabalho e sistemas da sua organização. Você também pode considerar implantar seu agente para utilizá-lo em produção.

Conclusão

Neste artigo, você viu como criar agentes de IA no Dataiku e expandi-los com acesso web ao mundo real usando o Web MCP da Bright Data. Em particular, você viu como e por que integrar um agente Dataiku com as ferramentas Web MCP para fundamentar suas saídas em dados web ao vivo e verificáveis.

Essa integração leva os agentes do Dataiku a um novo nível, permitindo que pesquisem na web, descubram novas fontes de forma autônoma, extraiam dados estruturados e interajam com sites do mundo real em tempo real.

Cadastre-se gratuitamente na Bright Data hoje mesmo e comece a integrar ferramentas web prontas para IA!