Neste artigo, você aprenderá:
- Por que a aquisição confiável de dados da web é uma parte crítica de um pipeline de dados pronto para IA, e como a Bright Data pode lidar com isso.
- Como o fluxo de trabalho Bright Data + Snowflake pode ajudar a otimizar os custos do pipeline de dados.
- Como filtrar e enviar apenas dados da web relevantes reduz a sobrecarga de armazenamento no Snowflake e elimina ciclos de computação desnecessários.
- Como entregar conjuntos de dados da web da Bright Data ao Snowflake e transformá-los em insights através dos Cortex Agents.
- Como escolher entre conjuntos de dados em lote persistentes e acesso web ao vivo (Bright Data MCP) para sua arquitetura de IA.
- O que cada componente do Snowflake Cortex (Analyst, Search, Sense e Agents) faz no fluxo de trabalho.
- Como a Bright Data e o Snowflake podem trabalhar juntos para coletar dados da web ao vivo através do MCP e do CoCo CLI.
Vamos começar!
De Dados da Web para Inteligência Pronta para IA
Para muitas empresas, a web é uma das fontes mais ricas de dados externos disponíveis. Informações de produtos, perfis de empresas, sinais de mercado, atividade em redes sociais, avaliações, preços e outras informações públicas podem fornecer um contexto valioso para decisões de negócios.
O desafio é acessar esses dados de forma confiável em alto volume. Os dados da web estão distribuídos em milhões de sites, mudam continuamente e geralmente exigem infraestrutura especializada para coletar, estruturar e manter atualizados. Construir essa capacidade internamente pode exigir um esforço significativo de engenharia.
É aqui que entra a infraestrutura de aquisição de dados da Bright Data. A plataforma foi projetada para coletar dados da web em escala, com a cobertura, confiabilidade e disponibilidade em tempo real necessárias para cargas de trabalho empresariais.
Em vez de construir e manter sua própria infraestrutura de coleta de dados da web, você pode usar a Bright Data para lidar com a complexidade de coletar e preparar os dados que seu caso de uso requer.
O Snowflake então fornece o ambiente onde esses dados externos podem ser armazenados. Eles também podem ser processados e consolidados com os dados empresariais existentes pelo Cortex AI.
O resultado é um caminho claro dos dados externos da web para a inteligência de negócios, com a Bright Data lidando com a complexidade da recuperação de dados da web e o Snowflake fornecendo a infraestrutura para análise e ativação com tecnologia de IA.
Bright Data como a Camada de Dados para o Snowflake
Antes que os dados da web possam ser analisados no Snowflake, eles precisam ser coletados e preparados para uso. A Bright Data resolve esse desafio com infraestrutura de nível empresarial para coleta de dados da web.
A plataforma da Bright Data inclui mais de 400 milhões de IPs residenciais, permitindo alta escalabilidade e concorrência, com 99,99% de tempo de atividade e uma taxa de sucesso de 99,95%.
Quando se trata de dados da web, a Bright Data fornece centenas de conjuntos de dados contendo mais de 21 bilhões de registros, mais de 1.000 APIs de Web Scraper prontas e mais de 90 PB de dados em cache consultáveis via APIs.
Juntas, a Bright Data e o Snowflake cobrem duas capacidades complementares:
- Adquira os dados externos certos com a Bright Data: Identifique os dados da web que sua empresa precisa e colete-os na escala e frequência necessárias.
- Armazene, combine e ative-os no Snowflake: Reúna esses dados externos com seus dados atuais do Snowflake e use os recursos de processamento e IA do Snowflake para transformá-los em inteligência acionável.
Essa abordagem também permite otimizar o pipeline de dados a montante. Em vez de mover automaticamente conjuntos de dados inteiros para o Snowflake, os recursos de filtragem e personalização da Bright Data ajudam você a selecionar apenas os dados de que precisa. Isso significa menos dados desnecessários para armazenar, preservando as informações necessárias para o processamento subsequente.
Conjuntos de Dados Persistentes ou Acesso Web ao Vivo? Escolhendo Seu Padrão de Entrada
Antes de construir seu agente, decida como deseja acessar e armazenar os dados da web. Você deve carregar os dados coletados no Snowflake e consultá-los lá, ou seu Cortex Agent deve buscar dados da web dinamicamente no momento da inferência?
A Bright Data suporta ambos os padrões, e cada um é adequado para diferentes casos de uso.
| Conjuntos de dados em lote persistentes | Entrada ao vivo via Bright Data MCP | |
|---|---|---|
| Como funciona | Um conjunto de dados filtrado é entregue às tabelas do Snowflake uma vez ou em uma programação. | O Cortex Agent chama as ferramentas da Bright Data para pesquisa, scraping ou automação de navegador quando precisa de uma resposta. |
| Onde os dados estão | No Snowflake, junto com seus dados empresariais. | Buscados sob demanda e não armazenados, a menos que você os persista explicitamente. |
| Atualidade | Atual a partir da última entrega do conjunto de dados. | Dados da web atualizados buscados no momento da consulta. |
| Latência por pergunta | Baixa, já que as consultas são executadas diretamente no warehouse. | Maior, porque os dados precisam ser buscados na web e as páginas podem precisar ser renderizadas. |
| Melhor padrão de consulta | Análise repetível, agregada e com muitas junções. | Consultas pontuais, sensíveis ao tempo ou de cauda longa. |
| Junções com dados internos | Junções SQL nativas com os dados existentes do seu warehouse. | O agente combina resultados da web com outras informações em seu contexto. |
| Reprodutibilidade e auditabilidade | Alta, já que o mesmo snapshot do conjunto de dados pode produzir o mesmo resultado. | Baixa, já que páginas da web e seu conteúdo podem mudar entre as solicitações. |
| Perfil de custo | Entrega do conjunto de dados, mais custos de armazenamento e computação do Snowflake. | Uso por solicitação que escala com a atividade do agente. |
| Exemplos típicos | Pontuação de influenciadores, dimensionamento de mercado, enriquecimento de dados e painéis de BI. | Verificações de preços, monitoramento de notícias, verificação de alegações e leitura de URLs específicas. |
Como regra geral para escolher qual abordagem seguir, lembre-se disto: se você espera fazer os mesmos tipos de perguntas repetidamente em uma população definida, armazene os dados. Se a resposta depende do que a web diz agora ou de uma página que você não pode prever com antecedência, busque os dados sob demanda.
Nas seções seguintes, você verá primeiro como trabalhar com a abordagem de conjunto de dados persistente e, em seguida, explorará como adicionar acesso web ao vivo com o Bright Data MCP.
Do Armazenamento à IA: Entendendo o Modelo de Consumo do Snowflake
Agora que você viu como a Bright Data e o Snowflake se encaixam, a próxima pergunta é naturalmente sobre custo. Os pipelines de dados podem envolver várias camadas de consumo, desde a aquisição de dados da web até o armazenamento, processamento e análise com IA.
Trazer dados da web para o Snowflake envolve múltiplas camadas de consumo. Dependendo do fluxo de trabalho, os custos podem vir da aquisição de dados através da Bright Data, do armazenamento e computação do Snowflake, e dos serviços de IA utilizados para analisar os dados.
O preço da Bright Data depende do produto, fonte de dados, volume e requisitos de coleta. Encontre os preços mais recentes e as opções disponíveis na página de preços da Bright Data.
Uma vez que os dados chegam ao Snowflake, o consumo depende de quanto dados você armazena, processa, consulta e ativa. O modelo de preços do Snowflake cobre armazenamento, computação e serviços adicionais, incluindo recursos de IA. Para detalhes atuais de preços, consulte as opções de preços do Snowflake.
Quer um detalhamento de custo detalhado? Entre em contato com [email protected].
Como Entregar Dados da Web da Bright Data no Snowflake e Ativá-los com o Cortex AI
Nesta seção passo a passo, você aprenderá como enviar dados da web coletados com a Bright Data para o Snowflake para armazenamento e computação. Especificamente, você verá então como conectar esses dados a um agente Snowflake Cortex AI para análise.
Este tutorial usa o padrão de conjunto de dados em lote persistente descrito na comparação acima. Ele se encaixa neste caso de uso porque a pontuação de influenciadores é uma análise repetível sobre uma população definida que se beneficia de junções com dados internos de campanha.
Pré-requisitos
Para seguir este tutorial, certifique-se de ter:
- Uma conta Snowflake com um banco de dados e esquema configurados e prontos para ingestão de dados.
- Uma conta Bright Data.
Familiaridade com as opções de entrega de dados da Bright Data para o Snowflake também será útil.
Passo #1: Selecione o Conjunto de Dados da Bright Data
Todos os conjuntos de dados da Bright Data podem ser configurados para ingestão no Snowflake, bem como em várias outras plataformas de nuvem.
Comece fazendo login em sua conta Bright Data e navegando até “Datasets > Dataset Marketplace”:
Na página “Dataset Marketplace”, pesquise o conjunto de dados de seu interesse.
Neste tutorial, usaremos dados de perfil do Instagram para identificar influenciadores que poderiam ser uma boa opção para patrocinar um produto de cuidados com a pele.
O conjunto de dados da Bright Data fornece informações externas sobre os influenciadores, enquanto seus registros pré-existentes no Snowflake podem fornecer contexto interno, como informações de produtos, públicos-alvo, requisitos de campanha ou desempenho de campanhas anteriores. Um Cortex Agent pode então combinar essas fontes para determinar quais influenciadores são mais adequados para uma campanha específica.
Portanto, pesquise “instagram” e selecione o conjunto de dados “Instagram – Profiles“:
Muito bem! Você será então redirecionado para a página do conjunto de dados, onde pode prosseguir com a compra.
Abordagem alternativa: Você também pode obter os serviços da Bright Data diretamente do Snowflake Marketplace:
Lembre-se de que a Bright Data é uma fornecedora e parceira oficial do Snowflake.
Passo #2: Obtenha os Dados de Interesse
O conjunto de dados “Instagram – Profiles” da Bright Data contém mais de 650 milhões de registros. Na maioria dos casos, no entanto, você só precisa de um subconjunto do conjunto de dados completo. É por isso que a Bright Data vem com opções de filtragem integradas.
Na página do conjunto de dados “Instagram – Profiles”, clique em “Filters” à esquerda:
Agora, suponha que você queira perfis do Instagram que:
- Tenham mais de 100 mil seguidores.
- Incluam a palavra “beauty” em sua biografia.
- Sejam verificados.
Essa etapa de filtragem também é importante do ponto de vista da eficiência dos dados. Em vez de mover todo o conjunto de dados de 653,5 milhões de registros para o Snowflake, você pode reduzi-lo primeiro aos registros necessários. Aqui, a filtragem da Bright Data reduz o conjunto de dados para aproximadamente 11,2 mil perfis, ajudando a evitar a sobrecarga de armazenamento.
Aplique os filtros. Você também pode explorar os perfis filtrados diretamente no painel de controle da Bright Data ou baixar uma amostra de até 1 mil registros (com alguns campos ocultos).
Assim que estiver satisfeito com os filtros e resultados, clique em “Proceed to purchase” e selecione uma frequência de entrega. Você pode escolher entre uma compra única ou atualizações periódicas dos dados selecionados (mensal, trimestral ou semestral):
Complete o processo de pagamento e aguarde a preparação do conjunto de dados. Assim que o snapshot do conjunto de dados estiver pronto, você receberá um e-mail com um link para ele:
Clique na URL no e-mail para abrir a página do snapshot:
Aqui, você pode visualizar alguns dos dados e ver um relatório com detalhes como custo e número de registros. Mais importante, você pode baixar o conjunto de dados ou exportá-lo diretamente para o Snowflake, junto com outros destinos suportados.
Nota: Neste exemplo, limitamos o número de registros comprados a 1 mil para simplificar. É por isso que o número de registros está definido em 1 mil em vez de 11,2 mil.
Passo #3: Envie os Dados da Web da Bright Data para o Snowflake
Para enviar o conjunto de dados filtrado para o Snowflake, comece clicando no botão “Export” na página de snapshot do conjunto de dados:
Selecione “Snowflake” e preencha os campos necessários para configurar a entrega de dados:
Se você não estiver familiarizado com essas configurações, consulte nosso guia completo sobre como ingerir conjuntos de dados da Bright Data no Snowflake. Você encontrará todas as instruções para configurar o Snowflake para a entrega de conjuntos de dados da Bright Data, junto com orientações sobre como preencher os campos necessários.
Para este exemplo, suponha que você tenha configurado a entrega para importar os dados na tabela SNOWFLAKE_INTELLIGENCE.PUBLIC.INSTAGRAM_PROFILES. Assim que a ingestão for concluída, você pode explorar os dados importados diretamente no Snowflake:
Observe como a tabela contém os mesmos dados de perfil do Instagram filtrados que você selecionou no conjunto de dados da Bright Data. Os dados agora estão disponíveis no Snowflake junto com seus dados empresariais, permitindo que um Cortex AI Agent analise ambas as fontes juntas.
Passo #4: Crie um Cortex Agent
Para adicionar um novo Cortex Agent ao seu warehouse Snowflake, vá para a página “AI & ML” e selecione o card “Cortex Agents”:
Na página “Agents”, clique em “Create agent”:
Selecione o banco de dados e o esquema que contêm seu conjunto de dados importado da Bright Data (junto com outros dados empresariais valiosos). Em seguida, dê um nome ao seu agente (por exemplo, “Influencer_Analyzer”):
Por fim, clique no botão “Create agent” para finalizar a configuração do seu Cortex Agent.
Passo #5: Finalize a Configuração do Agente
Na página do Cortex Agent, inicie a configuração guiada via Snowflake CoCo clicando em “Connect”:
No chat do CoCo, você será guiado pelo processo de configuração, incluindo a criação da visão semântica do agente, conectando um serviço de pesquisa:
O CoCo também conecta os componentes necessários do Snowflake Cortex, que incluem:
| Componente | O que faz |
|---|---|
| Cortex Analyst | Converte perguntas em linguagem natural em SQL sobre tabelas estruturadas. É guiado por uma visão semântica (ou um modelo semântico YAML) que define métricas, dimensões e relacionamentos. |
| Cortex Search | Constrói índices híbridos que combinam pesquisa vetorial (semântica) e por palavra-chave sobre texto não estruturado, permitindo que o agente recupere informações por significado, bem como por termos exatos. |
| Cortex Sense | Uma camada de contexto em tempo de execução que aprende definições de negócios, métricas e relacionamentos de tabelas a partir do histórico de consultas e metadados, fundamentando o agente sem exigir que você mantenha uma visão semântica manualmente. |
| Cortex Agents | O orquestrador que planeja uma tarefa e direciona cada etapa para a ferramenta apropriada. |
Em seguida, abra a aba “Configuration” para definir a descrição e as instruções do agente, e adicione ferramentas, habilidades e integrações MCP:
Seu agente agora pode consultar, raciocinar sobre e processar os dados armazenados no esquema configurado do Snowflake.
Passo #6: Teste o Agente
Uma vez configurado, vá para a aba “Preview” para testar seu agente. Por exemplo, insira um prompt como:
Recupere os 5 principais influenciadores de língua espanhola da lista para promover nosso revolucionário produto de cuidados com a pele voltado para adolescentes do sexo feminino. Dê a cada influenciador uma pontuação de adequação.
O agente consultará os dados do perfil do Instagram em sua tabela do Snowflake e retornará os cinco influenciadores mais adequados, junto com uma pontuação de adequação para cada um. Nos bastidores, ele pode usar o Cortex Analyst para filtragem estruturada (como idioma e atributos do perfil) e o Cortex Search para avaliar a adequação da biografia e da legenda antes de pontuar. Em um cenário mais realista, você também poderia fornecer ao agente contexto sobre os dados do seu produto para ajudá-lo a refinar melhor os resultados.
Adicione Acesso Web ao Vivo com o Bright Data MCP
O fluxo de trabalho acima cobre o padrão de conjunto de dados em lote persistente. Como mostra a matriz de comparação, o outro padrão é a entrada ao vivo: em vez de armazenar os dados da web primeiro, seu agente os busca no momento da inferência.
Você pode conectar a Bright Data aos Cortex Agents através do MCP, ou integrá-la com o CoCo CLI (anteriormente conhecido como Cortex Code CLI).
Obtenha Dados da Web ao Vivo Através do Bright Data MCP
Nem todo fluxo de trabalho requer o mesmo tipo de dados da web. Conjuntos de dados persistentes são úteis quando você analisa repetidamente uma coleção definida de informações estruturadas, enquanto outras aplicações de IA precisam de acesso a informações ao vivo. No exemplo do influenciador, você poderia manter o conjunto de dados de 1 mil perfis para classificação, e então usar o MCP para verificar as postagens mais recentes de um influenciador pré-selecionado antes do contato.
O Bright Data MCP fornece a camada complementar de dados ao vivo. Em vez de armazenar primeiro um conjunto de dados da web no Snowflake, os agentes podem interagir com as soluções baseadas em API da Bright Data via MCP para pesquisar, raspar e interagir com conteúdo da web atual.
Isso dá à integração Bright Data + Snowflake dois padrões de entrada de dados: conjuntos de dados persistentes e filtrados para análise repetível, e acesso web ao vivo para perguntas sensíveis ao tempo.
Observe que o aplicativo Bright Data MCP também está disponível diretamente através do Snowflake Marketplace:
Alternativamente, você pode configurar o servidor MCP manualmente.
Alguns dos cenários mais interessantes suportados pelo Bright Data MCP incluem:
| Caso de uso | Capacidade do Bright Data MCP |
|---|---|
| Recuperar conteúdo de página | Ferramentas de scraping em Markdown |
| Fundamentar nas informações mais recentes | Ferramentas de consulta de mecanismo de busca + Ferramentas de scraping em Markdown |
| Extrair informações estruturadas | Ferramentas de extração específicas da plataforma |
| Interagir com sites dinâmicos | Automação de navegador |
Em resumo, os conjuntos de dados oferecem análise repetível sobre um snapshot armazenado, enquanto o Bright Data MCP oferece ao seu agente acesso ao vivo à web. Muitas arquiteturas maduras usam ambos.
Conecte a Bright Data com o CoCo CLI
O Bright Data MCP e as habilidades do agente podem estender os recursos baseados em Snowflake do CoCo CLI com acesso web de nível empresarial. Isso é útil quando você deseja um assistente de IA que possa combinar operações do Snowflake com pesquisa web em tempo real, scraping e automação de navegador.
Para mais orientações, leia nosso artigo dedicado sobre o Snowflake CoCo CLI com a Bright Data.
Conclusão
Neste post do blog, você aprendeu como a integração Bright Data + Snowflake conecta a aquisição confiável de dados da web com análises empresariais e IA.
A Bright Data fornece a infraestrutura para recuperar dados significativos da web em escala, enquanto seus recursos de filtragem e personalização permitem refinar esses dados antes de trazê-los para o Snowflake. Isso pode ajudar a manter dados desnecessários fora do armazenamento e computação subsequentes.
Uma vez que o conjunto de dados está no Snowflake, ele pode ser combinado com seus dados existentes e usado em cargas de trabalho de análise e IA. Para cargas de trabalho que dependem de informações atuais, o Bright Data MCP permite que os agentes busquem dados da web ao vivo no momento da inferência, seja sozinho ou junto com conjuntos de dados persistentes em uma arquitetura híbrida.
Juntas, a Bright Data e o Snowflake fornecem um caminho flexível dos dados da web para a inteligência pronta para IA: escolha o padrão de entrada certo (conjuntos de dados persistentes, acesso MCP ao vivo, ou ambos), traga os dados para o ambiente onde seus dados empresariais já estão, e ative-os com recursos do Cortex AI, como Analyst, Search e Agents.
Crie uma conta Bright Data hoje mesmo e comece a trazer dados relevantes da web para o Snowflake para análise com tecnologia de IA!
