Integrando o Bright Data ao ToolJet para Monitoramento em Tempo Real de Aplicações Web para Empresas

Neste artigo, você aprenderá:

• O que é o ToolJet e o que ele oferece como plataforma de desenvolvimento de aplicações full-stack low-code.
• Por que conectá-lo ao Bright Data é ideal para o desenvolvimento de aplicações web de nível empresarial.
• Como criar uma aplicação web real para monitoramento em tempo real usando ToolJet e Bright Data.
• Outros casos de uso suportados pela integração ToolJet + Bright Data.

Vamos lá!

O que é o ToolJet?

ToolJet é uma plataforma low-code com IA para criar aplicações internas full-stack, dashboards, workflows e agentes de IA.

Ele ajuda a lançar rapidamente ferramentas como painéis administrativos, CRMs e dashboards de dados sem um desenvolvimento pesado de frontend/backend. É especialmente útil para empresas que desejam conectar bancos de dados, APIs e ferramentas SaaS em aplicações internas seguras, mantendo controle total sobre a infraestrutura e os dados.

O ToolJet é de código aberto, com mais de 38.000 estrelas no GitHub. Além da implantação em nuvem para flexibilidade empresarial, também suporta self-hosting.

Principais Funcionalidades

As principais capacidades do ToolJet são:

• Criador de apps com IA: Crie aplicações full-stack a partir de prompts em linguagem natural, incluindo UI, esquemas de banco de dados e lógica.
• Automação de workflows: Crie workflows com múltiplas etapas usando lógica visual, gatilhos, condições e eventos agendados.
• Mais de 80 integrações: Conecte-se a bancos de dados, APIs, armazenamento em nuvem e plataformas SaaS prontas para uso.
• Banco de dados ToolJet: Banco de dados integrado com suporte a PostgreSQL para operações CRUD rápidas sem configuração externa.
• Agentes de IA: Crie agentes inteligentes que automatizam workflows complexos de múltiplos sistemas.
• Extensibilidade com código: Adicione JavaScript ou Python personalizados para lógica avançada e transformações.
• Segurança empresarial: Suporta SSO (SAML, OIDC, LDAP), RBAC, logs de auditoria, criptografia e padrões de conformidade.
• Implantação flexível: Execute no ToolJet Cloud ou faça self-hosting na AWS, GCP, Azure, Kubernetes ou Docker.
• Versionamento baseado em Git: Suporta GitSync e workflows de CI/CD para gerenciamento profissional do ciclo de vida de desenvolvimento.

Por que Conectar as APIs do Bright Data no ToolJet

Não há dúvida de que aplicações internas, dashboards e workflows empresariais precisam de dados. Porém, depender apenas de bancos de dados internos não é mais suficiente para gerar insights de negócios de alta qualidade.

Os sistemas internos podem informar o que está acontecendo dentro da sua empresa. No entanto, eles não conseguem explicar o que está acontecendo no mercado, entre concorrentes ou no ecossistema digital mais amplo.

O verdadeiro desafio é que os dados externos da web são difíceis de coletar e usar em escala. Os sites estão constantemente mudando sua estrutura, muitos deles usam proteções anti-bot, e os dados frequentemente são não estruturados, inconsistentes ou incompletos.

Mesmo quando o scraping é possível, manter a confiabilidade em milhares de fontes se torna um problema contínuo de engenharia. Como resultado, as empresas têm dificuldade em integrar dados externos em suas aplicações internas.

A solução é combinar ferramentas de criação de aplicações internas como o ToolJet com uma camada de infraestrutura de dados web dedicada. É aqui que o Bright Data entra!

As APIs do Bright Data como Solução

Ao conectar aplicações ToolJet ao Bright Data, dashboards e workflows internos ganham acesso a dados em tempo real, estruturados e confiáveis de praticamente qualquer site. A integração no ToolJet é possível por meio das APIs do Bright Data, que oferecem acesso aos produtos Bright Data:

• API SERP: Colete resultados de mecanismos de busca do Google, Bing e outros provedores para impulsionar pesquisa de mercado, rastreamento de SEO e análise competitiva.
• API Web Unlocker: Acesse conteúdo de praticamente qualquer site contornando CAPTCHAs e sistemas anti-bot, retornando HTML limpo ou Markdown.
• APIs de Web Scraper: Extraia dados estruturados de plataformas importantes como Amazon, LinkedIn e Instagram sem criar Scrapers personalizados.
• API de Crawl: Transforme domínios inteiros em Conjuntos de dados estruturados, habilitando pipelines de dados abrangentes e workflows prontos para IA.
• API de Discover: Realize descoberta web em tempo real e recupere resultados classificados e baseados em intenção com fontes verificáveis para análise posterior.

O que destaca o Bright Data é sua infraestrutura de nível empresarial construída especificamente para coleta de dados em larga escala. Sua rede inclui mais de 400 milhões de endereços IP em 195 países, alcançando 99,99% de uptime e 99,95% de taxa de sucesso.

Como Criar um App de Monitoramento de Dados em Tempo Real no ToolJet Usando as APIs de Scraping do Bright Data

Nesta seção, você aprenderá como criar uma aplicação para monitorar dados de avaliações de apps da Apple App Store. Isso pode ser usado para rastrear continuamente as mudanças na avaliação do seu app ou para monitorar apps concorrentes.

O ToolJet será usado para criar a aplicação web completa, enquanto os dados serão provenientes do Bright Data. Note que muitos outros cenários e casos de uso podem ser criados usando a mesma abordagem.

Siga as instruções abaixo!

Pré-requisitos

Para acompanhar este tutorial, certifique-se de ter:

• Uma conta no ToolJet (o plano gratuito é suficiente).
• Uma conta no Bright Data com uma chave de API. Siga o guia oficial para gerar sua chave de API do Bright Data.

Familiaridade com como as APIs de Scraper do Bright Data funcionam também será útil.

Passo #1: Conheça a API de Scraper da Apple App Store

A aplicação full-stack no ToolJet que você está prestes a criar dependerá de dados recuperados da Apple App Store via Bright Data. Por isso, faz sentido conhecer as APIs de Scraper da Apple App Store do Bright Data.

Comece fazendo login na sua conta do Bright Data. No painel de controle do Bright Data, vá em “Scrapers > Scrapers Library” no menu à esquerda. Isso o levará à página “Scrapers Library”, onde você pode explorar todas as APIs de Scraper disponíveis do Bright Data.

Pesquise por “apps.apple.com” e clique no card do Scraper equivalente:

Na página da API de scraping da Apple App Store, selecione o endpoint “Apple App Store > Collect by URL”. Esse endpoint faz o scraping das informações da Apple App Store que nos interessam.

No painel de controle do Bright Data, você pode configurar e testar a API para entender sua estrutura de entrada e saída. Por exemplo, suponha que você queira monitorar informações e pontuações de avaliações da Apple App Store para estes apps concorrentes no setor fitness:

• https://apps.apple.com/us/app/planet-fitness/id399857015
• https://apps.apple.com/us/app/myfitnesspal-calorie-counter/id341232718
• https://apps.apple.com/us/app/crunch-fitness/id398210959

Adicione-os ao campo “Inputs > url” e pressione “Run manually” para testar a chamada de API:

Note que o endpoint da API da Apple App Store pode ser chamado enviando uma requisição POST para a seguinte URL:

https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_lsk9ki3u2iishmwrui

O corpo desta requisição HTTP contém a lista de URLs de apps da Apple para fazer o scraping.

Na aba “Snapshots”, você poderá baixar os resultados gerados. Se baixado como JSON, você verá algo assim:

A saída contém informações da App Store, incluindo avaliações, número de avaliadores e avaliações recentes. Isso significa que a API do Bright Data conseguiu contornar as proteções anti-bot da Apple App Store e recuperar os dados de interesse.

É exatamente o tipo de dados web frescos que você precisa para o monitoramento de apps concorrentes. Muito bem!

Passo #2: Crie um Novo Projeto no ToolJet

Agora que você sabe como obter os dados de origem para sua aplicação full-stack, o próximo passo é criá-la. Comece fazendo login no ToolJet e, na página “Home > Home”, clique no botão “Create a blank app”:

Isso o levará ao App Builder do ToolJet, onde você pode definir sua aplicação por meio de uma experiência no-code/low-code.

Dê um nome à sua nova aplicação em branco no ToolJet (por exemplo, “Apple App Store App Monitoring”) e familiarize-se com a interface:

Ótimo! É hora de conectar sua fonte de dados via integração com a API do Bright Data e adicionar componentes para criar a aplicação web.

Passo #3: Configure a Query da API REST com o Bright Data

Os dados de origem para a aplicação web de monitoramento da Apple App Store serão coletados usando a API de Scraper do Bright Data. Por isso, clique no botão “REST API” para configurar a fonte de dados:

Dê um nome à sua API (por exemplo, “AppleAppStoreScrapingAPI”) e preencha a aba “Setup” da seguinte forma:

• Method: POST
• URL: https://api.brightdata.com/datasets/v3/scrape (Este é o endpoint principal usado para APIs de Scraper do Bright Data em modo assíncrono.)
• Headers:

– Authorization: Bearer <YOUR_BRIGHT_DATA_API_KEY> (Necessário para autenticação com as APIs de Scraper na sua conta do Bright Data. Substitua <YOUR_BRIGHT_DATA_API_KEY> pela sua chave de API real do Bright Data.)

Esta configuração informa ao ToolJet qual endpoint de API chamar e como autenticá-lo.

Em seguida, role para baixo e vá para a aba “Params”. Adicione os seguintes parâmetros de query:

• dataset_id: gd_lsk9ki3u2iishmwrui (Corresponde ao ID do endpoint do Scraper “Apple App Store, Collect by URL”.)
• format: json (Garante que a API retorne dados JSON estruturados.)

Agora vá para a seção “Body”, ative o modo “Raw” e cole o corpo da requisição gerado anteriormente no painel de controle do Bright Data (Passo #1):

{"input":[{"url":"https://apps.apple.com/us/app/planet-fitness/id399857015"},{"url":"https://apps.apple.com/us/app/myfitnesspal-calorie-counter/id341232718"},{"url":"https://apps.apple.com/us/app/crunch-fitness/id398210959"}]}

Dessa forma, a API de Scraper fará o scraping dos apps corretos da Apple App Store.

Pressione “Run” no canto superior direito para verificar se a API funciona. Se tudo estiver configurado corretamente, você deverá ver os mesmos resultados na seção “Preview” que obtivemos ao final do Passo #1:

Isso confirma que sua aplicação ToolJet agora pode recuperar dinamicamente dados estruturados da Apple App Store sob demanda via uma API de Scraper do Bright Data. Ótimo!

Passo #4: Adicione uma Tabela para Visualizar os Dados Recuperados

Agora que você tem a fonte de dados configurada, precisa criar a parte frontend da aplicação web. Comece adicionando uma tabela para exibir os dados coletados.

Na seção direita da interface do App Builder, clique no botão “+” (Components), selecione “Table” e arraste-o para o canvas da aplicação:

Clique no componente de tabela e, no painel direito, abra a aba “Properties”. Defina os dados de entrada da tabela como a saída da API REST configurada anteriormente, selecionando “Data source > AppAppStoreScrapingAPI”:

Em seguida, especifique as colunas para que a tabela possa representar corretamente os dados de entrada. Na seção “Columns”, ative a opção “Use dynamic columns”:

Em seguida, cole a configuração abaixo:

{{[
  { name: "URL", key: "url", id: "1" },
  { name: "Title", key: "title", id: "2" },
  { name: "Subtitle", key: "sub_title", id: "3" },
  { name: "Developer Name", key: "developer.developer_name", id: "4" },
  { name: "Developer Link", key: "developer.developer_link", id: "5" },
  { name: "Top Charts", key: "top_charts", id: "6" },
  { name: "Monetization Features", key: "monetization_features", id: "7" },
  { name: "Image", key: "image", id: "8" },
  { name: "Screenshots", key: "screenshots", id: "9" },
  { name: "Description", key: "description", id: "10" },
  { name: "Rating", key: "rating", id: "11" },
  { name: "Number of Raters", key: "number_of_raters", id: "12" },
  { name: "1-Star %", key: "reviews_star_percentage.one_stars", id: "13" },
  { name: "2-Star %", key: "reviews_star_percentage.two_stars", id: "14" },
  { name: "3-Star %", key: "reviews_star_percentage.three_stars", id: "15" },
  { name: "4-Star %", key: "reviews_star_percentage.four_stars", id: "16" },
  { name: "5-Star %", key: "reviews_star_percentage.five_stars", id: "17" },
  { name: "Reviews", key: "reviews", id: "18" },
  { name: "Events", key: "events", id: "19" },
  { name: "Data Linked To You", key: "data_linked_to_you", id: "20" },
  { name: "Seller", key: "seller", id: "21" },
  { name: "Category", key: "category", id: "22" },
  { name: "Languages", key: "languages", id: "23" },
  { name: "Copyright", key: "copyright", id: "24" },
  { name: "Size (MB)", key: "size", id: "25" },
  { name: "Compatibility", key: "compatibility", id: "26" },
  { name: "Age Rating", key: "age_rating", id: "27" },
  { name: "Price", key: "price", id: "28" },
  { name: "In-App Purchases", key: "In_app_purchases", id: "29" },
  { name: "Support", key: "support", id: "30" },
  { name: "More By This Developer", key: "more_by_this_developer", id: "31" },
  { name: "You Might Also Like", key: "you_might_also_like", id: "32" },
  { name: "Privacy Policy", key: "privacy_policy", id: "33" },
  { name: "Developer Website", key: "developer_website", id: "34" },
  { name: "Featured In", key: "featured_in", id: "35" },
  { name: "Country", key: "country", id: "36" },
  { name: "Latest App Version", key: "latest_app_version", id: "37" },
  { name: "App ID", key: "app_id", id: "38" },
  { name: "Provider", key: "provider", id: "39" },
  { name: "Timestamp", key: "timestamp", id: "40" },
  { name: "Input URL", key: "input.url", id: "41" }
]}}

Esta representação JSON corresponde ao esquema de dados de saída que você pode ver no painel de controle do Bright Data (na seção “Overview > Dictionary” de qualquer página de API de Scraper).

Nota: Não se esqueça de envolver a expressão JSON com {{ }} para que o ToolJet interprete corretamente a string como um objeto.

A tabela deve começar a exibir os dados recuperados da API de Scraper da Apple App Store do Bright Data:

Excelente! Sua aplicação web full-stack com o Bright Data para monitoramento em tempo real está começando a tomar forma.

Passo #5: Adicione um Botão para Recuperação Dinâmica de Dados

Agora que você tem uma tabela com os dados coletados, adicione a opção de atualizá-la sob demanda.

Comece adicionando um componente Button e rotule-o como “Update data”. Em seguida, clique em “New event handler” e escolha o evento “On click”:

Para a ação, selecione “Run query” e escolha “AppleAppStoreScrapingAPI” como a query a ser executada:

Esta configuração instrui o ToolJet a executar a API de Scraper do Bright Data configurada toda vez que o usuário clicar no botão. A API recupera os dados mais recentes da Apple App Store em tempo real. Como a tabela já está vinculada à query (que corresponde à resposta da API), ela exibirá automaticamente os dados atualizados assim que a query for concluída.

Para melhorar a experiência do usuário, você também pode adicionar dois eventos de clique adicionais: um para ativar o estado de carregamento da tabela antes de a chamada de API iniciar, e outro para desativá-lo após os novos dados serem carregados.

A seção “Events” do seu botão “Update data” deve ficar assim:

Incrível! O frontend da sua aplicação ToolJet com o Bright Data está agora completo. Tudo que resta é testar o workflow.

Passo #6: Teste a Aplicação Web Full-Stack para Monitoramento da Apple App Store

Para verificar se a aplicação funciona, clique no botão “Preview”:

Agora você poderá interagir com sua aplicação full-stack em uma página de preview dedicada. Inicialmente, a tabela não mostrará nenhum dado.

Para testar o workflow, clique em “Update data”. Após isso:

1. A tabela entra em estado de carregamento conforme esperado.
2. A query “AppleAppStoreScrapingAPI” é acionada, chamando a API da Apple App Store do Bright Data para coletar dinamicamente os dados mais recentes.
3. A tabela sai do estado de carregamento assim que a requisição é concluída.
4. Os dados recuperados são exibidos na tabela.

Como você pode ver, a tabela agora contém dados como avaliações, número de avaliadores e distribuição percentual de estrelas. O resultado é uma ferramenta full-stack de monitoramento da App Store que qualquer pessoa pode usar, independentemente do nível técnico.

Et voilà! Isso demonstra o poder das APIs ToolJet + Bright Data para Scraping de dados e aplicações de dados em tempo real.

Casos de Uso Adicionais do ToolJet + Bright Data

O exemplo mostrado no capítulo anterior é apenas um dos muitos casos de uso suportados pela combinação ToolJet + Bright Data. Vamos explorar alguns outros!

Dashboards de Monitoramento de Mercado e Tendências

A ideia é criar dashboards que rastreiem tendências de mercado emergentes em sites, fóruns e plataformas digitais em tempo real. O Bright Data coleta e estrutura dados web em tempo real, enquanto o ToolJet os transforma em insights visuais como gráficos, tabelas e KPIs. Isso permite que equipes empresariais identifiquem rapidamente mudanças na demanda, novas categorias de produtos e comportamentos de usuários em evolução sem pesquisa manual, possibilitando tomadas de decisão estratégica mais rápidas.

Sistemas de Monitoramento de Preços e Estoque no E-commerce

As empresas podem combinar as APIs do Bright Data com dashboards do ToolJet para monitorar preços de produtos, disponibilidade e variações em múltiplas plataformas de e-commerce. Os dados são coletados e normalizados automaticamente, depois exibidos em apps do ToolJet para equipes de compras, estratégia de preços ou otimização de marketplace. Isso permite decisões de precificação dinâmica e reação mais rápida a escassez de estoque ou descontos de concorrentes.

Plataformas de Reputação de Marca

Usando o Bright Data para coletar avaliações, classificações e feedback de usuários de plataformas como lojas de aplicativos ou marketplaces, o ToolJet pode transformar isso em um sistema de monitoramento de sentimento e reputação em tempo real. As empresas podem rastrear tendências de avaliação, detectar picos negativos e analisar o feedback dos clientes em tempo real. Isso ajuda as equipes de marketing e produto a responder mais rapidamente às mudanças no sentimento dos usuários.

Ferramentas de Geração de Leads e Mapeamento de Mercado

O Bright Data pode coletar dados estruturados de negócios e contatos de diretórios, mecanismos de busca e fontes públicas, enquanto o ToolJet os transforma em ferramentas internas de gestão de leads. As equipes podem filtrar, segmentar e priorizar leads visualmente, criar workflows de enriquecimento automatizados e rastrear o desempenho de prospecção. Isso cria sistemas de prospecção escaláveis e orientados por dados para equipes de vendas B2B e crescimento.

Conclusão

Neste post do blog, você aprendeu o que é o ToolJet. Você também percebeu por que integrá-lo ao Bright Data ajuda as empresas a complementar dados internos com dados web em tempo real, frescos e de alta qualidade.

Como demonstrado, a integração requer apenas alguns cliques graças às APIs do Bright Data. Elas suportam Scraping de dados, descoberta de dados, pesquisa, crawling em larga escala e muito mais. O resultado é um conjunto de aplicações web de nível empresarial para uma ampla variedade de casos de uso, desde monitoramento de mercado até análise de reputação de marca.

Se precisar de ajuda com a integração do Bright Data no ToolJet, sinta-se à vontade para contatar nossa equipe de suporte 24/7.

Crie uma conta no Bright Data hoje e comece a explorar nossas soluções de dados web prontas para IA!