Integrando Bright Data ao ToolJet para Monitoramento em Tempo Real de Web Apps para Empresas

Neste artigo, você aprenderá:

• O que é o ToolJet e o que ele oferece como plataforma low-code de desenvolvimento de aplicações full-stack.
• Por que integrá-lo ao Bright Data é ideal para o desenvolvimento de web apps de nível empresarial.
• Como criar uma aplicação web real para monitoramento ao vivo usando ToolJet e Bright Data.
• Outros casos de uso suportados pela integração ToolJet + Bright Data.

Vamos começar!

O Que É o ToolJet?

ToolJet é uma plataforma low-code com IA para criar aplicações internas full-stack, dashboards, workflows e agentes de IA.

Ele ajuda a criar rapidamente ferramentas como painéis administrativos, CRMs e dashboards de dados sem necessidade de desenvolvimento pesado de frontend/backend. É especialmente útil para empresas que desejam conectar bancos de dados, APIs e ferramentas SaaS em aplicações internas seguras, mantendo controle total sobre a infraestrutura e os dados.

O ToolJet tem natureza open-source, com mais de 38.000 estrelas no GitHub. Além da implantação em nuvem para flexibilidade empresarial, também suporta auto-hospedagem.

Principais Recursos

As principais capacidades oferecidas pelo ToolJet são:

• AI App Builder: Crie aplicações full-stack a partir de prompts em linguagem natural, incluindo UI, esquemas de banco de dados e lógica.
• Automação de workflows: Construa workflows de múltiplas etapas usando lógica visual, gatilhos, condições e eventos agendados.
• Mais de 80 integrações: Conecte-se a bancos de dados, APIs, armazenamento em nuvem e plataformas SaaS nativamente.
• Banco de dados ToolJet: Banco de dados integrado com suporte a PostgreSQL para operações CRUD rápidas sem configuração externa.
• Agentes de IA: Crie agentes inteligentes que automatizam workflows complexos com múltiplos sistemas.
• Extensibilidade por código: Adicione JavaScript ou Python personalizado para lógica avançada e transformações.
• Segurança empresarial: Suporta SSO (SAML, OIDC, LDAP), RBAC, logs de auditoria, criptografia e padrões de conformidade.
• Implantação flexível: Execute no ToolJet Cloud ou auto-hospede no AWS, GCP, Azure, Kubernetes ou Docker.
• Versionamento baseado em Git: Suporta GitSync e workflows de CI/CD para gerenciamento profissional do ciclo de vida de desenvolvimento.

Por Que Conectar as APIs do Bright Data ao ToolJet

Não há dúvida de que aplicações internas, dashboards e workflows empresariais precisam de dados. Porém, depender apenas de bancos de dados internos não é mais suficiente para gerar insights de negócio de alta qualidade.

Sistemas internos podem informar o que está acontecendo dentro da sua empresa. No entanto, eles não conseguem explicar o que ocorre no mercado, entre concorrentes ou no ecossistema digital mais amplo.

O verdadeiro desafio é que dados externos da web são difíceis de coletar e usar em escala. Os sites mudam constantemente sua estrutura, muitos utilizam proteções anti-bot e os dados frequentemente são desestruturados, inconsistentes ou incompletos.

Mesmo quando o scraping é possível, manter a confiabilidade em milhares de fontes se torna um problema de engenharia contínuo. Como resultado, as empresas têm dificuldade em integrar dados externos em suas aplicações internas.

A solução é combinar ferramentas de criação de apps internos como o ToolJet com uma camada dedicada de infraestrutura de dados web. É aqui que o Bright Data entra em cena!

As APIs do Bright Data como Solução

Ao conectar aplicações ToolJet ao Bright Data, dashboards e workflows internos ganham acesso a dados em tempo real, estruturados e confiáveis de praticamente qualquer site. A integração no ToolJet é possível por meio das APIs do Bright Data, que dão acesso aos produtos Bright Data:

• API SERP: Colete resultados de mecanismos de busca como Google, Bing e outros provedores para impulsionar pesquisas de mercado, rastreamento de SEO e análise competitiva.
• API Web Unlocker: Acesse conteúdo de praticamente qualquer site contornando CAPTCHAs e sistemas anti-bot, retornando HTML ou Markdown limpos.
• APIs Web Scraper: Extraia dados estruturados de grandes plataformas como Amazon, LinkedIn e Instagram sem criar scrapers personalizados.
• API de Crawl: Transforme domínios inteiros em conjuntos de dados estruturados, viabilizando pipelines de dados abrangentes e workflows prontos para IA.

O que diferencia o Bright Data é sua infraestrutura de nível empresarial construída especificamente para coleta de dados em larga escala. Sua rede inclui mais de 400 milhões de endereços IP em 195 países, com 99,99% de uptime e taxa de sucesso de 99,95%.

Como Criar um App de Monitoramento de Dados em Tempo Real no ToolJet Usando as APIs de Scraping do Bright Data

Nesta seção, você aprenderá como criar uma aplicação para monitorar dados de avaliações de apps na Apple App Store. Isso pode ser usado para acompanhar continuamente as mudanças na classificação do seu app ou para monitorar apps concorrentes.

O ToolJet será usado para criar a aplicação web completa, enquanto os dados serão obtidos do Bright Data. Note que muitos outros cenários e casos de uso podem ser construídos usando a mesma abordagem.

Siga as instruções abaixo!

Pré-requisitos

Para acompanhar este tutorial, certifique-se de ter:

• Uma conta no ToolJet (o plano gratuito é suficiente).
• Uma conta no Bright Data com uma chave de API. Siga o guia oficial para gerar sua chave de API do Bright Data.

Familiaridade com como funcionam as APIs Scraper do Bright Data também será útil.

Passo #1: Familiarize-se com a API Scraper da Apple App Store

A aplicação full-stack no ToolJet que você está prestes a criar dependerá de dados obtidos da Apple App Store via Bright Data. Por isso, faz sentido conhecer as APIs Scraper da Apple App Store do Bright Data.

Comece fazendo login na sua conta Bright Data. No painel de controle do Bright Data, vá em “Scrapers > Scrapers Library” no menu lateral esquerdo. Isso o levará à página “Scrapers Library”, onde você pode explorar todas as APIs Scraper disponíveis do Bright Data.

Pesquise por “apps.apple.com” e clique no card do scraper correspondente:

Na página da API de scraping da Apple App Store, selecione o endpoint “Apple App Store > Collect by URL”. Esse endpoint faz o scraping das informações da Apple App Store que nos interessam.

No painel de controle do Bright Data, você pode configurar e testar a API para entender sua estrutura de entrada e saída. Por exemplo, suponha que você queira monitorar informações da Apple App Store e pontuações de avaliações desses apps concorrentes no setor fitness:

• https://apps.apple.com/us/app/planet-fitness/id399857015
• https://apps.apple.com/us/app/myfitnesspal-calorie-counter/id341232718
• https://apps.apple.com/us/app/crunch-fitness/id398210959

Adicione-os ao campo “Inputs > url” e pressione “Run manually” para testar a chamada da API:

Note que o endpoint da API da Apple App Store pode ser chamado enviando uma requisição POST para a seguinte URL:

https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_lsk9ki3u2iishmwrui

O corpo desta requisição HTTP contém a lista de URLs de apps da Apple a serem coletados.

Na aba “Snapshots”, você poderá baixar os resultados gerados. Se baixado como JSON, você verá algo assim:

A saída contém informações da App Store, incluindo avaliações, número de avaliadores e avaliações recentes. Isso significa que a API do Bright Data conseguiu contornar as proteções anti-bot da Apple App Store e recuperar os dados de interesse.

É exatamente esse tipo de dado web atualizado que você precisa para monitorar apps concorrentes. Ótimo!

Passo #2: Crie um Novo Projeto no ToolJet

Agora que você sabe como obter os dados de origem para sua aplicação full-stack, o próximo passo é criá-la. Comece fazendo login no ToolJet e, na página “Home > Home”, clique no botão “Create a blank app”:

Isso o levará ao App Builder do ToolJet, onde você pode definir sua aplicação por meio de uma experiência no-code/low-code.

Dê um nome à sua nova aplicação ToolJet em branco (ex.: “Apple App Store App Monitoring”) e familiarize-se com a interface:

Ótimo! É hora de conectar sua fonte de dados via integração com a API do Bright Data e adicionar componentes para criar o web app.

Passo #3: Configure a Query REST API Powered pelo Bright Data

Os dados de origem para o web app de monitoramento da Apple App Store serão coletados usando a API Scraper do Bright Data. Por isso, clique no botão “REST API” para configurar a fonte de dados:

Dê um nome à sua API (ex.: “AppleAppStoreScrapingAPI”) e preencha a aba “Setup” da seguinte forma:

• Method: POST
• URL: https://api.brightdata.com/datasets/v3/scrape (Este é o endpoint principal usado para APIs Scraper do Bright Data no modo assíncrono.)
• Headers:

– Authorization: Bearer <SUA_CHAVE_API_BRIGHT_DATA> (Necessário para autenticação com as APIs Scraper na sua conta Bright Data. Substitua <SUA_CHAVE_API_BRIGHT_DATA> pela sua chave de API real do Bright Data.)

Essa configuração informa ao ToolJet qual endpoint de API chamar e como autenticá-lo.

Em seguida, role para baixo e vá até a aba “Params”. Adicione os seguintes parâmetros de query:

• dataset_id: gd_lsk9ki3u2iishmwrui (Corresponde ao ID do endpoint scraper “Apple App Store, Collect by URL”.)
• format: json (Garante que a API retorne dados JSON estruturados.)

Agora vá até a seção “Body”, ative o modo “Raw” e cole o corpo da requisição gerado anteriormente no painel de controle do Bright Data (Passo #1):

{"input":[{"url":"https://apps.apple.com/us/app/planet-fitness/id399857015"},{"url":"https://apps.apple.com/us/app/myfitnesspal-calorie-counter/id341232718"},{"url":"https://apps.apple.com/us/app/crunch-fitness/id398210959"}]}

Dessa forma, a API Scraper irá coletar os apps corretos da Apple App Store.

Pressione “Run” no canto superior direito para verificar se a API funciona. Se tudo estiver configurado corretamente, você verá os mesmos resultados na seção “Preview” que obtivemos ao final do Passo #1:

Isso confirma que sua aplicação ToolJet agora pode recuperar dinamicamente dados estruturados da Apple App Store sob demanda via API Scraper do Bright Data. Incrível!

Passo #4: Adicione uma Tabela para Visualizar os Dados Obtidos

Agora que você tem a fonte de dados configurada, é necessário criar a parte frontend do web app. Comece adicionando uma tabela para exibir os dados coletados.

Na seção direita da interface do App Builder, clique no botão “+” (Components), selecione “Table” e arraste-o para o canvas da aplicação:

Clique no componente de tabela e, no painel direito, abra a aba “Properties”. Defina os dados de entrada da tabela como a saída da REST API configurada anteriormente selecionando “Data source > AppAppStoreScrapingAPI”:

Em seguida, especifique as colunas para que a tabela possa representar corretamente os dados de entrada. Na seção “Columns”, ative a opção “Use dynamic columns”:

Em seguida, cole a configuração abaixo:

{{[
  { name: "URL", key: "url", id: "1" },
  { name: "Title", key: "title", id: "2" },
  { name: "Subtitle", key: "sub_title", id: "3" },
  { name: "Developer Name", key: "developer.developer_name", id: "4" },
  { name: "Developer Link", key: "developer.developer_link", id: "5" },
  { name: "Top Charts", key: "top_charts", id: "6" },
  { name: "Monetization Features", key: "monetization_features", id: "7" },
  { name: "Image", key: "image", id: "8" },
  { name: "Screenshots", key: "screenshots", id: "9" },
  { name: "Description", key: "description", id: "10" },
  { name: "Rating", key: "rating", id: "11" },
  { name: "Number of Raters", key: "number_of_raters", id: "12" },
  { name: "1-Star %", key: "reviews_star_percentage.one_stars", id: "13" },
  { name: "2-Star %", key: "reviews_star_percentage.two_stars", id: "14" },
  { name: "3-Star %", key: "reviews_star_percentage.three_stars", id: "15" },
  { name: "4-Star %", key: "reviews_star_percentage.four_stars", id: "16" },
  { name: "5-Star %", key: "reviews_star_percentage.five_stars", id: "17" },
  { name: "Reviews", key: "reviews", id: "18" },
  { name: "Events", key: "events", id: "19" },
  { name: "Data Linked To You", key: "data_linked_to_you", id: "20" },
  { name: "Seller", key: "seller", id: "21" },
  { name: "Category", key: "category", id: "22" },
  { name: "Languages", key: "languages", id: "23" },
  { name: "Copyright", key: "copyright", id: "24" },
  { name: "Size (MB)", key: "size", id: "25" },
  { name: "Compatibility", key: "compatibility", id: "26" },
  { name: "Age Rating", key: "age_rating", id: "27" },
  { name: "Price", key: "price", id: "28" },
  { name: "In-App Purchases", key: "In_app_purchases", id: "29" },
  { name: "Support", key: "support", id: "30" },
  { name: "More By This Developer", key: "more_by_this_developer", id: "31" },
  { name: "You Might Also Like", key: "you_might_also_like", id: "32" },
  { name: "Privacy Policy", key: "privacy_policy", id: "33" },
  { name: "Developer Website", key: "developer_website", id: "34" },
  { name: "Featured In", key: "featured_in", id: "35" },
  { name: "Country", key: "country", id: "36" },
  { name: "Latest App Version", key: "latest_app_version", id: "37" },
  { name: "App ID", key: "app_id", id: "38" },
  { name: "Provider", key: "provider", id: "39" },
  { name: "Timestamp", key: "timestamp", id: "40" },
  { name: "Input URL", key: "input.url", id: "41" }
]}}

Esta representação JSON corresponde ao esquema de dados de saída que você pode ver no painel de controle do Bright Data (na seção “Overview > Dictionary” de qualquer página de API Scraper).

Nota: Não se esqueça de envolver a expressão JSON com {{ }} para que o ToolJet interprete corretamente a string como um objeto.

A tabela deve começar a exibir os dados obtidos pela API Scraper da Apple App Store do Bright Data:

Excelente! Seu web app full-stack para monitoramento ao vivo powered by Bright Data está começando a tomar forma.

Passo #5: Adicione um Botão para Recuperação Dinâmica de Dados

Agora que você tem uma tabela com os dados coletados, adicione a opção de atualizá-la sob demanda.

Comece adicionando um componente Button e rotule-o como “Update data”. Em seguida, clique em “New event handler” e escolha o evento “On click”:

Para a ação, selecione “Run query” e escolha “AppleAppStoreScrapingAPI” como a query a ser executada:

Essa configuração instrui o ToolJet a executar a API Scraper do Bright Data configurada sempre que o usuário clicar no botão. A API recupera os dados mais recentes da Apple App Store em tempo real. Como a tabela já está vinculada à query (que corresponde à resposta da API), ela exibirá automaticamente os dados atualizados assim que a query for concluída.

Para melhorar a experiência do usuário, você também pode adicionar dois eventos de clique adicionais: um para ativar o estado de carregamento da tabela antes da chamada da API e outro para desativá-lo após o carregamento dos novos dados.

A seção “Events” do seu botão “Update data” deve ficar assim:

Perfeito! O frontend da sua aplicação ToolJet powered by Bright Data está agora completo. Tudo que resta é testar o workflow.

Passo #6: Teste o Web App Full-Stack para Monitoramento da Apple App Store

Para verificar se a aplicação funciona, clique no botão “Preview”:

Agora você poderá interagir com sua aplicação full-stack em uma página de preview dedicada. Inicialmente, a tabela não exibirá nenhum dado.

Para testar o workflow, clique em “Update data”. Após isso:

1. A tabela entra em estado de carregamento conforme esperado.
2. A query “AppleAppStoreScrapingAPI” é acionada, chamando a API da Apple App Store do Bright Data para coletar dinamicamente os dados mais recentes.
3. A tabela sai do estado de carregamento assim que a requisição é concluída.
4. Os dados obtidos são exibidos na tabela.

Como você pode ver, a tabela agora contém dados como avaliações, número de avaliadores e distribuição percentual das estrelas. O resultado é uma ferramenta full-stack de monitoramento da App Store que qualquer pessoa pode usar, independentemente do nível técnico.

Et voilà! Isso demonstra o poder das APIs do ToolJet + Bright Data para scraping de dados e aplicações de dados em tempo real.

Casos de Uso Adicionais do ToolJet + Bright Data

O exemplo mostrado no capítulo anterior é apenas um dos muitos casos de uso suportados pela combinação ToolJet + Bright Data. Vamos explorar outros!

Dashboards de Monitoramento de Mercado e Tendências

A ideia é criar dashboards que rastreiam tendências de mercado emergentes em sites, fóruns e plataformas digitais em tempo real. O Bright Data coleta e estrutura dados web ao vivo, enquanto o ToolJet os transforma em insights visuais como gráficos, tabelas e KPIs. Isso permite que equipes empresariais identifiquem rapidamente mudanças na demanda, novas categorias de produtos e comportamentos de usuários em evolução, sem pesquisa manual, possibilitando tomadas de decisão estratégica mais rápidas.

Sistemas de Monitoramento de Preços e Estoque no E-commerce

As empresas podem combinar as APIs do Bright Data com dashboards do ToolJet para monitorar preços de produtos, disponibilidade e variações em múltiplas plataformas de e-commerce. Os dados são coletados e normalizados automaticamente, depois exibidos em apps ToolJet para equipes de compras, estratégia de preços ou otimização de marketplace. Isso viabiliza decisões de precificação dinâmica e reações mais rápidas a escassez de estoque ou descontos de concorrentes.

Plataformas de Reputação de Marca

Usando o Bright Data para coletar avaliações, classificações e feedback de usuários em plataformas como lojas de apps ou marketplaces, o ToolJet pode transformar isso em um sistema ao vivo de monitoramento de sentimento e reputação. As empresas podem acompanhar tendências de avaliação, detectar picos negativos e analisar o feedback dos clientes em tempo real. Isso ajuda equipes de marketing e produto a responderem mais rapidamente às mudanças no sentimento dos usuários.

Ferramentas de Geração de Leads e Mapeamento de Mercado

O Bright Data pode coletar dados estruturados de negócios e contatos de diretórios, mecanismos de busca e fontes públicas, enquanto o ToolJet os transforma em ferramentas internas de gestão de leads. As equipes podem filtrar, segmentar e priorizar leads visualmente, criar workflows automatizados de enriquecimento e acompanhar o desempenho de prospecção. Isso cria sistemas de prospecção escaláveis e orientados por dados para equipes de vendas B2B e crescimento.

Conclusão

Neste post do blog, você aprendeu o que é o ToolJet. Você também percebeu por que integrá-lo ao Bright Data ajuda as empresas a complementar dados internos com dados web ao vivo, frescos e de alta qualidade.

Como demonstrado, a integração leva apenas alguns cliques graças às APIs do Bright Data. Elas suportam scraping de dados, busca, crawling em larga escala e muito mais. O resultado é um conjunto de web apps de nível empresarial para uma ampla gama de casos de uso, do monitoramento de mercado à análise de reputação de marca.

Se precisar de ajuda com a integração do Bright Data no ToolJet, fique à vontade para entrar em contato com nossa equipe de suporte 24/7.

Crie uma conta no Bright Data hoje e comece a explorar nossas soluções de dados web prontas para IA!