Alimentando Receitas do Workato com Dados Web Frescos Usando APIs da Bright Data

Neste artigo, você aprenderá:

• O que é o Workato e o que ele oferece como plataforma de automação low-code.
• Por que fluxos de trabalho automatizados se beneficiam do acesso a dados web estruturados e de alta qualidade.
• Como construir uma receita do Workato que processa dados web recuperados programaticamente por meio das APIs da Bright Data.

Vamos começar!

O Que É o Workato?

Workato é uma plataforma low-code de automação e integração baseada em nuvem. Ela conecta aplicações, sincroniza dados e orquestra fluxos de trabalho empresariais com ferramentas low-code. Ajuda a automatizar processos e integrar agentes de IA em milhares de aplicações e sistemas.

Os principais recursos suportados pelo Workato são:

• Receitas: Fluxos de trabalho visuais que definem processos automatizados por meio de gatilhos e ações. Conectam aplicações, transformam dados e executam lógica de negócios sem exigir desenvolvimento personalizado extenso.
• Conectores: Integrações pré-construídas que conectam o Workato a aplicações SaaS populares, sistemas empresariais, bancos de dados, APIs e outras ferramentas de negócios para simplificar a troca de dados.
• Automação low-code/no-code: Uma interface de arrastar e soltar que permite às equipes construir e modificar fluxos de trabalho sem escrever código tradicional, reduzindo o tempo de desenvolvimento e a dependência de recursos de engenharia.
• Orquestração de agentes de IA: Ferramentas para projetar, implantar e governar agentes de IA que podem interagir com sistemas empresariais, seguir regras de negócios e executar processos automatizados.
• Governança e segurança empresarial: Fornece controles como gerenciamento de acesso, logs de auditoria, proteção de dados, monitoramento e aplicação de políticas para garantir automação confiável em escala.

Por Que Integrar Dados Web em Receitas do Workato

O Workato suporta integrações com aplicações SaaS e serviços de terceiros em toda a sua pilha de tecnologia empresarial. No entanto, dados internos sozinhos geralmente não são suficientes para gerar insights completos e precisos.

Os dados web fornecem contexto externo sobre o que está acontecendo no mercado agora. Essa informação contextual e em tempo real é essencial para melhorar a tomada de decisões, especialmente em cenários de negócios.

Os dados online se tornam ainda mais importantes ao construir automações com IA. LLMs são treinados em conjuntos de dados estáticos e não têm acesso aos eventos, atualizações ou sinais de negócios mais recentes. Sem dados ao vivo, seus resultados podem envolver conhecimento desatualizado e levar a insights imprecisos.

O problema é que coletar dados web em escala é desafiador devido a limites de taxa, sistemas anti-bot, CAPTCHAs e análise de impressão digital. É aqui que a Bright Data entra!

APIs da Bright Data como Solução

Bright Data é um provedor líder de dados web que expõe APIs para coletar, extrair e processar dados web públicos em escala. Todas essas APIs podem ser integradas em receitas do Workato para alimentar fluxos de trabalho automatizados com dados web estruturados, verificáveis e atualizados.

As principais APIs da Bright Data incluem:

• APIs de Web Scraper: Extraem conjuntos de dados estruturados de sites populares, incluindo Amazon, LinkedIn e mais de 40 domínios suportados.
• API Web Unlocker: Recupera conteúdo de páginas web em HTML ou Markdown enquanto lida automaticamente com sistemas anti-bot e desafios de acesso.
• API SERP: Coleta resultados estruturados de mecanismos de busca do Google, Bing, Yandex e outras plataformas de pesquisa para fluxos de trabalho de pesquisa e automação.
• API de Navegador: Executa sessões automatizadas de navegador para interagir com sites dinâmicos e aplicações baseadas em JavaScript.

Observação: Toda nova conta Bright Data inclui 5.000 solicitações gratuitas por mês nas APIs Web Unlocker, API SERP e APIs de Web Scraper.

O que diferencia a Bright Data é sua infraestrutura de nível empresarial, alimentada por uma rede de Proxy com mais de 400 milhões de IPs em 195 países. Suporta escalabilidade e concorrência ilimitadas, mantendo 99,99% de disponibilidade e 99,95% de taxa de sucesso.

Combinada com o Workato, a Bright Data permite que empresas construam fluxos de trabalho sólidos. Descubra como!

Como Usar APIs de Scraper da Bright Data em uma Receita do Workato

Neste capítulo passo a passo, você aprenderá como configurar uma receita do Workato com IA para o mundo real. Especificamente, o fluxo de trabalho irá automaticamente:

1. Recuperar avaliações recentes do Glassdoor usando a Bright Data.
2. Analisá-las com o OpenAI.
3. Entregar um relatório HTML estruturado diretamente na sua caixa de entrada.

Esta receita é útil para monitoramento de concorrentes, pesquisa de mercado e análise de feedback de funcionários.

Observação: Este é apenas um exemplo do que você pode construir. As APIs da Bright Data suportam muitos outros casos de uso, permitindo criar fluxos de trabalho para busca na web, geração de leads, monitoramento de avaliações, enriquecimento de dados e muito mais.

Siga as instruções abaixo!

Pré-requisitos

Certifique-se de ter:

• Uma conta no Workato (uma avaliação gratuita é suficiente).
• Uma conta na Bright Data com uma chave de API configurada. Consulte o guia oficial sobre como configurar uma chave de API da Bright Data.
• Uma chave de API do OpenAI.

Embora não seja estritamente necessário, uma compreensão básica de como a API de Scraper da Bright Data funciona também será útil.

Passo #1: Inicializar uma Receita do Workato

Faça login na sua conta do Workato e crie um novo projeto (por exemplo, “Web Data Workflows”). Abra o projeto e selecione “Create > Recipe” para criar uma nova receita do Workato:

Se você é novo no Workato, uma receita é um fluxo de trabalho automatizado que conecta diferentes aplicações por meio de um gatilho e uma série de ações. O gatilho determina quando o fluxo de trabalho começa, enquanto as ações definem as tarefas executadas posteriormente.

Dê um nome à sua receita (por exemplo, “Glassdoor Review Monitoring and Sentiment Analysis Workflow”) e selecione “Run on a schedule” como ponto de partida:

Você será redirecionado para o editor visual de receitas:

Observe que a receita já inclui um gatilho agendado. Isso significa que o fluxo de trabalho será executado periodicamente em intervalos regulares sem intervenção manual.

Para configurar quando o fluxo de trabalho será acionado, clique na etapa “Trigger” e ajuste as configurações de agendamento. Por exemplo, você pode configurá-lo para ser executado a cada 10 dias às 9h:

Muito bem! Sua nova receita do Workato foi inicializada.

Passo #2: Familiarize-se com a API de Scraper de Avaliações do Glassdoor da Bright Data

O Scraper de Avaliações do Glassdoor da Bright Data é o endpoint de API de Web Scraper ideal para recuperar dados de avaliações do Glassdoor. Antes de integrá-lo à sua receita do Workato, vale entender como a API funciona, incluindo seu endpoint, entrada e saída.

Faça login na sua conta da Bright Data e acesse o painel de controle. Navegue até “Scrapers > Scrapers Library”, pesquise por “glassdoor” e selecione o card “glassdoor.com”:

Você será redirecionado para a página do Scraper do Glassdoor. Lá, selecione a opção “Glassdoor companies reviews > Collect by URL” no menu à esquerda. Este é o endpoint usado para fazer scraping de avaliações do Glassdoor:

O exemplo de código à direita mostra que as solicitações de scraping síncronas são enviadas para o seguinte endpoint:

https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_l7j1po0921hbu0ri1z

Aqui, gd_l7j1po0921hbu0ri1z é o ID do conjunto de dados para a API de Scraper de Avaliações do Glassdoor. A solicitação é enviada ao endpoint datasets/v3/scrape, que executa o trabalho de scraping e aguarda sua conclusão antes de retornar os dados extraídos na resposta.

Como você pode ver, o corpo da solicitação tem a seguinte estrutura:

{
  "input": [
    {
      "url": "<GLASSDOOR_REVIEW_PAGE_URL>",
      "days": <NUM_DAYS>
    },
    // outros objetos de URL...
  ],
  "limit_per_input": null
}

O campo url especifica a página de avaliações da empresa no Glassdoor a ser rastreada, enquanto days limita os resultados às avaliações publicadas dentro do número de dias especificado.

Você também pode testar o endpoint diretamente no painel de controle da Bright Data clicando em “Run manually” no canto superior direito. Se você analisar a saída JSON de uma chamada de API, verá:

Observe como cada avaliação inclui as mesmas informações disponíveis na página original do Glassdoor. Isso inclui título da avaliação, classificação, prós, contras, recomendações e data da avaliação:

Ótimo! É hora de integrar a chamada da API de Scraper da Bright Data à sua receita do Workato.

Passo #3: Configurar a Etapa HTTP para Chamar a API de Scraper

Retorne à página do editor de receitas do Workato. Clique no botão “+” e selecione “Action in app” para adicionar uma nova etapa. No painel à direita, pesquise por “http” e selecione o aplicativo “HTTP”:

O aplicativo “HTTP” do Workato permite enviar solicitações HTTP para serviços externos, tornando-o a escolha ideal para chamar as APIs de Scraper da Bright Data.

Configure a conexão com as seguintes configurações:

• Connection name: Bright Data Scraper API
• Location: Seu projeto no Workato
• Connection type: Cloud
• Authentication type: Header auth (pois as APIs de Scraper da Bright Data são autenticadas via cabeçalho Authorization)

Em seguida, em “Base URL”, cole a URL base da API de Scraper da Bright Data:

https://api.brightdata.com/datasets/v3/scrape

Deixe as opções restantes inalteradas e clique em “Connect”. Em seguida, na configuração da etapa, clique no botão “Start guided setup”:

Isso abrirá um assistente para guiá-lo pela configuração da solicitação HTTP.

Selecione “POST” como método HTTP e use a seguinte URL de solicitação para o endpoint da API de Scraper do Glassdoor:

https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_l7j1po0921hbu0ri1z&format=json

O parâmetro de consulta format=json instrui a API a retornar os resultados como JSON. Outros formatos, como CSV e JSONL, também são suportados.

Agora, suponha que você queira monitorar avaliações do Glassdoor para a Nike. Adicione este corpo de solicitação:

{"input":[{"url":"https://www.glassdoor.com/Reviews/NIKE-Reviews-E1699.htm","days":10}],"limit_per_input":null}

Observe que days está definido como 10 porque a receita do Workato está configurada para ser executada a cada 10 dias. Isso garante que cada execução recupere todas as novas avaliações publicadas desde a execução anterior.

Para autenticar a solicitação por meio da sua conta da Bright Data, configure um cabeçalho Authorization contendo:

Bearer <SUA_CHAVE_DE_API_BRIGHT_DATA>

Substitua <SUA_CHAVE_DE_API_BRIGHT_DATA> pela sua própria chave de API da Bright Data. Este é o padrão exigido pelas APIs da Bright Data para autenticação.

Clique em “Send request” para testar a configuração. Se tudo estiver configurado corretamente, o Workato retornará uma resposta 200 OK contendo as avaliações do Glassdoor extraídas em formato JSON:

Clique em “Apply configuration” para finalizar a configuração guiada.

De volta à configuração da etapa “HTTP”, você poderá explorar o esquema de resposta gerado automaticamente após o teste de chamada de API. Nas opções de “Setup”, certifique-se de definir a opção “Wait for response” como “Yes”:

Dessa forma, o Workato aguardará a API da Bright Data retornar os dados extraídos antes de executar a próxima etapa da receita.

Por fim, lembre-se de que esta etapa “HTTP” contém sua chave de API da Bright Data. Para evitar expô-la em logs de receita ou relatórios de trabalho, armazene-a como um segredo ou clique no menu “…” na etapa HTTP e ative “Mask data”:

Excelente! Sua receita do Workato agora está conectada com sucesso à API de Scraper de Avaliações do Glassdoor da Bright Data.

Passo #4: Configurar a Etapa do OpenAI

A receita do Workato pode recuperar dados web extraídos por meio das APIs da Bright Data. Agora você está pronto para enviar esses dados a um modelo do OpenAI para análise.

Clique em “+” novamente, adicione um novo aplicativo, pesquise por “openai” e selecione o aplicativo “OpenAI“:

Escolha a ação “Send messages to OpenAI models”, que permite à sua receita enviar prompts a um modelo do OpenAI e receber a resposta:

Ao criar a conexão, cole sua chave de API do OpenAI no campo apropriado e clique em “Connect”:

Em seguida, selecione o modo “Single message” (já que você deseja enviar um único prompt ao LLM). Em “Text to send”, mude para o modo “Formula” e cole o seguinte prompt:

"Given the following Glassdoor reviews, generate a concise yet comprehensive HTML email report summarizing recent user reviews, highlighting key trends, recurring themes, sentiment, and notable feedback.

GLASSDOOR REVIEWS:" + <response_array_text_data>

Substitua o espaço reservado <response_array_text_data> pela saída “Send request > Response > Array” da etapa “HTTP” anterior para que o modelo receba os dados de avaliação extraídos. Como a resposta é um array, chame o método join(";") para concatenar todos os objetos de avaliação em uma única string antes de enviá-la ao LLM.

Veja como o prompt solicita explicitamente uma resposta em HTML. Isso é intencional porque o conteúdo gerado será enviado posteriormente por e-mail, cujo protocolo suporta conteúdo formatado em HTML.

Observação: No momento em que este artigo foi escrito, a etapa “OpenAI” do Workato usa o GPT-4o por padrão.

Ótimo! Sua receita do Workato agora pode processar dados web atualizados por meio de modelos do OpenAI e gerar relatórios HTML com IA.

Passo #5: Adicionar a Integração com o Gmail

A etapa final é enviar o relatório gerado pela IA por e-mail. Clique em “+”, adicione o aplicativo “Gmail” e selecione a ação “Send email”:

Clique em “Log in to Google” para conectar sua conta do Google ao Workato. Conceda as permissões solicitadas para autorizar a integração.

Em seguida, configure a etapa “Send email via Gmail” da seguinte forma:

• To: O(s) endereço(s) de e-mail do(s) destinatário(s)
• Subject: Glassdoor review analysis report (ou um título semelhante)
• Email type: HTML
• Message: Selecione a saída de dados de receita “Best choice” da etapa “Send messages to OpenAI models”.

Observação: Os dados de receita “Best choice” contêm o relatório HTML gerado pelo modelo do OpenAI na etapa anterior.

Ótimo! A receita do Workato está completa.

Passo #6: Executar a Receita

Sua receita final do Workato deve ser semelhante a esta:

Abra a aba “TEST” e clique em “Test recipe” para executar o fluxo de trabalho. Isto é o que você obterá:

Durante a execução, o Workato irá:

1. Acionar o fluxo de trabalho agendado.
2. Chamar a API de Scraper de Avaliações do Glassdoor da Bright Data.
3. Passar as avaliações recuperadas ao OpenAI para analisá-las e gerar um relatório HTML.
4. Enviar o relatório via Gmail.

Para verificar se o fluxo de trabalho está usando dados de avaliações do Glassdoor, inspecione o “Input” da etapa “OpenAI”:

Observe como o prompt contém as avaliações do Glassdoor recuperadas pela API de Scraper da Bright Data sob demanda. Isso fundamenta o LLM com dados web contextuais em vez de depender de conhecimento desatualizado proveniente dos dados de treinamento.

Observação: Você pode seguir uma abordagem semelhante para integrar qualquer outra API da Bright Data. Por exemplo, você pode adicionar recursos de busca na web, rastreamento ou scraping de dados genérico às suas receitas do Workato.

Missão cumprida! Você integrou com sucesso a Bright Data ao Workato. Combinando o suporte de API do Workato com a infraestrutura de dados web da Bright Data, você pode construir poderosos fluxos de trabalho de automação que coletam, analisam e agem sobre dados web frescos de praticamente qualquer site.

Explore os muitos casos de uso suportados pelas APIs da Bright Data para construir fluxos de trabalho de automação com IA ainda mais avançados.

Passo #7: Explorar a Saída Gerada

Por fim, verifique sua caixa de entrada:

Você deverá ver um novo e-mail “Glassdoor review analysis report”. Abra-o para visualizar um relatório HTML estruturado resumindo as avaliações publicadas nos últimos 10 dias. O relatório destaca temas positivos e negativos recorrentes.

Et voilà! A receita do Workato funciona perfeitamente.

Conclusão

Neste artigo, você aprendeu como usar a API de Scraper da Bright Data para buscar dados estruturados e ao vivo de sites e processá-los com o OpenAI em uma receita automatizada do Workato.

O fluxo de trabalho de IA demonstrado aqui pode ser facilmente estendido a outras APIs da Bright Data para habilitar scraping de dados programático, busca, recuperação de feeds de dados e muito mais. Para construir pipelines mais avançados, explore o conjunto completo de APIs prontas para IA da Bright Data.

Crie uma conta na Bright Data hoje gratuitamente e comece a integrar APIs de dados web prontas para empresas em seus fluxos de trabalho de IA!