Integração de Proxy com Apify
Usar proxies da Bright Data com Apify aumenta a eficiência do web scraping, garantindo extração de dados segura e anônima e reduzindo o risco de bloqueios de IP e detecção.
Este guia pode estar desatualizado. Para um guia atualizado, consulte nossa documentação.
- 400M+ IPs residencialis
- Sessões fixas e rotativas
- 99,95% de taxa de sucesso
- Segmentação por geolocalização - GRÁTIS
O que é Apify?
Apify é uma poderosa plataforma de web scraping, extração de dados e RPA web. Ela pode automatizar qualquer coisa que você faria manualmente em um navegador e executar isso em grande escala. A Apify Store tem centenas de ferramentas de scraping prontas para uso que exigem apenas que você altere algumas configurações.
Proxies são frequentemente uma parte essencial do web scraping. Você deve sempre proteger sua identidade ao fazer scraping de dados e também pode precisar lidar com medidas anti-scraping e outras restrições implementadas pelo site de destino.
É aí que a Bright Data entra 💪
Os proxies da Bright Data podem ajudá-lo a concluir com sucesso suas tarefas de scraping e automação. Os proxies da Bright Data se integram perfeitamente ao Apify para que você possa realizar seu trabalho sem ser bloqueado.
Como configurar o Apify
com proxies da Bright Data:
Acesse a Bright Data:
- Faça login em sua conta Bright Data e acesse o painel
- Clique em Proxies & Infra e crie uma zona
- Você pode escolher entre IPs de Datacenter, Residencial, ISP e Móvel
- Configure e crie a zona de acordo com os requisitos do seu projeto
- Clique no ícone de Configurações ao lado do nome da zona.
- Obtenha o nome de usuário e a senha.
Acesse o Apify:
- Acesse apify.com e faça login em sua conta.
- Assim que estiver no Apify Console, clique em Actors no menu à esquerda.
- Na aba Store você encontrará o Web scraper. Usaremos este como nosso exemplo. Clique nele.
- Navegue até a aba Input.
- Digite lumtest como URL inicial para fazer scraping: https://lumtest.com/myip.json
- Na Page function, cole este código:
async function pageFunction(context) {
// jQuery is handy for finding DOM elements and extracting data from them.
// To use it, make sure to enable the "Inject jQuery" option.
const $ = context.jQuery;
// Select the element using the 'body > pre' CSS selector and extract its text content.
const data = $('body > pre').text();
// Return an object with the extracted data. It will be stored in the resulting dataset.
return {
data: data
};
}
- Em seguida, role para baixo para encontrar configuração de proxy e navegador.
- Clique em own proxy e insira suas credenciais de proxy no seguinte formato.
- http://username:[email protected]:33335 e a senha podem ser obtidos nas configurações da zona que acabamos de criar.
- O hostname para proxies da Bright Data é:brd.superproxy.io e a porta é 33335.
- É assim que a URL final do proxy da Bright Data ficará: http://lum-customer-c_375eb5c4-zone-zone5:[email protected]:33335
- Em seguida, basta clicar em Start.
- Você pode então visualizar e baixar os dados em HTML, JSON, CSV, Excel, XML e feed RSS, ou visualizá-los na aba de saída
- Para confirmar que o Apify usou o proxy, acesse seu painel da Bright Data, navegue até proxies e verifique o log de eventos.
⚠️Nota importante: Se você estiver usando os Proxies Residenciais, o Web Unlocker ou a API SERP da Bright Data, é necessário instalar um certificado SSL para habilitar conexões seguras ponta a ponta com o(s) site(s) de destino. Este é um processo simples, veja https://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificate para instruções.
Obter proxies para Apify
Impulsionado por uma infraestrutura de proxy residencial premiada
Mais de 400M+ monthly de proxies residenciais, a melhor tecnologia da categoria e a capacidade de segmentar qualquer país, cidade, operadora e ASN, torna nossos serviços de proxy premium a melhor escolha para desenvolvedores.
Um proxy para cada caminho de desenvolvimento
Combine redes, peers e IPs para otimizar seu fluxo contínuo de dados da web.
Preços da Rede de Proxies
Usa a AWS? Agora você pode pagar por meio do AWS Marketplace Líder em proxies e coleta de dados
Para os clientes, a melhor experiência do ramo
Novos lançamentos de recursos todos os dias
Para responder a qualquer pergunta quando você precisar
Painel de desempenho de rede em tempo real
Para otimizar seu desempenho
Para atingir suas metas de coleta de dados