Aprenda a aumentar a velocidade da solicitação com manipulações simples de Proxy
Agenda
- Etapas simples para resolver problemas comuns de velocidade
- Usando os IPs mais rápidos e Proxy para seus domínios de destino
- Diminuir a largura de banda de resposta
- Otimizar as configurações do Proxy
Não quer assistir ao webinar? Leia-o
O tempo gasto enviando e recebendo solicitações é importante para o sucesso de suas operações de coleta de dados. Começaremos mostrando como acelerar o tempo de solicitação.
Começarei usando o Gerenciador de Proxy, que me permite alterar a solicitação antes que ela chegue ao Super Proxy.
O Proxy Manager atua como intermediário entre o rastreador e os Super Proxies, ajudando a controlar e moldar o tráfego para os Super Proxies e para o nó de saída do Proxy (ou seja, chamado de peer).
Ele também controla o que deve ocorrer após obter a resposta.
O Proxy Manager é um software de código aberto instalado localmente no seu computador.
Ele pode ser baixado em nosso site: brightdata.com/products/proxy-manager, github.com/luminati-io/luminati-proxy, npmjs.com/package/@luminati-io/luminati-proxy e hub.docker.com/r/luminati/luminati-proxy/
Começaremos analisando os registros de solicitações disponíveis no painel do Proxy Manager e na guia HAR Viewer em cada uma das portas Proxy.
Clique na solicitação para revelar os detalhes da solicitação e da resposta, juntamente com o tempo.
O tempo mostra o tempo que a solicitação levou para ser enviada e recebida pelo site de destino, juntamente com o tempo que a resposta levou para chegar de volta.
Quando o tempo de solicitação para enviar a solicitação excede o tempo desejado, podemos alterar isso indo para a guia “Velocidade da solicitação” da porta Proxy.
Posso escolher o superproxy mais próximo da minha localização para ter um tempo de ida e volta mais curto.
Isso pode ser feito pelo Gerenciador de Proxy, indo até o Gerenciador de Proxy e, na porta Proxy, na guia Velocidade da solicitação, selecione o país desejado na lista suspensa Localização do superproxy.
Observe que a geolocalização do IP do nó de saída não é afetada pela localização do superproxy em si.
A obtenção do superproxy por geolocalização, para uma latência mais curta, também pode ser feita com o comando servercountry-CÓDIGO_DO_PAÍS.zproxy.lum-superproxy.io Atualmente, os códigos de país suportados para obter um superproxy são AU, CN, GB, IN, NL, US.
Por exemplo, para obter um superproxy da Austrália, basta executar este comando: servercountry-au.zproxy.lum-superproxy.io
Outra opção para melhorar a velocidade é enviar cada solicitação várias vezes em paralelo por meio de diferentes superproxies, e isso utilizará o mais rápido.
Isso pode ser feito definindo as solicitações paralelas em 3 e o número mínimo de superproxies em 5.
Definir “resolver DNS no superproxy” também será mais rápido do que resolver no lado do par.
Depois de configurar, faça um pequeno teste enviando uma solicitação ao site de destino para verificar se foi bem-sucedido.
Outra maneira de melhorar a velocidade das solicitações é definir um limite de velocidade e salvar um conjunto de IPs que atendam a esse limite.
Isso pode ser feito no Gerenciador de Proxy, na guia Regras.
Vou criar uma regra que é acionada quando uma solicitação atinge meus limites de tempo ou fica abaixo do limite, selecionando “Tempo de solicitação menor que” e “500 milissegundos”.
Em seguida, selecione a ação “Salvar IP no pool rápido”. Isso criará um pool de IPs que são os mais rápidos para o meu site de destino específico, e definirei o tamanho do pool para 20 IPs.
Lembre-se de habilitar o analisador HTTPS para que as regras do Gerenciador de Proxy funcionem com protocolos https.
Veja as instruções em brightdata.com/faq#proxy-certificate.
Dependendo do seu sistema operacional e navegador, você encontrará instruções mais específicas para cada um aqui.
A otimização de um tempo de resposta lento pode ser feita removendo arquivos desnecessários da resposta.
Isso pode ser feito na guia regras, selecionando o tipo de arquivo a ser removido no campo regex e ativando um gatilho para URLs específicos.
Você pode encontrar à direita a regra como uma função JavaScript e copiá-la para o seu código.
Observe que você deve sempre testar sua regra clicando em Testar abaixo da seção de regras.
A rede do data center e a residencial estática têm um limite de 500 solicitações por segundo, por IP.
Ao atingir esse limite, você receberá este erro: CÓDIGO 429: TUN_ERR: Muitas solicitações por IP.
Para resolver isso, diminua a taxa de solicitações ou compre IPs para distribuir a carga por mais IPs do data center.
Os IPs do data center são IPs de máquinas, e os IPs residencialis estáticos são IPs de ISP que são extremamente rápidos e podem ser usados pelo tempo que for necessário.
Não há limite para o número de solicitações usando a rede residencial, que consiste em dezenas de milhões de IPs de usuários reais.
A Bright Data tem muitos clientes que enviam mais de 20 milhões de solicitações por dia.
Agora, para os clientes que estão executando dezenas de milhões de solicitações por dia, a configuração ideal é conectar seu rastreador ou bot ao Gerenciador de Proxy ou via API ao Gerenciador de Proxy que o conecta ao Super Proxy.
O Proxy Manager é instalado em suas instalações e, em cargas elevadas, é necessário dividir o tráfego de carga em vários Proxy Managers.
Caso contrário, você poderá receber um código de erro 502 devido à alta carga de tráfego em uma única máquina Proxy Manager.
Para configurar vários Proxy Managers, instale o Proxy Manager em um PC, configure as portas proxy necessárias, o direcionamento das portas proxy, as regras de rede e a configuração da porta.
A porta Proxy pode ser configurada na guia Geral e selecione Sim para ativar os logs SSL.
Agora, coloque os IPs em lista branca que você deseja conectar a esta porta Proxy, ou seja, o IP do seu rastreador ou bot.
Isso garantirá que apenas as fontes permitidas usarão cada uma das portas Proxy do Gerenciador de Proxy.
Basta obter os IPs da sua máquina rastreadora, digitá-los no campo de acesso IPs em lista branca e clicar em V.
Agora vá para a guia Configuração manual e copie o arquivo JSON.
Para instalar o Gerenciador de Proxy em outras máquinas, vá para a guia Configurações manuais, clique em editar, cole o arquivo JSON e salve.
Isso copiará todas as portas Proxy que você definiu com suas configurações, incluindo os IPs em lista branca.
Agora que temos algumas máquinas com o Gerenciador de Proxy, a divisão do tráfego entre as instâncias é feita direcionando as solicitações para o IP da máquina relevante e a porta do Gerenciador de Proxy.
As solicitações terão a seguinte aparência:
solicitação 1 -> [IP do primeiro servidor]:24000
solicitação 2 -> [IP do segundo servidor]:24000
Observação: lembre-se de instalar o certificado do Gerenciador de Proxy, conforme descrito anteriormente.
Concluindo nosso webinar, as etapas para aumentar a velocidade das solicitações são:
- Roteie o tráfego para o Proxy mais rápido com base na sua localização
- Envie solicitações paralelas por alguns Proxy para usar o mais rápido
- Resolva o DNS no lado do Proxy
- Remova arquivos desnecessários da resposta
- Salve o IP mais rápido em um pool de IPs rápidos para uso futuro
- Divida a carga de tráfego em várias instâncias e máquinas do Proxy Manager
Esperamos que este webinar tenha sido proveitoso para você. Você pode visitar nossa página de perguntas frequentes ou assistir aos nossos webinars anteriores, disponíveis em brightdata.com/webinar