Integração de Proxy com Scrapy

Este guia pode estar desatualizado. Para um guia atualizado, consulte nossa documentação.

What is Scrapy?

Scrapy é um framework Python para rastreamento e scraping de dados, que permite aos usuários extrair dados estruturados de sites. É de código aberto, rápido e extensível. O Scrapy pode ser usado para diversos fins, como mineração de dados, monitoramento e testes automatizados.

Obtenha proxies para scrapy

Scrapy integration with Bright Data proxies

Abra seu IDE preferido e inicie um novo projeto scrapy, digite na linha de comando:

      scrapy startproject <project_name>

Isso criará uma nova pasta com o nome do projeto; dentro da pasta, abra um arquivo Python.

Acesse o Painel de Controle da Bright Data e clique no ícone ‘Proxies & Scraping Infra’
Crie uma nova zona de proxy clicando em ‘Adicionar’, escolhendo um tipo de rede, configurando o proxy e clicando em salvar
Na aba ‘Parâmetros de acesso‘ da sua zona de proxy, você encontrará os valores de ‘USUÁRIO‘ e ‘SENHA‘.
No arquivo de código do seu spider Scrapy, dentro do parâmetro meta da solicitação, defina o valor ‘proxy’ como o seguinte, usando os valores de ‘USUÁRIO‘ e ‘SENHA‘ anteriores: “http://USERNAME:[email protected]:33335“
Por exemplo:

      import scrapy



class BrightdatascrapyexampleSpider(scrapy.Spider):

   name = "BrightDataScrapyExample"



  def start_requests(self):

       request = scrapy.Request(url="http://example.com",callback=self.parse)

       request.meta['proxy'] = "http://USERNAME:[email protected]:33335"

       yield request



   def parse(self, response):

       print(response.body)

Em seguida, execute o seguinte comando na sua linha de comando:

      scrapy runspider <Pythonfilename.py>

How To Use Bright Data Proxy Manger With Scrapy

Crie uma zona de proxy da mesma forma que na integração direta acima
Instale o Proxy Manager
Clique em ‘adicionar nova porta’ e configure-a para o seu caso de uso
No arquivo de código do seu spider Scrapy, dentro do parâmetro meta da solicitação, defina o valor ‘proxy’ como o seguinte: “http://IP:NUMERODAPORTA”
O IP do host local é 127.0.0.1 – este é o valor que você deve usar se o gerenciador de proxy estiver instalado em sua máquina. Se o gerenciador de proxy estiver instalado em um servidor externo, insira o endereço IP desse servidor
A porta criada no Proxy Manager é 24XXX, por exemplo, 24000 – o número de porta padrão inicial
Por exemplo:

      import scrapy



class BrightdatascrapyexampleSpider(scrapy.Spider):

   name = "BrightDataScrapyExample"



   def start_requests(self):

       request = scrapy.Request(url="http://example.com",callback=self.parse)

       request.meta['proxy'] = "http://127.0.0.1:24000"

       yield request



   def parse(self, response):

       print(response.body)

⚠️Nota importante: Se você estiver usando Proxies residenciais, Web Unlocker ou API SERP da Bright Data, precisará instalar um certificado SSL para habilitar conexões seguras de ponta a ponta com seu(s) site(s) de destino. Este é um processo simples, consulte https://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificate para instruções.

Get proxies for Scrapy

Teste grátis

Impulsionado por uma infraestrutura de proxy residencial premiada

Mais de 400M+ monthly de proxies residenciais, a melhor tecnologia da categoria e a capacidade de segmentar qualquer país, cidade, operadora e ASN, torna nossos serviços de proxy premium a melhor escolha para desenvolvedores.