Integração do Proxy Scrapy
Este guia pode estar desatualizado. Para um guia atualizado, consulte nossa documentação.
O que é Scrapy?
Scrapy é um framework Python para rastreamento e scraping de dados, que permite aos usuários extrair dados estruturados de sites. É de código aberto, rápido e extensível. O Scrapy pode ser usado para diversos fins, como mineração de dados, monitoramento e testes automatizados.
Integração do Scrapy com proxies da Bright Data
Abra seu IDE preferido e inicie um novo projeto scrapy, digite na linha de comando:
scrapy startproject <project_name>
Isso criará uma nova pasta com o nome do projeto, dentro da pasta abra um arquivo python.
- Acesse seu Painel de Controle Bright Data e clique no ícone ‘Proxies e Infraestrutura de Scraping’
- Crie uma nova zona de proxy clicando em ‘Adicionar’, escolhendo um tipo de rede, configurando o proxy e clicando em salvar
- Na aba ‘Parâmetros de acesso‘ da sua zona de proxy, você encontrará os valores de ‘USERNAME‘ e ‘PASSWORD‘.
- No arquivo de código do seu spider scrapy, dentro do parâmetro meta da requisição, defina o valor ‘proxy’ como o seguinte, usando os valores de ‘USERNAME‘ e ‘PASSWORD‘ de antes: “http://USERNAME:[email protected]:33335“
- Por exemplo:
import scrapy
class BrightdatascrapyexampleSpider(scrapy.Spider):
name = "BrightDataScrapyExample"
def start_requests(self):
request = scrapy.Request(url="http://example.com",callback=self.parse)
request.meta['proxy'] = "http://USERNAME:[email protected]:33335"
yield request
def parse(self, response):
print(response.body)
Em seguida, execute o seguinte comando na linha de comando:
scrapy runspider <Pythonfilename.py>
Como usar o Gerenciador de Proxy Bright Data com o Scrapy
- Crie uma zona de proxy da mesma forma que na integração direta acima
- Instale o Gerenciador de Proxy
- Clique em ‘adicionar nova porta’ e configure-a para o seu caso de uso
- No arquivo de código do seu spider Scrapy, dentro do parâmetro meta da requisição, defina o valor ‘proxy’ como o seguinte: “http://IP:PORTNUMBER”
- O IP do host local é 127.0.0.1 – este é o valor que você precisa usar se o gerenciador de proxy estiver instalado em sua máquina. Se o gerenciador de proxy estiver instalado em um servidor externo, insira o endereço IP desse servidor
- A porta criada no Gerenciador de Proxy é 24XXX, por exemplo, 24000 – o número da primeira porta padrão
- Por exemplo:
import scrapy
class BrightdatascrapyexampleSpider(scrapy.Spider):
name = "BrightDataScrapyExample"
def start_requests(self):
request = scrapy.Request(url="http://example.com",callback=self.parse)
request.meta['proxy'] = "http://127.0.0.1:24000"
yield request
def parse(self, response):
print(response.body)
⚠️Nota importante: Se você estiver usando os Proxies Residenciais, o Web Unlocker ou a API SERP da Bright Data, você precisa instalar um certificado SSL para habilitar conexões seguras de ponta a ponta com seu(s) site(s) alvo. Este é um processo simples, veja https://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificate para instruções.
Obtenha proxies para o Scrapy
Impulsionado por uma infraestrutura de proxy residencial premiada
Mais de 400M+ monthly de proxies residenciais, a melhor tecnologia da categoria e a capacidade de segmentar qualquer país, cidade, operadora e ASN, torna nossos serviços de proxy premium a melhor escolha para desenvolvedores.
Um proxy para cada caminho de desenvolvimento
Combine redes, peers e IPs para otimizar seu fluxo contínuo de dados da web.
Preços da Rede de Proxies
Usa a AWS? Agora você pode pagar por meio do AWS Marketplace Para os clientes, a melhor experiência do ramo
Novos lançamentos de recursos todos os dias
Para responder a qualquer pergunta quando você precisar
Painel de desempenho de rede em tempo real
Para otimizar seu desempenho
Para atingir suas metas de coleta de dados
Líder em proxies e coleta de dados
