Ative seu navegador headless para scraping
Benefícios do Scraping Browser
Reduza as despesas gerais de infraestrutura
Configure e dimensione automaticamente o ambiente de navegação por meio de uma única API, oferecendo sessões e cargas de trabalho simultâneas ilimitadas para uma extração de dados contínua
Aumente as taxas de sucesso
Pare de criar patches de desbloqueio e garanta o acesso futuro a quaisquer dados públicos da web por meio de um desbloqueador integrado e de um pool hiperextenso de IPs residenciais
Aumente a produtividade dos desenvolvedores
Faça com que seus desenvolvedores foquem exatamente no que importa, executando seus scripts existentes em uma nuvem híbrida com apenas uma linha de código, livrando-os do incômodo das operações de scraping
Infraestrutura de dimensionamento automático
Conecte seus scripts de scraping interativos multietapas a um ambiente de navegação híbrida, oferecendo sessões simultâneas ilimitadas usando uma única linha de código
Usufrua do desbloqueio autônomo
Impressão digital de navegadores
Emula navegadores de usuários reais para simular uma experiência humana
Resolução de CAPTCHA
Analisa e resolve CAPTCHAs e testes de resposta a desafios
Gerencia agentes de usuário específicos
Imita automaticamente diferentes tipos de navegadores e dispositivos
Define cabeçalhos de referência
Simula o tráfego proveniente de sites populares ou confiáveis
Lida com cookies
Evita possíveis bloqueios impostos por fatores relacionados a cookies
Faz novas tentativas e rotação de IPs automáticas
Continua tentando as solicitações e alterna os IPs em segundo plano
Cobertura geográfica mundial
Acessa o conteúdo localizado de qualquer país, cidade, estado ou ASN
Renderização de JavaScript
Extrai dados de sites que dependem de elementos dinâmicos
Validações da integridade dos dados
Garante a precisão, consistência e confiabilidade dos dados
Pool hiperextenso de IPs reais
Acesse a web como um usuário real usando mais de 72 milhões de IPs residenciais com origem ética, cobertura de 195 países e APIs para configuração e gerenciamento avançados
const pw = require('playwright');
const SBR_CDP = 'wss://brd-customer-CUSTOMER_ID-zone-ZONE_NAME:[email protected]:9222';
async function main() {
console.log('Connecting to Scraping Browser...');
const browser = await pw.chromium.connectOverCDP(SBR_CDP);
try {
const page = await browser.newPage();
console.log('Connected! Navigating to https://example.com...');
await page.goto('https://example.com');
console.log('Navigated! Scraping page content...');
const html = await page.content();
console.log(html);
} finally {
await browser.close();
}
}
main().catch(err => {
console.error(err.stack || err);
process.exit(1);
});
import asyncio
from playwright.async_api import async_playwright
SBR_WS_CDP = 'wss://brd-customer-CUSTOMER_ID-zone-ZONE_NAME:[email protected]:9222'
async def run(pw):
print('Connecting to Scraping Browser...')
browser = await pw.chromium.connect_over_cdp(SBR_WS_CDP)
try:
page = await browser.new_page()
print('Connected! Navigating to https://example.com...')
await page.goto('https://example.com')
print('Navigated! Scraping page content...')
html = await page.content()
print(html)
finally:
await browser.close()
async def main():
async with async_playwright() as playwright:
await run(playwright)
if __name__ == '__main__':
asyncio.run(main())
const puppeteer = require('puppeteer-core');
const SBR_WS_ENDPOINT = 'wss://brd-customer-CUSTOMER_ID-zone-ZONE_NAME:[email protected]:9222';
async function main() {
console.log('Connecting to Scraping Browser...');
const browser = await puppeteer.connect({
browserWSEndpoint: SBR_WS_ENDPOINT,
});
try {
const page = await browser.newPage();
console.log('Connected! Navigating to https://example.com...');
await page.goto('https://example.com');
console.log('Navigated! Scraping page content...');
const html = await page.content();
console.log(html)
} finally {
await browser.close();
}
}
main().catch(err => {
console.error(err.stack || err);
process.exit(1);
});
const { Builder, Browser } = require('selenium-webdriver');
const SBR_WEBDRIVER = 'https://brd-customer-CUSTOMER_ID-zone-ZONE_NAME:[email protected]:9515';
async function main() {
console.log('Connecting to Scraping Browser...');
const driver = await new Builder()
.forBrowser(Browser.CHROME)
.usingServer(SBR_WEBDRIVER)
.build();
try {
console.log('Connected! Navigating to https://example.com...');
await driver.get('https://example.com');
console.log('Navigated! Scraping page content...');
const html = await driver.getPageSource();
console.log(html);
} finally {
driver.quit();
}
}
main().catch(err => {
console.error(err.stack || err);
process.exit(1);
});
from selenium.webdriver import Remote, ChromeOptions
from selenium.webdriver.chromium.remote_connection import ChromiumRemoteConnection
SBR_WEBDRIVER = 'https://brd-customer-CUSTOMER_ID-zone-ZONE_NAME:[email protected]:9515'
def main():
print('Connecting to Scraping Browser...')
sbr_connection = ChromiumRemoteConnection(SBR_WEBDRIVER, 'goog', 'chrome')
with Remote(sbr_connection, options=ChromeOptions()) as driver:
print('Connected! Navigating to https://example.com...')
driver.get('https://example.com')
print('Navigated! Scraping page content...')
html = driver.page_source
print(html)
if __name__ == '__main__':
main()
Scraping dinâmico que prioriza o desenvolvedor
- Execute seus scripts de Puppeteer, Selenium ou Playwright
- Personalize fluxos de trabalho de proxies residenciais via API
- Solucione problemas e monitore usando o Chrome DevTools
- Elimine o trabalho de manutenção de desbloqueios
Compatível com Chrome DevTools
Use o depurador Chrome DevTools para monitorar e solucionar problemas de desempenho do seu Scraping Browser com facilidade
Preços do Scraping Browser
Pague com o AWS Marketplace
Simplifique os pagamentos com o AWS Marketplace, aprimorando a eficiência de aquisições e faturamento. Use os compromissos existentes da AWS e beneficie-se das promoções da AWS
Suporte 24 horas
Obtenha suporte especializado 24 horas por dia, resolva problemas rapidamente e garanta a entrega de dados de qualidade. Obtenha visibilidade em tempo real do status da rede para ter total transparência
Perguntas frequentes
O que é o Scraping Browser?
O Scraping Browser funciona como outros navegadores automatizados e é controlado por APIs comuns de alto nível, como Puppeteer e Playwright, mas é o único navegador com recursos integrados de desbloqueio de sites. O Scraping Browser gerencia automaticamente todas as operações internas de desbloqueio de sites, incluindo: resolução de CAPTCHAs, impressão digital do navegador, novas tentativas automáticas, seleção de cabeçalhos, cookies, renderização de Javascript e muito mais, tudo para que você possa economizar tempo e recursos.
Quando preciso usar um navegador para scraping?
Ao extrair dados da web, os desenvolvedores usam navegadores automatizados quando é necessário renderizar o JavaScript de uma página ou interagir com um site (passar o mouse, mudar de página, clicar, capturar a tela etc.). Além disso, os navegadores são úteis para projetos de extração de dados em grande escala quando se tem por alvo várias páginas ao mesmo tempo.
O Scraping Browser é um navegador headless ou headful?
O Scraping Browser é um navegador GUI (também conhecido como navegador “headful”) que usa uma interface gráfica do usuário. No entanto, os desenvolvedores terão a experiência do Scraping Browser como um navegador headless, interagindo com o navegador por meio de uma API como Puppeteer ou Playwright. O Scraping Browser, no entanto, é aberto como um navegador GUI na infraestrutura da Bright Data.
Qual é a diferença entre navegadores headful e headless para scraping?
Ao escolher um navegador automatizado, os desenvolvedores podem selecionar entre um navegador headless ou um navegador GUI/headful. O termo “navegador headless” se refere a um navegador web sem uma interface gráfica do usuário. Quando utilizados com um proxy, os navegadores headless podem ser usados para extrair dados, mas são facilmente detectados pelo software de proteção contra bots, dificultando a extração de dados em grande escala. Os navegadores GUI, como o Scraping Browser (também conhecido como “headful”), usam uma interface gráfica do usuário. É menos provável que o software de detecção de bots detecte navegadores GUI.
Por que o Scraping Browser é melhor do que o Headless Chrome ou web scraping com Selenium e Python?
O Scraping Browser vem com um recurso integrado de desbloqueio de sites que gerencia o bloqueio para você automaticamente. Os Scraping Browsers usam desbloqueio automatizado e são abertos nos servidores da Bright Data, portanto são ideais para dimensionar projetos de extração de dados da web sem exigir uma infraestrutura extensa.
O Scraping Browser é compatível com o scraping do Puppeteer?
Sim, o Scraping Browser é totalmente compatível com o Puppeteer.
O scraping com Playwright é compatível com o Scraping Browser?
Sim, o Scraping Browser é totalmente compatível com o Playwright.
Quando devo usar o Scraping Browser em vez de outros produtos proxy da Bright Data?
O Scraping Browser é um navegador automatizado otimizado para extração de dados, que integra o poder dos recursos de desbloqueio automatizado do Web Unlocker. Embora o Web Unlocker funcione com solicitações de uma etapa, o Scraping Browser é necessário quando o desenvolvedor precisa interagir com um site para recuperar seus dados. Também é ideal para qualquer projeto de extração de dados que exija navegadores, dimensionamento e gerenciamento automatizado de todas as ações de desbloqueio de sites.