Raspagem declarativa da Web com o Ferret em 2025

LET book_elements = ELEMENTS(doc, "section article")

ELEMENTS() aplica o seletor CSS passado como o segundo argumento ao documento. Em outras palavras, ele seleciona os elementos HTML desejados na página.

Itere sobre a lista de elementos selecionados e prepare-se para aplicar a lógica de raspagem a eles:

FOR book_element IN book_elements
    // book scraping logic...

Incrível! É hora de iterar sobre cada elemento do livro e extrair dados de cada um deles.

Etapa 3: Extrair dados de cada cotação

Agora, inspecione um único elemento de livro HTML:

Observe que você pode raspar:

• O URL da imagem do atributo src do elemento .image_container img.
• O título do livro do atributo title do elemento h3 a.
• O URL da página do livro do atributo href do nó h3 a.
• O preço do livro do texto de .price_color.
• As informações de disponibilidade do texto do .instock.

Implemente essa lógica de análise de dados com:

LET image_element = ELEMENT(book_element, ".image_container img")
LET title_element = ELEMENT(book_element, "h3 a")
LET price_element = ELEMENT(book_element, ".price_color")
LET availability_element = ELEMENT(book_element, ".instock")

RETURN {
    image_url: base_url + image_element.attributes.src,
    title: base_url+ title_element.attributes.title,
    book_url: title_element.attributes.href,
    price: TRIM(INNER_TEXT(price_element)),
    availability: TRIM(INNER_TEXT(availability_element))
}

Onde base_url é uma variável definida fora do loop for:

LET base_url = "https://books.toscrape.com/"

No código acima:

• ELEMENT() permite que você selecione um único elemento na página usando um seletor CSS.
• attributes é um atributo especial que todos os objetos retornados por ELEMENT() têm. Ele contém os valores dos atributos HTML do elemento atual.
• INNER_TEXT() retorna o texto contido no elemento atual.
• TRIM() remove os espaços em branco à esquerda e à direita.

Fantástico! Lógica de raspagem estática concluída.

Etapa nº 4: Juntar tudo

Seu arquivo scraper.fql deve ter a seguinte aparência:

// connect to the target site
LET doc = DOCUMENT("https://books.toscrape.com/")

// select the book HTML elements
LET book_elements = ELEMENTS(doc, "section article")

// the base URL of the target site
LET base_url = "https://books.toscrape.com/"

// iterate over each book element and apply the scraping logic
FOR book_element IN book_elements
    // select all info elements
    LET image_element = ELEMENT(book_element, ".image_container img")
    LET title_element = ELEMENT(book_element, "h3 a")
    LET price_element = ELEMENT(book_element, ".price_color")
    LET availability_element = ELEMENT(book_element, ".instock")

    // scrape the data of interest
    RETURN {
        image_url: base_url + image_element.attributes.src,
        title: base_url+ title_element.attributes.title,
        book_url: title_element.attributes.href,
        price: TRIM(INNER_TEXT(price_element)),
        availability: TRIM(INNER_TEXT(availability_element))
    }

Como você pode ver, a lógica de raspagem se concentra mais em quais dados extrair do que em como extraí-los. Esse é o poder da raspagem declarativa da Web com o Ferret!

Etapa 5: Executar o script FQL

Execute seu script Ferret com:

./ferret exec scraper.fql

No terminal, a saída será:

[{"availability":"In stock","book_url":"catalogue/a-light-in-the-attic_1000/index.html","image_url":"https://books.toscrape.com/media/cache/2c/da/2cdad67c44b002e7ead0cc35693c0e8b.jpg","price":"£51.77","title":"https://books.toscrape.com/A Light in the Attic"},{"availability":"In stock","book_url":"catalogue/tipping-the-velvet_999/index.html","image_url":"https://books.toscrape.com/media/cache/26/0c/260c6ae16bce31c8f8c95daddd9f4a1c.jpg","price":"£53.74","title":"https://books.toscrape.com/Tipping the Velvet"},
// omitted for brevity...
,{"availability":"In stock","book_url":"catalogue/its-only-the-himalayas_981/index.html","image_url":"https://books.toscrape.com/media/cache/27/a5/27a53d0bb95bdd88288eaf66c9230d7e.jpg","price":"£45.17","title":"https://books.toscrape.com/It's Only the Himalayas"}]

Trata-se de uma cadeia de caracteres JSON que contém todos os dados do livro coletados da página da Web, conforme pretendido. Para uma abordagem não declarativa da análise de dados, dê uma olhada em nosso guia sobre raspagem da Web com Go.

Missão cumprida!

Extraia um site dinâmico com o Ferret

O Ferret também suporta a coleta de dados de sites dinâmicos que exigem a execução de JavaScript. Nesta seção do guia, o site de destino será a versão com atraso de JavaScript do site “Quotes to Scrape”:

A página usa JavaScript para injetar dinamicamente elementos de citação no DOM após um pequeno atraso. Esse cenário requer a execução de JavaScript – portanto, a necessidade de renderizar a página em um navegador. (Esse também é o motivo pelo qual configuramos anteriormente um contêiner do Chromium Docker).

Siga as etapas abaixo para saber como lidar com páginas da Web dinâmicas usando o Ferret!

Etapa 1: Conecte-se à página de destino no navegador

Use as linhas a seguir para se conectar à página de destino por meio de um navegador sem cabeça:

LET doc = DOCUMENT("https://quotes.toscrape.com/js-delayed/?delay=2000", {
    driver: "cdp"
})

Observe o uso do campo driver na função DOCUMENT(). Isso é o que diz ao Ferret para renderizar a página na instância do Chroumium sem cabeça configurada via Docker.

Etapa 2: Aguarde até que os elementos de destino estejam na página

Visite a página de destino em seu navegador, aguarde o carregamento dos elementos de citação e inspecione um deles:

Observe como os elementos de citação podem ser selecionados usando o seletor .quote CSS. Esses elementos de citação serão renderizados via JavaScript após um pequeno atraso, portanto, você deve esperar por eles.

Use a função WAIT_ELEMENT() no Ferret para aguardar que os elementos de citação apareçam na página:

// wait up to 5 seconds for the quote elements to be on the page
WAIT_ELEMENT(doc, ".quote", 5000)

Essa é uma construção essencial a ser usada ao raspar páginas dinâmicas da Web que dependem do JavaScript para renderizar o conteúdo.

Etapa nº 3: Aplicar a lógica de raspagem

Agora, concentre-se na estrutura HTML dos elementos de informação dentro de um nó .quote:

Observe que você pode raspar:

• O texto da citação de .quote
• O autor de .author

Implemente a lógica de raspagem da Web do Ferret com:

// select the quote HTML elements
LET quote_elements = ELEMENTS(doc, ".quote")

// iterate over each quote element and apply the scraping logic
FOR quote_element IN quote_elements
    // select all info elements
    LET text_element = ELEMENT(quote_element, ".text")
    LET author_element = ELEMENT(quote_element, ".author")

    // scrape the data of interest
    RETURN {
        quote: TRIM(INNER_TEXT(text_element)),
        author: TRIM(INNER_TEXT(author_element))
    } 

Fantástico! Lógica de análise concluída.

Etapa 4: Montar tudo

O arquivo scraper.fql deve conter:

// connect to the target site via the Chromium headless instance
LET doc = DOCUMENT("https://quotes.toscrape.com/js-delayed/?delay=2000", {
    driver: "cdp"
})

// wait up to 5 seconds for the quote elements to be on the page
WAIT_ELEMENT(doc, ".quote", 5000)

// select the quote HTML elements
LET quote_elements = ELEMENTS(doc, ".quote")

// iterate over each quote element and apply the scraping logic
FOR quote_element IN quote_elements
    // select all info elements
    LET text_element = ELEMENT(quote_element, ".text")
    LET author_element = ELEMENT(quote_element, ".author")

    // scrape the data of interest
    RETURN {
        quote: TRIM(INNER_TEXT(text_element)),
        author: TRIM(INNER_TEXT(author_element))
    }

Como você pode ver, isso não é muito diferente do script de um site estático. Mais uma vez, o motivo é que o Ferret usa uma abordagem declarativa para raspagem da Web.

Etapa 5: Executar o código FQL

Execute seu script de raspagem do Ferret com:

./ferret exec scraper.fql

Dessa vez, o resultado será:

[{"author":"Albert Einstein","quote":"“The world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.”"},{"author":"J.K. Rowling","quote":"“It is our choices, Harry, that show what we truly are, far more than our abilities.”"},{"author":"Albert Einstein","quote":"“There are only two ways to live your life. One is as though nothing is a miracle. The other is as though everything is a miracle.”"},{"author":"Jane Austen","quote":"“The person, be it gentleman or lady, who has not pleasure in a good novel, must be intolerably stupid.”"},{"author":"Marilyn Monroe","quote":"“Imperfection is beauty, madness is genius and it's better to be absolutely ridiculous than absolutely boring.”"},{"author":"Albert Einstein","quote":"“Try not to become a man of success. Rather become a man of value.”"},{"author":"André Gide","quote":"“It is better to be hated for what you are than to be loved for what you are not.”"},{"author":"Thomas A. Edison","quote":"“I have not failed. I've just found 10,000 ways that won't work.”"},{"author":"Eleanor Roosevelt","quote":"“A woman is like a tea bag; you never know how strong it is until it's in hot water.”"},{"author":"Steve Martin","quote":"“A day without sunshine is like, you know, night.”"}]

E pronto! Esse é exatamente o conteúdo estruturado recuperado da página renderizada em JavaScript.

Limitações da abordagem de raspagem declarativa da Web do Ferret

O Ferret é, sem dúvida, uma ferramenta poderosa e uma das poucas que adota uma abordagem declarativa para a raspagem da Web. No entanto, ela tem pelo menos três grandes desvantagens:

• Documentação deficiente e atualizações pouco frequentes: Embora a documentação oficial inclua textos úteis, ela não contém referências abrangentes à API. Isso dificulta a criação de scripts complexos. Além disso, o projeto não recebe atualizações regulares, o que significa que pode estar atrasado em relação às técnicas modernas de raspagem.
• Não há suporte para desvio anti-scraping: O Ferret não oferece mecanismos internos para lidar com CAPTCHAs, limites de taxa ou outras defesas avançadas contra raspagem. Isso o torna inadequado para raspagem de sites mais protegidos.
• Expressividade limitada: FQ, a Ferret Query Language, ainda está em desenvolvimento e não oferece o mesmo nível de flexibilidade ou controle que as ferramentas de raspagem mais modernas, como Playwright ou Puppeteer.

Essas limitações não podem ser facilmente resolvidas por meio de integrações simples. Além disso, não se esqueça de que o foco principal do Ferret é a recuperação de dados da Web. Portanto, a solução é considerar uma alternativa mais robusta.

A infraestrutura de IA da Bright Data inclui um conjunto de serviços avançados adaptados para extração confiável e inteligente de dados da Web. Isso permite que você recupere dados de qualquer site e em escala.

Conclusão

Neste tutorial, você aprendeu a usar o Ferret para raspagem declarativa da Web em Go. Conforme demonstrado, essa biblioteca permite que você extraia dados de páginas estáticas e dinâmicas, concentrando-se no que recuperar, em vez de como recuperar.

O problema é que o Ferret tem várias limitações, portanto, pode não ser a melhor solução disponível. Se estiver procurando uma maneira mais simplificada e dimensionável de recuperar dados da Web, considere adotar as APIs do Web Scraper –pontos de extremidade dedicadospara extrair dados da Web atualizados, estruturados e totalmente compatíveis de mais de 120 sites populares.

Inscreva-se hoje mesmo em uma conta gratuita da Bright Data e teste nossa poderosa infraestrutura de raspagem da Web!