A extração de dados do Pinterest é diferente da maioria dos trabalhos de raspagem de HTML. O Pinterest gera todo o seu conteúdo dinamicamente e não deixa nenhuma de suas estruturas de dados, como JSON, na página.
Se decidir acompanhar o processo, você aprenderá a coletar dados do Pinterest usando os seguintes métodos:
- Extraia dados do Pinterest com o Playwright
- Extraia dados do Pinterest com a API Scraper da Bright Data
O que você pode extrair?
Se você observar o Pinterest em seu navegador, todos os pins estão profundamente aninhados dentro de um elemento div com data-test-id="pinWrapper".
Se conseguirmos localizar todos esses objetos na página, poderemos extrair todos os seus dados, como
- O título de cada pin.
- A url que aponta diretamente para o pin.
- A imagem do pin dos resultados da pesquisa.
Raspando o Pinterest com o dramaturgo
Primeiros passos
Há muitas bibliotecas de raspagem excelentes em Python, e usaremos o Playwright. Primeiro, você precisa ter certeza de que o Playwright está instalado. Você pode ver os documentos aqui. O Playwright é um dos melhores navegadores sem cabeça disponíveis.
Instalar dramaturgo
pip install playwright
Instalar o Playwright’s Browsers
playwright install
Raspagem dos pinos reais
Agora, vamos dar uma olhada em como extrair os pins reais do Pinterest. No código abaixo, criamos duas funções, scrape_pins() e main(). scrape_pins() abre um navegador e extrai dados do Pinterest. main() é usado como ponto de entrada para o tempo de execução assíncrono.
import asyncio
from playwright.async_api import async_playwright
import json
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36"
async def scrape_pins(query):
search_url = f"https://www.pinterest.com/search/pins/?q={query}&rs=typed"
scraped_data = []
async with async_playwright() as p:
browser = await p.chromium.launch()
page = await browser.new_page(user_agent=user_agent)
response = await page.goto(search_url)
await asyncio.sleep(2)
try:
#find the pins on the page
pins = await page.query_selector_all("div[data-test-id='pinWrapper']")
#iterate through the pins and extract data
for pin in pins:
title_link = await pin.query_selector("a")
pin_url = await title_link.get_attribute("href")
title = await title_link.get_attribute("aria-label")
img = await title_link.query_selector("img")
img_src = await img.get_attribute("src")
extracted_data = {
"title": title,
"url": pin_url,
"img": img_src
}
#add the data to our results
scraped_data.append(extracted_data)
except:
print(f"Failed to scrape pins at {search_url}")
finally:
await browser.close()
#everything has finished, return our scraped data
return scraped_data
async def main():
search_query = "office"
office_results = await scrape_pins(search_query)
with open(f"{search_query}-results.json", "w") as file:
try:
json.dump(office_results, file, indent=4)
except Exception as e:
print(f"Failed to save results: {e}")
if __name__ == "__main__":
asyncio.run(main())
O scrape_pins() executa as seguintes etapas durante o nosso scrape:
- Crie nossa url:
search_url. - Crie uma matriz para armazenar nossos resultados,
scraped_data. - Abra uma nova instância do navegador.
- Defina um
user_agentpersonalizado para ser executado no modo headless. Sem ele, o Pinterest nos bloqueará. - Esperamos dois segundos para que o conteúdo seja carregado com
asyncio.sleep(2). - Encontramos todos os pinos visíveis na página usando este seletor:
div[data-test-id='pinWrapper']. - Para cada pino, extraímos os seguintes dados:
título: O título do pino.url: O URL que leva diretamente ao pino.img: A imagem do pin exibida nos resultados da pesquisa.
Aqui estão alguns dados de amostra do raspador do Playwright acima.
[
{
"title": "A minimalist office featuring a soothing color palette of whites, greys, and natural wood accents, creating a calm and spacious feel3",
"url": "/pin/10203536650743650/",
"img": "https://i.pinimg.com/236x/b3/21/e2/b321e2485da40c0dde2685c3a4fdcb56.jpg"
},
{
"title": "a home office with two desks and an open door that leads to the outside",
"url": "/pin/261912534574291013/",
"img": "https://i.pinimg.com/236x/56/f1/29/56f129512885e1b3c9971b16f9445c9a.jpg"
},
{
"title": "home office decor, blakc home office, dark home office, moody home office, small home office",
"url": "/pin/60094976273327121/",
"img": "https://i.pinimg.com/236x/ba/75/c9/ba75c9be7e635cce3ee80acdf70d6f9f.jpg"
},
{
"title": "an office with a desk, chair and bookshelf in the middle of it",
"url": "/pin/599682506666665720/",
"img": "https://i.pinimg.com/236x/57/66/1d/57661dc80bebda3dfe946c070ee8ed13.jpg"
},
{
"title": "a home office with green walls and plants on the shelves, along with a computer desk",
"url": "/pin/1147080967585091410/",
"img": "https://i.pinimg.com/236x/ce/e8/b7/cee8b74151b29605a80e0f61898c249d.jpg"
},
Extração do Pinterest com a API Bright Data Scraper
Com nossa API do Pinterest Scraper, você pode automatizar completamente esse processo e não precisa se preocupar com navegadores sem cabeça, seletores ou qualquer outra coisa!
Certifique-se de que você tenha o Python Requests instalado.
Solicitações de instalação
pip install requests
Depois de configurar sua chamada de API, você pode acioná-la no Python. Abaixo, também temos duas funções: get_pins() e poll_and_retrieve_snapshot().
get_pins(): Essa função usa umapalavra-chavejunto com suaapi_key. Em seguida, ela cria e envia uma solicitação à nossa API do raspador. Essa solicitação aciona um scrape do Pinterest para a palavra-chave desejada.poll_and_retrieve_snapshot()recebe suaapi_keye osnapshot_id. Em seguida, verifica a cada 10 segundos se o snapshot está pronto. Quando o instantâneo estiver pronto, os dados são baixados e saímos da função.
import requests
import json
import time
#function to trigger the scrape
def get_pins(api_key, keyword):
url = "https://api.brightdata.com/datasets/v3/trigger"
headers = {
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json",
}
params = {
"dataset_id": "gd_lk0sjs4d21kdr7cnlv",
"include_errors": "true",
"type": "discover_new",
"discover_by": "keyword",
}
data = [
{"keyword":keyword},
]
#trigger the scrape
response = requests.post(url, headers=headers, params=params, json=data)
#return the snapshot_id
return response.json()["snapshot_id"]
def poll_and_retrieve_snapshot(api_key, snapshot_id, output_file="snapshot-data.json"):
#create the snapshot url
snapshot_url = f"https://api.brightdata.com/datasets/v3/snapshot/{snapshot_id}?format=json"
headers = {
"Authorization": f"Bearer {api_key}"
}
print(f"Polling snapshot for ID: {snapshot_id}...")
while True:
response = requests.get(snapshot_url, headers=headers)
if response.status_code == 200:
print("Snapshot is ready. Downloading...")
snapshot_data = response.json()
#write the snapshot to a new json file
with open(output_file, "w", encoding="utf-8") as file:
json.dump(snapshot_data, file, indent=4)
print(f"Snapshot saved to {output_file}")
break
elif response.status_code == 202:
print("Snapshot is not ready yet. Retrying in 10 seconds...")
else:
print(f"Error: {response.status_code}")
print(response.text)
break
time.sleep(10)
if __name__ == "__main__":
API_KEY = "YOUR-BRIGHT-DATA-API-KEY"
KEYWORD = "office"
snapshot_id = get_pins(API_KEY, KEYWORD)
poll_and_retrieve_snapshot(API_KEY, snapshot_id)
Aqui estão alguns dados de amostra do arquivo baixado. Como nossa solicitação de acionamento tinha "include_errors": "true", o arquivo também incluiu pinos com erros. Os dados de amostra abaixo incluem dois pinos de erro, bem como dois pinos com dados corretos.
[
{
"post_type": null,
"timestamp": "2025-02-17T15:26:17.248Z",
"input": {
"url": "https://www.pinterest.com/pin/jh46IGe2",
"discovery_input": {
"keyword": "office"
}
},
"warning": "Bad input. Wrong id!",
"warning_code": "dead_page",
"discovery_input": {
"keyword": "office"
}
},
{
"post_type": null,
"timestamp": "2025-02-17T15:26:18.757Z",
"input": {
"url": "https://www.pinterest.com/pin/4471026676503806548",
"discovery_input": {
"keyword": "office"
}
},
"warning": "Bad input. Page does not exist.",
"warning_code": "dead_page",
"discovery_input": {
"keyword": "office"
}
},
{
"url": "https://www.pinterest.com/pin/929782285570058239",
"post_id": "929782285570058239",
"title": "Essential Tips for Designing a Functional Small Office Space: Maximize Efficiency",
"content": "17 Smart Tips for Designing a Productive Small Office Space",
"date_posted": "2025-02-06T15:00:47.000Z",
"user_name": "wellnesswink",
"user_url": "https://www.pinterest.com/wellnesswink",
"user_id": "929782422978147260",
"followers": 232,
"likes": 0,
"categories": [
"Explore",
"Home Decor"
],
"attached_files": [
"https://i.pinimg.com/originals/c8/c0/d5/c8c0d5fb45352e40535db4510049a142.jpg"
],
"image_video_url": "https://i.pinimg.com/originals/c8/c0/d5/c8c0d5fb45352e40535db4510049a142.jpg",
"video_length": 0,
"post_type": "image",
"comments_num": 0,
"discovery_input": {
"keyword": "office"
},
"timestamp": "2025-02-17T15:26:19.502Z",
"input": {
"url": "https://www.pinterest.com/pin/929782285570058239",
"discovery_input": {
"keyword": "office"
}
}
},
{
"url": "https://www.pinterest.com/pin/889812838892568569",
"post_id": "889812838892568569",
"title": "20 Modern Masculine Home Office Design Ideas for Men",
"content": "Explore 25 chic home office decor ideas that blend style and functionality. Create a workspace you love and boost your productivity effortlessly!",
"date_posted": "2025-01-27T07:11:38.000Z",
"user_name": "artfullhouses",
"user_url": "https://www.pinterest.com/artfullhouses",
"user_id": "889812976285233957",
"followers": 10,
"likes": 0,
"categories": [
"Explore",
"Home Decor"
],
"attached_files": [
"https://i.pinimg.com/originals/f1/cb/f7/f1cbf7b127db2bef2306ba19ffcc0646.png"
],
"image_video_url": "https://i.pinimg.com/originals/f1/cb/f7/f1cbf7b127db2bef2306ba19ffcc0646.png",
"video_length": 0,
"hashtags": [
"Mens Desk Decor",
"Chic Home Office Decor",
"Mens Desk",
"Home Office Ideas For Men",
"Office Ideas For Men",
"Masculine Home Office Ideas",
"Masculine Home Office",
"Masculine Home",
"Chic Home Office"
],
"post_type": "image",
"comments_num": 0,
"discovery_input": {
"keyword": "office"
},
"timestamp": "2025-02-17T15:26:20.069Z",
"input": {
"url": "https://www.pinterest.com/pin/889812838892568569",
"discovery_input": {
"keyword": "office"
}
}
},
Como você pode ver, a API do Scraper coleta muito mais dados do que o scraper inicial que criamos com o Playwright. Nossa API rastreia o Pinterest em busca de sua palavra-chave e, em seguida, coleta todos os pins individuais que encontra durante o rastreamento.
A conveniência não é o único benefício dessa abordagem. Nossa API do Pinterest Scraper extrai seus dados a um custo extremamente baixo. Nosso arquivo de resultados total tinha quase 45.000 linhas e custou apenas US$ 0,97 para ser gerado.
Contratar alguém para criar um raspador com a mesma qualidade provavelmente custaria várias centenas de dólares e você teria que esperar dias pelos seus dados. Com a nossa API Scraper, você obtém seus dados em minutos por apenas uma fração do custo.
Conclusão
A extração de dados do Pinterest não precisa ser difícil. Quer você crie seu próprio raspador usando o Playwright ou opte por uma solução totalmente automatizada como o nosso Raspador do Pinterest, a abordagem correta depende de suas necessidades.
Para uma extração de dados do Pinterest rápida, confiável e dimensionável, a API Scraper da Bright Data elimina o incômodo de lidar com navegadores sem cabeça, proxies e CAPTCHAs, fornecendo dados estruturados sem esforço.
Resultados mais rápidos – Obtenha dados em minutos, não em horas
Custo-benefício – Pague apenas pelo que você extrair
Sem manutenção – Evite lidar com solicitações bloqueadas
Inicie sua avaliação gratuita hoje mesmo e simplifique sua coleta de dados do Pinterest com a API do Web Scraper da Bright Data!
Não é necessário cartão de crédito
