You can use selenium python package to collect data from any dynamic website
``` Ou, se você quiser raspar dados do link do YouTube, você precisa usar o ID apresentado na página web. Abra o [URL do YouTube](https://www.youtube.com/@programmingwithmosh/videos) no seu navegador web e, em seguida, clique com o botão direito do rato e selecione **Inspecionar** para identificar o ID. Em seguida, utilize o rato para visualizar a página e identificar o ID que contém a lista de vídeos apresentados no canal: Use o Webdriver para raspar dados que estão dentro do ID identificado. Para localizar um elemento HTML pelo atributo ID, chame o método `find_element()` do Selenium e passe `By.ID` como o primeiro argumento e `ID` como o segundo argumento. Para coletar o título do vídeo e o link do vídeo para cada vídeo, você precisa usar o atributo de ID `video-title-link`. Como você coletará vários elementos HTML com esse atributo ID, precisará usar o método `find_elements()`: ```none # collect data that are withing the id of contents contents = driver.find_element(By.ID, "contents") #1 Get all the by video tite link using id video-title-link video_elements = contents.find_elements(By.ID, "video-title-link") #2 collect title and link for each youtube video titles = [] links = [] for video in video_elements: #3 Extract the video title video_title = video.get_attribute("title") #4 append the video title titles.append(video_title) #5 Extract the video link video_link = video.get_attribute("href") #6 append the video link links.append(video_link) ``` Este código executa as seguintes tarefas: - Coleta dados que estão dentro do atributo ID `contents`. - Coleta todos os elementos HTML que têm um atributo ID `video-title-link` do objeto WebElement `contents`. - Cria duas listas para anexar títulos e links. - Extrai o título do vídeo utilizando o método `get_attribute()`e passa o `title`. - Anexa o título do vídeo à lista de títulos. - Extrai o link do vídeo utilizando o método`get_atribute()` e passa `href` como argumento. - Anexa o link de vídeo à lista de links. Neste ponto, todos os títulos e links de vídeo estarão em duas listas de Python: `titles` e `links`. Em seguida, é necessário raspar o link da imagem que está disponível na página web antes de clicar no link do vídeo do YouTube para ver o vídeo. Para raspar esse link de imagem, você precisa encontrar todos os elementos HTML chamando o método de Selenium `find_elements()` e passando `By.TAG_NAME` como o primeiro argumento e o nome da etiqueta como o segundo argumento: ```none #1 Get all the by Tag img_elements = contents.find_elements(By.TAG_NAME, "img") #2 collect img link and link for each youtube video img_links = [] for img in img_elements: #3 Extract the img link img_link = img.get_attribute("src") if img_link: #4 append the img link img_links.append(img_link) ``` Esse código coleta todos os elementos HTML com o nome da etiqueta `img` do objeto WebElement chamado `contents`. Também cria uma lista para anexar os links das imagens e extrai-as utilizando o método `get_attribute()` e passa `src` como argumento. Finalmente, acrescenta o link da imagem à lista de `img_links`. Também pode utilizar o `ID` e o nome da etiqueta para raspar mais dados para cada vídeo do YouTube. Na página web do [URL do YouTube](https://www.youtube.com/@programmingwithmosh/videos), deve ser possível ver o número de visualizações e a hora de publicação de cada vídeo listado na página. Para extrair estes dados, é necessário coletar todos os elementos HTML que tenham um ID de `metadata-line` e, em seguida, coletar dados dos elementos HTML com um nome de etiqueta `span`: ```none #1 find the element with the specific ID you want to scrape meta_data_elements = contents.find_elements(By.ID, 'metadata-line') #2 collect data from span tag meta_data = [] for element in meta_data_elements: #3 collect span HTML element span_tags = element.find_elements(By.TAG_NAME, 'span') #4 collect span data span_data = [] for span in span_tags: #5 extract data for each span HMTL element. span_data.append(span.text) #6 append span data to the list meta_data.append(span_data) # print out the scraped data. print(meta_data) ``` Este bloco de código coleta todos os elementos HTML que têm um atributo ID de `metadata-line` do objeto WebElement `contents` e cria uma lista para acrescentar dados da etiqueta `span` que terá o número de exibições e o tempo publicado. Também coleta todos os elementos HTML cujo nome de etiqueta é `span` do objeto WebElement chamado `meta_data_elements` e cria uma lista com esses dados de span. Em seguida, extrai os dados de texto do elemento HTML span e acrescenta-os à lista `span_data`. Finalmente, anexa os dados da lista `span_data` a `meta_data`. Os dados extraídos do elemento HTML span terão o seguinte aspeto: Em seguida, é necessário criar duas listas em Python e guardar o número de visualizações e o tempo de publicação separadamente: ```none #1 Iterate over the list of lists and collect the first and second item of each sublist views_list = [] published_list = [] for sublist in meta_data: #2 append number of views in the views_list views_list.append(sublist[0]) #3 append time published in the published_list published_list.append(sublist[1]) ``` Aqui, cria duas listas em Python que extraem dados de `meta_data` e anexa o número de visualizações de cada sub-lista a `view_list` e a hora de publicação de cada sub-lista a `published_list`.`` Neste ponto, você raspou o título do vídeo, a URL da página do vídeo, a URL da imagem, o número de visualizações e a hora em que o vídeo foi publicado. Estes dados podem ser guardados num DataFrame de pandas utilizando o pacote [pandas de Python](https://pandas.pydata.org/docs/getting_started/index.html). Use o código a seguir para salvar os dados da lista de `títulos`, `links`, `img_links`, `views_list` e `published_list` no DataFrame de pandas: ```none # save in pandas dataFrame data = pd.DataFrame( list(zip(titles, links, img_links, views_list, published_list)), columns=['Title', 'Link', 'Img_Link', 'Views', 'Published'] ) # show the top 10 rows data.head(10) # export data into a csv file. data.to_csv("../data/youtube_data.csv",index=False) driver.quit() ``` Este é o aspeto que os dados raspados devem ter no DataFrame de pandas: Estes dados guardados são exportados de pandas para um ficheiro CSV chamado `youtube_data.csv` utilizando `to_csv()`. Agora pode executar `youtube_videos_list.py` e certificar-se de que tudo funciona corretamente. #### Raspar dados usando o Seletor de CSS O Selenium também pode extrair dados com base em padrões específicos nos elementos HTML utilizando o [seletor de CSS](https://selenium-python.readthedocs.io/locating-elements.html#locating-elements-by-css-selectors) na página web. O seletor de CSS é aplicado para direcionar elementos específicos de acordo com o seu ID, nome da etiqueta, classe ou outros atributos. Por exemplo, aqui, a página HTML tem alguns elementos `div`, e um deles tem um nome de classe `"inline-code"`: ```noneHello World!