--- title: "Encontrando os momentos ocultos de treinamento de robôs em dados de vídeo públicos da web" slug: robot-training-data-in-public-web-video date: 2026-08-25T09:17:00+00:00 modified: 2026-08-25T09:17:05+00:00 permalink: https://brightdata.com.br/blog/ai/robot-training-data-in-public-web-video type: blog --- [ Blog ](https://brightdata.com.br/blog "Blog") / [AI](https://brightdata.com.br/blog/ai) [AI](https://brightdata.com.br/blog/ai) # Encontrando os momentos ocultos de treinamento de robôs em dados de vídeo públicos da web Pesquisa: a Video Search API da Bright Data descobriu 10× mais momentos de ações físicas ao pesquisar o que os vídeos mostram, em vez de depender de títulos, descrições e tags. 22 min de leitura [ ![](https://media.brightdata.com.br/2025/12/1763645725709-50x50.png) ](https://brightdata.com/blog/authors/raz-kaplan) [Raz Kaplan AI GTM Lead ](https://brightdata.com/blog/authors/raz-kaplan) ![Finding the web’s hidden robot training moments in public web video data](https://media.brightdata.com.br/2026/08/Finding-the-webs-hidden-robot-training-moments-in-public-web-video-data.png) Dados de vídeo podem ajudar a treinar robôs, incluindo humanoides, a compreender e executar tarefas físicas. Isso abrange modelos VLA, que conectam observações visuais e instruções de linguagem a ações, e modelos World, que aprendem como um ambiente muda ao longo do tempo. A web pública contém milhões de vídeos de pessoas realizando esse trabalho, e encontrar uma ação específica neles é difícil, porque um título descreve o tema geral de um vídeo, deixando as ações nas imagens sem nome. Descrições e tags geralmente não são melhores. Para este estudo, usamos a [Video Search API](https://brightdata.com/ai/video-data/vla) da Bright Data. A Video Search API é uma ferramenta que permite pesquisar visualmente momentos dentro de vídeos da web. Você fornece uma descrição em linguagem natural de uma ação, ela pesquisa o conteúdo visual de vídeos públicos em vez do texto associado a eles, e retorna vídeos candidatos junto com timestamps indicando onde a ação pode aparecer. A pesquisa convencional por palavras-chave funciona ao contrário, combinando suas palavras com o título, descrição e tags de um vídeo, de modo que as duas abordagens acabam alcançando imagens muito diferentes. Enviamos **141 ações físicas** e recebemos **10.828 momentos** em **7.549 vídeos**. Para cada momento retido, verificamos se alguma palavra do nome da ação aparecia no título, descrição ou tags do vídeo. Em **90,8%** dos casos, nenhuma apareceu. Se você coleta imagens de treinamento por palavras-chave, esses 90,8% são os dados que você perde, e isso torna a coleta da API 10× maior do que o que a busca por texto poderia alcançar. Esses momentos extras mostram as mesmas ações que você solicitou, dentro de vídeos cujos títulos falam sobre outra coisa, e permanecem invisíveis para um pipeline de texto, independentemente de quantas consultas você execute nesses campos. Comparamos substrings literais com título, descrição e tags, e contamos dentro do corpus que a própria API retornou, portanto a proporção se mantém sob essas duas condições. Pesquisa semântica, pesquisa multilíngue, pesquisa em transcrições e o próprio ranking do YouTube estão fora do que testamos. --- ### O resultado em três números **10,9×**mais momentos do que correspondência literala pesquisa de conteúdo retornou 10.828; 992 contêm alguma palavra do nome da ação em seus metadados**90,8%**sem nome em lugar nenhum9.836 de 10.828 momentos não contêm menção à ação em seu título, descrição ou tags**56,1%**nenhuma pista no títuloum teste mais fraco do que a pesquisa. Perguntamos ao google/gemini-2.5-flash se havia algo no título relacionado à ação, por mais vaga que fosse a relação, incluindo pistas vagas demais para pesquisar. Não encontrou nada em 6.071 de 10.828De onde vêm esses três númerosOs dois primeiros são a mesma divisão: 9.836 de 10.828 momentos não contêm nenhuma palavra da ação em nenhum campo, e os 992 que contêm são o que um matcher literal alcança, 10.828 ÷ 992 = 10,9. Os quatro grupos (título, descrição, tags, nenhum) são mutuamente exclusivos e somam o total verificado. Ambos são contados por linha de correspondência; ao colapsá-los para os 8.849 segundos de vídeo distintos, a proporção resulta em 8,9×. O terceiro conta os títulos que o modelo classificou como não relacionados: 6.071 de 10.828, uma linha por momento em 7.549 vídeos distintos. Os timestamps carregam uma segunda consequência. Permitindo no máximo 10 segundos de ação por momento, as **5.066,5 h** de vídeo fonte onde essas correspondências se encontram se tornam **24,58 h** de clipe, o que reduz o que precisa ser movido, armazenado e revisado em 206,1×. **O que a recuperação realmente retornou.** Recuperação confiante não é o mesmo que recuperação correta, então extraímos um frame real de quase cada correspondência e pedimos a um modelo de visão para avaliá-los. A seção 3.5 contém as taxas. Esta auditoria apresenta imagens candidatas para descoberta e curadoria, e nenhuma política, modelo de mundo ou robô foi treinado com elas. ### Amostra de seis vídeos e seus títulos no YouTube O que um modelo de visão viu, mostrado a imagem sem o título, em comparação com o próprio título do vídeo, traduzido para o português quando um idioma de origem é indicado. Um juiz de IA leu cada título no corpus em busca de qualquer indício de sua ação, e classificou esses seis como não relacionados: uma data simples, um versículo do Alcorão, um boletim de notícias econômicas. Confirmamos cada frame visualmente e cada vídeo está ativo. Clique em um frame para reproduzir o vídeo naquele segundo. O momentoO que o frame mostraComo o vídeo é chamado[![Pessoa misturando cimento em bacia de mistura](https://media.brightdata.com/2026/08/Q6T5qNlN8k0_43.jpg)](https://www.youtube.com/watch?v=Q6T5qNlN8k0&t=41s) `mix_cement`Pessoa misturando cimento em bacia de misturaSurah Tawbah versículo 26. “Mas (mesmo assim) para onde você está indo?” *(do tr)*[![Mão inserindo bico de combustível no bocal do carro](https://media.brightdata.com/2026/08/Uk0HDyKdMM8_151.jpg)](https://www.youtube.com/watch?v=Uk0HDyKdMM8&t=149s) `refuel`Mão inserindo bico de combustível no bocal do carroDesafios da reforma econômica de Bangladesh e mensagem do FMI | Economia de Bangladesh | FMI *(do bn)*[![Duas mãos dobrando papel verde ao meio](https://media.brightdata.com/2026/08/MVabAXq-o40_376.jpg)](https://www.youtube.com/watch?v=MVabAXq-o40&t=374s) `fold`Duas mãos dobrando papel verde ao meio24 de dezembro de 2023 *(do zh)*[![Mão fatiando abacate em tábua de corte](https://media.brightdata.com/2026/08/O_4ODEXyEs0_306.jpg)](https://www.youtube.com/watch?v=O_4ODEXyEs0&t=304s) `cut_knife`Mão fatiando abacate em tábua de corteAlimento cultivado em solo lunar… Cientistas ficaram assustados? *(do hi)*[![Mão pressionando botão vermelho de parada de emergência](https://media.brightdata.com/2026/08/1Na9zoYj2C4_16.jpg)](https://www.youtube.com/watch?v=1Na9zoYj2C4&t=14s) `emergency_stop`Mão pressionando botão vermelho de parada de emergência(Cidade de Cheongju/Linha Principal) Woojin Sanjeon Apollo 1100 Modelo Elétrico Ultra-Low-Floor PEV Standard Edição Junho de 2024 2027 Dongil Transportation 712 *(do ko)*[![Mão guiando formão em entalhe de madeira](https://media.brightdata.com/2026/08/KKiSvsIFetg_13275.jpg)](https://www.youtube.com/watch?v=KKiSvsIFetg&t=13273s) `chisel_carve`Mão guiando formão em entalhe de madeiraadapt and overcome 🌱--- ### 90,8% dos momentos recuperados não são nomeados em nenhum metadado Essa proporção é a lacuna entre o que a recuperação de conteúdo alcançou neste corpus e o que a correspondência literal de metadados teria alcançado. A objeção óbvia é o idioma, já que testamos palavras de ação em inglês contra títulos que frequentemente não estão em inglês. Restringindo aos títulos em inglês confirmados pelo modelo, o número ainda fica em 85,8%; a seção 3.3 mostra cada fatia. #### Onde a ação é nomeada, em todos os 10.828 momentos recuperados ![Gráfico waffle: 100 quadrados, um por ponto percentual dos 10.828 momentos correspondidos; 91 não são nomeados em lugar nenhum](https://media.brightdata.com/2026/08/waffle.svg)Formato de tabelaGrupoMomentosProporçãoO que significa para um pipeline de textonomeado no título3863,6%o matcher literal encontrasomente na descrição5314,9%somente se você lê descriçõessomente nas tags750,7%somente se você lê tags**não nomeado em lugar nenhum****9.836****90,8%**o matcher literal não encontraUm momento real de cada grupo, porque “531 momentos são nomeados apenas na descrição” é uma afirmação e um título real com a palavra correspondente marcada é evidência: GrupoAçãoTítulo do vídeo (abre no segundo correspondido)Correspondêncianomeado no título`pour`[Teaching a beginner how to pour latte art patterns (Expert Barista Guide)](https://www.youtube.com/watch?v=2P4d7Vq4GSc&t=404s)correspondido em “pour”somente na descrição`take`[GENTLE SOY SAUCE SOUP RAMEN (SHOYU RAMEN) | A Real Japanese Dad Cooks | Japanese cooking](https://www.youtube.com/watch?v=c8Kf9xlqVc0&t=216s)correspondido em “take”somente nas tags`fold`[ورقة واحدة .. طيّات قليلة .. بدون لاصق.. وعالمٌ هرميٌ كامل!](https://www.youtube.com/watch?v=hljmkQn7uD8&t=89s)correspondido em “fold”não nomeado em lugar nenhum`take`[\# viral video in social media # viral koriyaan # sad story of koriyan romance](https://www.youtube.com/watch?v=v3JvHty7O_w&t=40s)nenhuma palavra de “take” aparece em nenhum lugar de seus metadados#### Proporção invisível, por domínio ![Momentos de cada domínio divididos em não nomeados em lugar nenhum (rosa) vs nomeados no título, descrição ou tags (azul)](https://media.brightdata.com/2026/08/domains.svg)Números em formato de tabelaDomínioNão nomeado em lugar nenhumMomentos verificadosMesa (DROID)98,1%1.836Externo95,9%217Corpo inteiro95,4%866Doméstico92,0%402Construção91,1%987Industrial89,6%4.612Automotivo83,8%1.908Cada vídeo correspondido em cada domínio tinha metadados coletados por scraping, portanto cada n é o conjunto completo recuperado daquele domínio. Ninguém intitula um vídeo “colocando um bloco em uma tigela”; vídeos de reparo anunciam o que consertam, razão pela qual o automotivo é o único domínio que um matcher literal alcança parcialmente. --- ### 1 O que um timestamp remove do pipeline Digamos que você queira dez segundos de alguém soldando uma junta. O caminho usual tem cinco etapas, e cada uma delas opera em um arquivo de vídeo inteiro: encontrar um vídeo pelo título, extrair todo ele, pesquisar sua própria cópia para o momento, recortar esse momento e, em seguida, rotular o que ele mostra. A etapa um perde 90,8% desses momentos imediatamente. Pesquisar as imagens, em vez disso, retorna o vídeo *e* o segundo dentro dele, e uma das cinco etapas deixa de existir. Não há nada para pesquisar dentro do vídeo extraído, pois você já sabe onde está o momento. O recorte ainda precisa acontecer, pois a [Media Data API](https://docs.brightdata.com/api-reference/media-data-api/media-data-api.json) entrega vídeos completos, áudio, legendas e storyboards sem aceitar um timestamp, mas você recorta com base em um deslocamento conhecido em vez de procurá-lo. Cinco etapas se tornam quatro. Pipelines de coleta offline geralmente dividem esse trabalho em vários sistemas: movendo vídeo para armazenamento em nuvem, anotando-o quadro a quadro manual ou semi-automaticamente, e convertendo entre formatos de robótica como ROS ou MCAP e formatos de vídeo de uso geral. Cada transferência é um ponto onde a taxa de transferência é perdida e onde o alinhamento de tempo entre fluxos de câmera e comandos de motor pode se desviar. Não medimos nada disso aqui. É o contexto que torna um timestamp retornado algo valioso. **Rota convencional** (cinco etapas, pago por vídeos completos): 1. **Encontrar vídeos** · pesquisa por palavras-chave nos títulos 2. **Extrair** · 5.066,5 h de vídeo fonte *(a etapa cara, medida a partir da duração coletada de cada vídeo correspondido)* 3. **Executar uma pesquisa** · uma segunda ferramenta, sobre sua própria cópia 4. **Recortar** · aparar cada clipe para o momento 5. **Rotular** · anotar o que você recortou **Com recuperação de momentos** (quatro etapas, pago por segundos): 1. **Encontrar cenas** · a pesquisa de conteúdo retorna o segundo 2. **Recuperar** · ~24,58 h em torno dos deslocamentos retornados *(est: assume que cada momento tem no máximo 10 segundos de ação)* 3. **Recortar** · aparar localmente, com base em um deslocamento conhecido 4. **Rotular** · um frame por momento ![Footage movido, em escala: duas barras em um eixo](https://media.brightdata.com/2026/08/volume.svg)--- ### 2 Método Escrevemos uma frase descrevendo cada uma das 141 ações e as enviamos para a [Video Search API](/ai/video-data/vla). A de soldagem dizia: > **uma das 141 frases que enviamos** > > close-up de uma mão segurando um ferro de solda em uma junta de placa de circuito enquanto alimenta fio de solda com a outra mão, iluminação de luminária de bancada Em seguida, coletamos por scraping o título, a descrição e as tags de cada vídeo que retornou. A Bright Data documenta o índice como correspondendo em frames amostrados em vez de título, descrição ou tags, portanto os campos que avaliamos não deveriam ser o que encontrou as imagens. Não testamos isso de forma independente. Extraímos 22 nomes de ações das strings de tarefa do [DROID](https://huggingface.co/datasets/lerobot/droid_1.0.1), que lemos para frequência de verbos, e adicionamos as 119 restantes como ações de autoria própria para ampliar a auditoria além da cobertura do DROID. --- ### 3 Resultados #### 3.1 O que cada rota custa Tudo aqui está em horas neste corpus, com durações somadas do scraper, portanto o valor de origem é uma contagem em vez de uma estimativa. Não extraímos nenhum vídeo, portanto não reivindicamos nenhuma contagem de bytes. Duas contagens estão por trás do **206,1×**. As 5.066,5 h são uma soma real de 7.549 vídeos. O valor do clipe conta cada (vídeo, segundo) uma vez, em 8.849 segundos distintos, e multiplica pela janela de 10 segundos. A proporção depende de duas escolhas, a duração de um clipe e se a cauda longa conta, e a cauda longa é a maior alavanca das duas: 483 vídeos de três horas ou mais representam ~6% do conjunto e carregam ~60% das horas. A tabela de sensibilidade completa: ![Fator de redução sob cada limite de duração de vídeo](https://media.brightdata.com/2026/08/sensitivity.svg)Números em formato de tabelaRemover vídeos mais longos queVídeosHoras do corpusSegundos distintosHoras de clipe (10 s)Redução1 h6.5541.113,57.60521,1252,7×2 h6.8731.563,88.01722,2770,2×3 h7.0662.031,38.24722,9188,7×6 h7.3643.272,88.60923,91136,9×12 h7.5465.012,38.84624,57204,0×manter todos (publicados)7.5495.066,58.84924,58206,1×O mesmo corpus, obtido de qualquer forma: 10.828 linhas de correspondência em 8.849 segundos de vídeo distintos. Contar cada correspondência em vez de cada segundo distinto daria 30,08 horas de clipe e uma redução de 168,4×. A mesma proporção se aplica ao tempo de revisão somente se a alternativa revisar cada vídeo fonte na íntegra, o tempo de revisão escalar linearmente com a duração, e percorrer 8.849 clipes separados não carregar nenhuma sobrecarga por clipe. #### 3.2 A regra de correspondência e o que seu enrijecimento faz Para cada momento candidato retido, verificamos o título, a descrição e as tags do vídeo, os principais campos de metadados disponíveis nesta auditoria. Um momento é considerado nomeado se qualquer palavra do nome da ação com mais de dois caracteres aparecer como uma substring sem distinção de maiúsculas/minúsculas, portanto “change” sozinho marca `change_tire_wrench` e “car” é encontrado dentro de “carpet”. Essa é a regra mais permissiva que poderíamos ter escolhido, o que torna o título um limite mínimo. Enrijecê-la e o número sobe: ![Momentos que um matcher de texto alcança sob quatro regras progressivamente mais rígidas: 992, 868, 597, 206 de 10.828](https://media.brightdata.com/2026/08/matcher.svg)Cada regra mais rigorosa do que a publicada move o número para cima, o que torna 90,8% um limite mínimo em vez de um melhor caso: 395 dos 992 momentos que a regra publicada conta como nomeados devem isso a um fragmento dentro de uma palavra mais longa. Cada valor é medido, quatro passagens reais sobre o corpus (`supply_gap.py _variants()`). #### 3.3 Grande parte tem título em outro idioma Lemos o idioma do título para cada um dos 10.828 momentos correspondidos, portanto este é o corpus completo em vez de uma amostra. Deles, **4.863 (~45%)** estão em um vídeo com título em um dos **77 idiomas não ingleses identificados**, mais um título que o modelo não conseguiu identificar. As mesmas descrições de ações em inglês retornaram 423 momentos de vídeos com títulos em hindi e 509 de vídeos com títulos em português. Nenhum campo geográfico foi coletado, portanto isso não diz nada sobre onde os vídeos foram feitos. ![Idioma do título de cada momento correspondido, faixa proporcional](https://media.brightdata.com/2026/08/langs.svg)*Idioma do título de cada momento correspondido, em todos os 79 idiomas encontrados.* Essa mistura é a razão pela qual dividimos o corpus em direção ao inglês antes de confiar no número principal. Restringindo aos títulos que sabemos estar em inglês, o número se move alguns pontos e a maior parte permanece, portanto parte da lacuna é uma incompatibilidade de idioma e o restante é uma falha de descrição que persiste após a remoção da incompatibilidade: ![Proporção não nomeada quando o corpus é dividido em direção ao inglês: 90,8% todos, 87,6% ASCII, 85,8% títulos em inglês, 95,0% áudio em inglês](https://media.brightdata.com/2026/08/slices.svg)Os mesmos números como tabelaFatiaNão nomeado em lugar nenhumntodos os momentos**90,8%**10.828títulos em ASCII puro87,6%5.560títulos em inglês confirmados pelo modelo85,8%5.965áudio em inglês confirmado95,0%317 (poucos para se apoiar)#### 3.4 Por ação Ordenado pela proporção sem nenhum termo de ação literal nos metadados disponíveis. 17 ações não têm nenhum momento retido cujos metadados nomeiem a ação alvo. Em todas as 141 ações com pelo menos 8 momentos verificados, a proporção vai de 50,0% a 100,0%, mediana de 94,1%. As 12 menos ocultas: ![As 12 ações menos ocultas: cada barra representa os momentos encontrados, divididos em nomeados em seu próprio texto (azul) vs não nomeados em lugar nenhum (rosa)](https://media.brightdata.com/2026/08/supply.svg)Números em formato de tabelaAçãoDomínioEncontradoDiz no textoNão nomeado em lugar nenhum`wash_car`Automotivo723650,0%`wash_car_panel`Automotivo783653,8%`car_door_open`Automotivo923858,7%`car_door_close`Automotivo913660,4%`car_door`Automotivo933661,3%`pack_box`Industrial732861,6%`grinder_use`Industrial692366,7%`hand_saw_cut`Industrial772567,5%`jack_up_car`Automotivo782469,2%`tape_box`Industrial752369,3%`sit_stand`Corpo inteiro28871,4%`impact_driver`Industrial701972,9%**Todas as 141 ações** · encontrado / diz-assim / não-nomeado, mais a extrapolação em todo o índice por açãoAçãoDomínioEncontradoDiz assimNão nomeado em lugar nenhumEst. momentos em todo o índiceTaxa utilizávelBase da taxa`climb_ladder`Corpo inteiro930100,0%188.79026,1%ação`crane_hook`Industrial840100,0%170.4369,5%ação`flip`Mesa (DROID)870100,0%176.52326,7%ação`lift`Mesa (DROID)890100,0%180.58124,7%ação`load_cart`Industrial820100,0%166.4609,8%ação`pick_up`Mesa (DROID)720100,0%146.08847,9%ação`push`Mesa (DROID)910100,0%184.63923,3%ação`push_heavy_cart`Corpo inteiro700100,0%142.10024,3%ação`push_trolley`Industrial650100,0%131.95020,0%ação`refuel`Automotivo910100,0%184.63926,4%ação`refuel_nozzle`Automotivo880100,0%178.55227,6%ação`seatbelt_buckle`Automotivo870100,0%176.52329,9%ação`slide`Mesa (DROID)820100,0%166.37832,1%ação`sort_parcel`Industrial820100,0%166.46037,8%ação`stack`Mesa (DROID)650100,0%136.95821,9%ação`unfold`Mesa (DROID)790100,0%160.29157,0%ação`ziptie_bundle`Industrial820100,0%166.46048,8%ação`carry_upstairs`Corpo inteiro87198,9%176.61025,6%ação`hang`Mesa (DROID)92198,9%181.59612,1%ação`pull`Mesa (DROID)87198,9%176.52318,4%ação`pull_trolley`Corpo inteiro92198,9%186.76022,8%ação`close`Mesa (DROID)83198,8%168.40741,5%ação`emergency_stop`Industrial85198,8%172.46522,6%ação`handbrake_pull`Automotivo82198,8%166.37831,7%ação`place`Mesa (DROID)84198,8%170.43639,3%ação`remove`Mesa (DROID)86198,8%174.49448,8%ação`turn_on`Mesa (DROID)85198,8%172.46529,4%ação`count_stock`Industrial76198,7%154.28032,4%ação`reach_overhead`Corpo inteiro79198,7%160.37046,8%ação`wipe`Mesa (DROID)77198,7%180.58128,0%ação`crouch_down`Corpo inteiro65198,5%131.95034,9%ação`seat_chip`Industrial65198,5%131.95046,9%ação`plaster_wall`Construção88297,7%178.55225,3%ação`plug_in`Doméstico87297,7%176.52336,5%ação`turn`Mesa (DROID)86297,7%174.49427,9%ação`unplug_cable`Industrial88297,7%178.64042,5%ação`label_parcel`Industrial85297,6%172.55045,9%ação`move`Mesa (DROID)82297,6%166.37834,2%ação`press`Mesa (DROID)83297,6%168.40742,2%ação`spirit_level`Industrial83297,6%168.40712,5%ação`conveyor_pick`Industrial79297,5%160.29135,4%ação`grout_joint`Construção81297,5%164.34928,4%ação`open_hood`Automotivo80297,5%162.32053,8%ação`trowel_mortar`Construção79297,5%160.29128,2%ação`balance_load`Corpo inteiro77297,4%156.31021,1%ação`shovel_load`Externo74297,3%150.22031,5%ação`scan_barcode`Industrial71297,2%144.05927,1%ação`desolder_remove`Industrial63296,8%127.89051,6%ação`pull_wire`Construção61296,7%123.76930,0%ação`take`Mesa (DROID)90396,7%182.61037,8%ação`forklift_controls`Industrial59296,6%119.71127,1%ação`open_gate`Corpo inteiro88396,6%178.64021,6%ação`pour`Mesa (DROID)89396,6%183.62456,2%ação`plug_in_socket`Industrial85396,5%172.55036,5%ação`shrink_wrap`Industrial81396,3%164.43022,5%ação`wipe_windshield`Automotivo82396,3%166.37834,6%ação`control_dial`Industrial72395,8%146.08831,9%ação`steering`Automotivo72395,8%146.08859,7%ação`open_carton`Industrial69395,7%140.07031,9%ação`put`Mesa (DROID)91495,6%184.63941,8%ação`plant_seed`Externo67395,5%136.01028,8%ação`steering_turn`Automotivo43295,3%87.24760,5%ação`pipe_fitting`Industrial83495,2%168.40744,6%ação`open`Mesa (DROID)79494,9%173.98744,2%ação`dig_soil`Externo76494,7%154.28044,6%ação`sweep`Doméstico75494,7%152.17529,3%ação`route_cable`Industrial74494,6%150.22043,8%ação`gear_shift`Automotivo73494,5%148.11737,0%ação`stack_pallet`Industrial70494,3%142.10012,9%ação`thermal_paste`Industrial69494,2%140.07019,1%ação`ev_charge_plug`Automotivo85594,1%172.46526,2%ação`carry_box`Doméstico84594,0%170.43625,0%ação`open_trunk`Automotivo84594,0%170.43628,6%ação`socket_ratchet`Industrial82593,9%166.37831,7%ação`top_up_fluid`Automotivo82593,9%166.37837,0%ação`press_machine_button`Industrial79593,7%160.29131,6%ação`valve_turn`Industrial79593,7%160.29119,0%ação`insert_usb`Industrial78593,6%158.34046,0%ação`caulk_gun`Industrial86693,0%174.49434,1%ação`adjust_mirror`Automotivo85692,9%172.46520,0%ação`sand_surface`Industrial85692,9%172.46555,3%ação`cut_pipe`Construção68592,6%137.97241,8%ação`machine_unload`Industrial68592,6%137.97230,9%ação`unload_truck`Industrial68592,6%138.04035,3%ação`machine_lever`Industrial80692,5%162.32021,2%ação`assemble_snap_fit`Industrial77692,2%156.31051,3%ação`measure_tape`Industrial76692,1%154.20442,1%ação`chisel_carve`Industrial49491,8%99.42142,9%ação`wrench_bolt`Industrial85791,8%172.46534,1%ação`hammer_nail`Industrial84791,7%170.43620,2%ação`solder_pipe`Construção70691,4%142.03037,1%ação`step_over`Corpo inteiro70691,4%142.10028,6%ação`gauge_read`Industrial78791,0%158.26235,9%ação`fold`Mesa (DROID)77790,9%158.76957,1%ação`tile_place`Construção83890,4%168.40730,1%ação`solder`Industrial55689,1%111.59545,5%ação`screwdriver`Industrial72888,9%146.08843,1%ação`bend_lift`Corpo inteiro62788,7%125.86032,3%ação`power_drill_hole`Industrial70888,6%142.03040,9%ação`solder_joint`Industrial61788,5%123.83055,7%ação`mix_cement`Construção68888,2%137.97243,3%ação`nail_gun`Construção68888,2%137.97229,8%ação`drywall_screw`Construção72987,5%146.08828,2%ação`lay_brick`Construção801087,5%162.32027,5%ação`clamp_workpiece`Industrial62887,1%125.79835,5%ação`machine_load`Industrial62887,1%125.79819,4%ação`cut_vegetable`Doméstico831186,7%168.40742,2%ação`torque_wrench`Industrial831186,7%168.40731,3%ação`cut_knife`Doméstico731086,3%148.11734,2%ação`tire_pressure`Automotivo731086,3%148.11747,9%ação`weld_seam`Industrial871286,2%176.52331,4%ação`pliers_grip`Industrial721086,1%146.08850,7%ação`paint_brush`Construção901385,6%182.61022,2%ação`wire_cut`Industrial761185,5%154.20434,2%ação`paint_roller`Construção791383,5%160.29115,2%ação`breadboard_wire`Industrial651183,1%131.95044,6%ação`change_tire`Automotivo691282,6%140.00150,0%ação`kneel_work`Corpo inteiro551081,8%111.65045,5%ação`change_tire_wrench`Automotivo711381,7%144.05946,4%ação`assemble_part`Industrial701381,4%142.03064,3%ação`check_oil_dipstick`Automotivo801581,2%162.32043,8%ação`screw_panel`Industrial811680,2%164.43037,5%ação`lathe_operate`Industrial511178,4%103.47931,4%ação`engine_bay`Automotivo771777,9%156.23356,6%ação`probe_test`Industrial631477,8%127.89054,8%ação`machine_control`Industrial781876,9%158.26236,4%ação`screwdriver_drive`Industrial782074,4%158.26239,5%ação`weld`Industrial862274,4%174.49431,4%ação`power_drill`Industrial701874,3%142.03048,6%ação`impact_driver`Industrial701972,9%142.03035,3%ação`sit_stand`Corpo inteiro28871,4%56.84035,7%ação`tape_box`Industrial752369,3%152.25026,4%ação`jack_up_car`Automotivo782469,2%158.26227,3%ação`hand_saw_cut`Industrial772567,5%156.23332,9%ação`grinder_use`Industrial692366,7%140.00142,6%ação`pack_box`Industrial732861,6%148.11750,0%ação`car_door`Automotivo933661,3%188.69720,4%ação`car_door_close`Automotivo913660,4%184.63926,4%ação`car_door_open`Automotivo923858,7%186.66822,8%ação`wash_car_panel`Automotivo783653,8%158.26241,6%ação`wash_car`Automotivo723650,0%146.08845,1%açãoFindability por ação. “Diz assim” conta os momentos cujo próprio título, descrição ou tags carregam alguma palavra do nome da ação sob a regra de substring publicada. As colunas de extrapolação multiplicam o rendimento por fragmento medido de cada ação pela contagem de fragmentos do índice e dividem pela sobreposição entre ações medida; “base da taxa” indica se a taxa utilizável foi medida nos próprios frames daquela ação, herdada de seu domínio ou herdada da taxa de todo o corpus. #### 3.5 Obtendo os frames Para verificar se a recuperação estava correta, extraímos um frame real de cada vídeo correspondido e o analisamos. O que o YouTube expõe sem extrair o vídeo é o storyboard, uma folha de sprites de miniaturas cujo intervalo de amostragem aumenta com o tempo de execução: medimos 1 s em vídeos de até 109 s, 2 s de 175 s a 275 s, 5 s de 454 s a 892 s e 10 s a partir de 1.366 s. Os limites de etapa entre essas faixas não foram resolvidos pelos 12 vídeos que sondamos. A imagem que avaliamos é a amostra mais próxima no ou antes do segundo correspondido, portanto pode ser até um intervalo antes, 10 s no pior caso e 5 s ou 10 s para pouco mais da metade dos frames. Medido por `storyboard_probe.py`; as especificações por vídeo estão em `data/storyboard_spec.json`. Um modelo de visão avaliou todos os 10.750 de 10.828 frames obtidos, portanto cada taxa aqui é medida em 99,3% do corpus em vez de uma amostra. **93,8%** são filmagens reais em vez de animação, jogo ou gravação de tela; **25,7%** capturaram a ação visivelmente em andamento e 57,4% mostraram-na em andamento ou configurada; **34,5%** pontuaram 3 ou mais em uma escala de usabilidade de 0 a 5. Esse último número é um julgamento sobre um processo de treinamento downstream que o modelo não pode observar, e se comporta como tal: em uma amostra de 60 frames, quatro execuções da configuração idêntica abrangeram 3,4 pontos, e reformular o critério o moveu 20. A proporção de ação visível se moveu 1,7 nessa mesma mudança de critério, o que a torna o número a comparar entre execuções. Aquisição de frames: ![Resultados de extração de frames em todos os momentos tentados](https://media.brightdata.com/2026/08/acquisition.svg)Números em formato de tabelaResultadoMomentosProporçãoFrames obtidos10.750 / 10.82899%Nenhum storyboard analisável750,7%Falha na busca de sprite30,03%Aquisição de frames. Buscamos storyboards diretamente e encontramos limitação de taxa em 863 dos 10.828 momentos, 856 dos quais uma passagem posterior recuperou, portanto nenhum dos 78 momentos perdidos terminou em um 429; a [Media Data API](https://docs.brightdata.com/api-reference/media-data-api/media-data-api.json) é a rota suportada para esta etapa e retorna storyboards diretamente. Esta auditoria não fez nenhuma chamada a ela. Esses momentos estão em 7.549 vídeos, e um vídeo custa uma busca de página de visualização mais pelo menos uma folha de sprites, armazenada em cache por vídeo. --- ### 4 Os momentos, reproduzíveis Correspondências mostradas contra o frame de storyboard mais próximo no ou antes do segundo em que foram correspondidas. O ranking não é curado. 10.750 dos 10.828 momentos têm um frame próprio, e a galeria completa tem 10.761 linhas porque 11 a mais compartilham uma imagem com outra ação correspondida no mesmo segundo. Essas linhas repousam em 8.792 imagens distintas, porque o nome do arquivo nomeia um vídeo e um segundo em vez de uma ação. Abaixo estão os momentos correspondidos com maior pontuação, um por ação, direto do ranking. **Clique em qualquer frame para reproduzir o vídeo fonte no segundo correspondido.** [![Mão usando fita métrica em tábua de madeira](https://media.brightdata.com/2026/08/dsOefN6Mny8_168.jpg)](https://www.youtube.com/watch?v=dsOefN6Mny8&t=166s)[![Mãos segurando cortador de tubo de cobre](https://media.brightdata.com/2026/08/cKl6h0O2n80_701.jpg)](https://www.youtube.com/watch?v=cKl6h0O2n80&t=699s)[![Mãos com luvas rosa organizando pequenas peças metálicas brancas](https://media.brightdata.com/2026/08/3FQl-uhcrYI_138.jpg)](https://www.youtube.com/watch?v=3FQl-uhcrYI&t=136s)`measure_tape` · 0,391 · útil 4/5 Mão usando fita métrica em tábua de madeira *Shootout review and a work story!*`cut_pipe` · 0,388 · útil 2/5 Mãos segurando cortador de tubo de cobre *How Raw Copper Turns into a Masterpiece with Artistic Hammer Strikes⚒️🔥🇮🇷*`machine_load` · 0,386 · útil 2/5 Mãos com luvas rosa organizando pequenas peças metálicas brancas *THK rail | Installation guide | THK rail | Rail removal and installation | 0363.*[![Mãos nos controles e volante de empilhadeira](https://media.brightdata.com/2026/08/bqZxQKw5WEU_342.jpg)](https://www.youtube.com/watch?v=bqZxQKw5WEU&t=340s)[![Mãos perto de placa de circuito, configuração de soldagem pouco clara](https://media.brightdata.com/2026/08/dNi7ayBp2nk_577.jpg)](https://www.youtube.com/watch?v=dNi7ayBp2nk&t=575s)[![Ambas as mãos segurando o volante, virando](https://media.brightdata.com/2026/08/RtV-k39-4_496.jpg)](https://www.youtube.com/watch?v=_RtV-k39--4&t=494s)`forklift_controls` · 0,383 · útil 5/5 Mãos nos controles e volante de empilhadeira *JUST DRIVE : Forklift #38*`solder` · 0,382 · útil 3/5 Mãos perto de placa de circuito, configuração de soldagem pouco clara *⚡ Simple DIY Repair Old Bike Battery And Install Separate USB Charging Port For* `steering_turn` · 0,378 · útil 5/5 Ambas as mãos segurando o volante, virando *1995 Volvo 850 T5-R Wagon – POV Driving Impressions*[![Mão perto de rolos de fita e materiais de embalagem](https://media.brightdata.com/2026/08/Acq-JaCaZ4s_236.jpg)](https://www.youtube.com/watch?v=Acq-JaCaZ4s&t=234s)[![Mãos manipulando tecido branco sobre superfície](https://media.brightdata.com/2026/08/NIUlXM8eO-c_441.jpg)](https://www.youtube.com/watch?v=NIUlXM8eO-c&t=439s)[![Mãos com luvas perto de configuração de máquina industrial](https://media.brightdata.com/2026/08/aDD3H8-GLw8_887.jpg)](https://www.youtube.com/watch?v=aDD3H8-GLw8&t=885s)`tape_box` · 0,376 · útil 1/5 Mão perto de rolos de fita e materiais de embalagem *Cell 32140 high discharge line – battery pack accessories 0824457979*`wipe` · 0,374 · útil 3/5 Mãos manipulando tecido branco sobre superfície *Washed Notebook ASMR 📘✨ Radiator‑Dried Pages With Intense Crinkles*`machine_unload` · 0,373 · útil 1/5 Mãos com luvas perto de configuração de máquina industrial *Transmission Assembly – 1929 Ford Model A*[![Mãos posicionando pistola de pregos em estrutura de madeira](https://media.brightdata.com/2026/08/qugpJY_vgYQ_731.jpg)](https://www.youtube.com/watch?v=qugpJY_vgYQ&t=729s)[![Pessoa se levantando da cadeira usando os apoios de braço](https://media.brightdata.com/2026/08/Wlw81mG4t74_863.jpg)](https://www.youtube.com/watch?v=Wlw81mG4t74&t=861s)[![Mão escrevendo em caderno perto de prancheta](https://media.brightdata.com/2026/08/GKP-rqZoDuo_21084.jpg)](https://www.youtube.com/watch?v=GKP-rqZoDuo&t=21082s)`nail_gun` · 0,371 · útil 4/5 Mãos posicionando pistola de pregos em estrutura de madeira *Building a deck for garden raised bed – Part 1*`sit_stand` · 0,371 · útil 5/5 Pessoa se levantando da cadeira usando os apoios de braço *Flexibility and Mobility Senior Chair Exercise*`count_stock` · 0,371 · útil 2/5 Mão escrevendo em caderno perto de prancheta *\[26.4.16.Thu.\] Study with me | Studying together | Thursday meet-up! | Firefight*[![Duas mãos segurando pontas de multímetro em circuito](https://media.brightdata.com/2026/08/BsuRceDcme4_1360.jpg)](https://www.youtube.com/watch?v=BsuRceDcme4&t=1358s)[![Mãos segurando garrafas perto de abertura de caixa, sem corte](https://media.brightdata.com/2026/08/2aPPTbhPz3w_11813.jpg)](https://www.youtube.com/watch?v=2aPPTbhPz3w&t=11811s)[![Pessoa deitada no chão em posição de trabalho](https://media.brightdata.com/2026/08/oATd18wPPe8_67.jpg)](https://www.youtube.com/watch?v=oATd18wPPe8&t=65s)`probe_test` · 0,371 · útil 5/5 Duas mãos segurando pontas de multímetro em circuito *How to Measure Electronic Components with a Multimeter (Complete Guide)*`open_carton` · 0,369 · útil 2/5 Mãos segurando garrafas perto de abertura de caixa, sem corte *Oddly Satisfying Video-How to Cutting New Wooden Fruits and Vegetables ASMR – Cu*`kneel_work` · 0,369 · útil 3/5 Pessoa deitada no chão em posição de trabalho *Lupimorphie, animal-performance by Régis Moulu, Capsule 114, dance*[![Pessoa empurrando carrinho pesado com ambas as mãos](https://media.brightdata.com/2026/08/Rc0zu29h0Rg_25.jpg)](https://www.youtube.com/watch?v=Rc0zu29h0Rg&t=23s)[![Mão guiando formão em entalhe de madeira](https://media.brightdata.com/2026/08/KKiSvsIFetg_13275.jpg)](https://www.youtube.com/watch?v=KKiSvsIFetg&t=13273s)[![Mão girando volante de avanço transversal do torno com peça girando](https://media.brightdata.com/2026/08/uF8evG-9QH8_746.jpg)](https://www.youtube.com/watch?v=uF8evG-9QH8&t=744s)`push_heavy_cart` · 0,367 · útil 4/5 Pessoa empurrando carrinho pesado com ambas as mãos *2321FI”2-Step Multi-Functional Aluminum Alloy Step Trolley: Comprehensive Usage* `chisel_carve` · 0,366 · útil 5/5 Mão guiando formão em entalhe de madeira *adapt and overcome 🌱*`lathe_operate` · 0,362 · útil 5/5 Mão girando volante de avanço transversal do torno com peça girando *Unbelievable Damage! Caterpillar Cylindrical Roller Bearing Destroyed 😱*Cada célula: a ação para a qual foi correspondida e sua pontuação de relevância, depois o que o modelo de visão viu no frame (mostrado a imagem sem o título), depois o próprio título do vídeo em inglês. Os timestamps abrem dois segundos antes para que o momento entre em cena. --- ### 5 Trabalhos relacionados Recuperar um momento por descrição é uma tarefa estabelecida: ancoragem temporal em [Charades-STA](https://arxiv.org/abs/1705.02101), detecção de destaques em [QVHighlights](https://arxiv.org/abs/2107.09609), consultas em linguagem natural em [Ego4D](https://arxiv.org/abs/2110.07058). Não introduzimos nenhum método novo aqui. O construto tem precedente. [TVR](https://arxiv.org/abs/2001.09099) (2020) rotulou suas 108.965 consultas por se vídeo, legendas ou ambos as respondiam, relatando **74,2% somente vídeo**. O que difere é o corpus e o propósito: vídeo aberto da web em vez de seis programas de TV, ações físicas, uma subamostra verificada e uma razão de custo. O formato de lançamento segue [AVA](https://research.google.com/ava/download.html) e [HowTo100M](https://www.di.ens.fr/willow/research/howto100m/): identificador, timestamp e rótulo, sem redistribuição de vídeo. A recuperação em todo o texto é feita pela [Video Search API](/ai/video-data/vla). Os frames aqui foram obtidos analisando o storyboard do YouTube na página de visualização; nenhum clipe foi extraído em nenhum momento. Para uma execução de produção, a rota suportada é a [Media Data API](https://docs.brightdata.com/api-reference/media-data-api/media-data-api.json). O que a auditoria estabelece é mais restrito do que uma substituição para demonstrações de robôs. A web contém uma camada grande e mal indexada de imagens de ações físicas, e a pesquisa visual com timestamps torna essa camada consideravelmente mais fácil de alcançar. Se as imagens curadas dessa forma melhoram mensuravelmente um sistema de robótica ou modelo de mundo é a próxima questão, e respondê-la requer um experimento de treinamento que esta auditoria não realizou. --- ### 6 Citação ```none @misc{webmoments2026, title = {Finding the Web's Hidden Robot Training Moments in Public Web Video Data}, author = {Bright Data}, year = {2026}, howpublished = {Technical report}, note = {141 physical actions, 10,828 retrieved match rows over 8,849 distinct video-second moments, and 10,750 frames reviewed by a vision model} } ``` Contate-nosTeste grátis![google social icon](/wp-content/themes/brightdata/assets/images/ic_google.svg) Índice [ ](https://news.ycombinator.com/submitlink?t=Encontrando+os+momentos+ocultos+de+treinamento+de+rob%C3%B4s+em+dados+de+v%C3%ADdeo+p%C3%BAblicos+da+web&u=https://brightdata.com.br/blog/ai/robot-training-data-in-public-web-video) [ ](https://www.linkedin.com/shareArticle?mini=true&title=Encontrando+os+momentos+ocultos+de+treinamento+de+rob%C3%B4s+em+dados+de+v%C3%ADdeo+p%C3%BAblicos+da+web&url=https://brightdata.com.br/blog/ai/robot-training-data-in-public-web-video) [ ](http://www.reddit.com/submit?title=Encontrando+os+momentos+ocultos+de+treinamento+de+rob%C3%B4s+em+dados+de+v%C3%ADdeo+p%C3%BAblicos+da+web&url=https://brightdata.com.br/blog/ai/robot-training-data-in-public-web-video) ## Você também pode estar interessado em [ ![OpenHuman with Bright Data](https://media.brightdata.com.br/2026/09/OpenHuman-with-Bright-Data.png) ](https://brightdata.com.br/blog/ai/openhuman-with-bright-data "Acesso à Web Pronto para Produção no OpenHuman Através do Bright Data CLI") [AI ![Antonello Zanini](https://media.brightdata.com.br/2022/12/Antonello-Zanini-2-50x50.jpg) Antonello Zanini Technical Writer ### Acesso à Web Pronto para Produção no OpenHuman Através do Bright Data CLI Integre o Bright Data CLI ao OpenHuman para habilitar acesso à web pronto para produção e coleta de dados para agentes de IA. 09-Sep-2026 14 min de leitura ](https://brightdata.com.br/blog/ai/openhuman-with-bright-data) [ ![Multimodal Web Scraping with MiniMax](https://media.brightdata.com.br/2026/09/Multimodal-Web-Scraping-with-MiniMax.png) ](https://brightdata.com.br/blog/dados-do-site/multimodal-web-scraping-with-minimax "Scraping de Dados Multimodal com MiniMax") [Dados do site ![Antonello Zanini](https://media.brightdata.com.br/2022/12/Antonello-Zanini-2-50x50.jpg) Antonello Zanini Technical Writer ### Scraping de Dados Multimodal com MiniMax Combine a API Web Unlocker da Bright Data com a visão MiniMax M3 para extrair dados estruturados de imagens e capturas de tela de páginas web. 09-Sep-2026 5 min de leitura ](https://brightdata.com.br/blog/dados-do-site/multimodal-web-scraping-with-minimax) [ ![The 10 Best CLI Tools for Codex in 2026](https://media.brightdata.com.br/2026/08/The-10-Best-CLI-Tools-for-Codex-in-2026.png) ](https://brightdata.com.br/blog/ai/best-cli-tools-for-codex "As 10 Melhores Ferramentas CLI para Codex em 2026 – Testadas & Classificadas") [AI ![Daniel Shashko](https://media.brightdata.com.br/2022/04/Daniel-Shashko-2-50x50.png) Daniel Shashko Web Data & AI Expert ### As 10 Melhores Ferramentas CLI para Codex em 2026 – Testadas & Classificadas As 10 ferramentas CLI que tornam o Codex mais rápido e capaz, começando com o Bright Data CLI para acesso real à web de dentro do sandbox. 06-Sep-2026 24 min de leitura ](https://brightdata.com.br/blog/ai/best-cli-tools-for-codex)