Um resumo da noite de VLA no web data loft.
Reunimos engenheiros da Agility Robotics, Tesla, Prometheus e Distill Labs no Web Data Loft da Bright Data em São Francisco para discutir uma pergunta:
O que realmente é necessário para passar de um modelo de linguagem para um robô que funciona no mundo real?
A resposta foi mais concreta do que o hype sugere. O gargalo não é apenas a arquitetura do modelo. É o corpus de treinamento: o que você coleta, como você combina, de onde vem, e se você consegue curá-lo em uma escala que nenhuma equipe manual consegue igualar.
No painel estavam Sri e Ahmed da Agility Robotics, Ankur, engenheiro de ML em robótica falando em capacidade pessoal, Daniel da Prometheus, ex-1X e Waymo, e Jacek, cofundador da Distill Labs. A conversa foi moderada por Adam do HackerSquad e do Builders Collective.
Abaixo estão os cinco pontos principais que importam se você está construindo um modelo Vision-Language-Action, um modelo de mundo, ou o pipeline de dados por trás de um.
1. Um VLA é um VLM com um cabeçalho de ação, e sua generalização vem do pré-treinamento em escala web
A definição de trabalho do painel era simples: um VLA começa como um modelo de visão-linguagem treinado em texto e imagens em escala da internet, em tarefas como legendagem, segmentação e compreensão de objetos. Você então adiciona um componente de ação e o ajusta em dados robóticos.
Essa distinção importa. Os dados do robô ensinam a execução. O pré-treinamento em escala web ensina ao modelo o que é o mundo.
É por isso que um VLA às vezes consegue pegar um objeto para o qual nunca foi explicitamente treinado. A generalização não vem apenas de um pequeno conjunto de demonstrações de robô teleoperado. Ela vem de uma ampla exposição visual e semântica antes do robô entrar no ciclo.
Se o seu corpus de pré-treinamento for restrito, nenhuma quantidade de dados caros de teleoperação recupera totalmente a generalização que você ignorou.
“É treinado em dados de texto e imagens em escala da internet… depois você ajusta o VLM em dados robóticos e obtém um modelo visão-linguagem-ação. O bom é que tem melhor generalização: se você o treina para pegar um objeto, pode pedir que pegue um objeto diferente, porque já viu coisas similares.”
— Ankur, engenheiro de ML em robótica, falando em capacidade pessoal. Assistir em 9:59 →
📖 Leitura relacionada: O que é um Modelo de Visão-Linguagem (VLA)? · Melhores Bibliotecas de IA para Robótica · Modelos de Fundação explicados
2. Visão, linguagem e ação estão convergindo para um único espaço de tokens
Os VLAs modernos se parecem cada vez mais com LLMs em um aspecto importante: eles preveem o próximo token.
Esse token pode ser uma palavra, um patch de imagem ou um comando de controle no espaço de juntas. Como Jacek, cofundador da Distill Labs, explicou, a conexão com agentes de software é direta. Um LLM chama ferramentas via API. Um VLA chama ferramentas físicas. O mecanismo muda de “chamar um endpoint” para “pegar o copo”, mas o padrão subjacente é semelhante.
A implicação é poderosa: toda modalidade que pode ser tokenizada pode se tornar parte do mesmo espaço de treinamento. Vídeo da web, filmagens egocêntricas, demonstrações humanas, teleoperação e dados de robô on-policy podem contribuir para uma representação compartilhada.
A restrição então passa de “o modelo consegue usar isso?” para “conseguimos obter os exemplos certos na escala certa?”
“Você pode pensar no seu espaço de ação como chamada de função para LLMs… você divide assim e não é diferente do que as pessoas constroem para o mundo não físico, agentes que ativam subagentes em um mecanismo que expõe ferramentas. Agora o mecanismo é mais físico. Isso o torna poderoso, porque você pode contar com dados de treinamento da web para obter um bom ponto de partida.”
— Jacek, cofundador, Distill Labs. Assistir em 15:14 →
📖 Leitura relacionada: Tokenização explicada · Dentro da Stack de Tecnologia de Agentes de IA · Como Construir Agentes de IA: Roteiro Completo
3. VLAs e modelos de mundo precisam de dados diferentes, confundir os dois é custoso
Uma das distinções mais marcantes da noite foi entre o treinamento de VLA e o treinamento de modelo de mundo.
Como Ankur enquadrou, um VLA é basicamente um problema de aprendizado por imitação. Você quer trajetórias limpas, bem-sucedidas e de alta qualidade. Demonstrações ruins podem prejudicar.
Um modelo de mundo é diferente. Ele precisa prever o que acontece a seguir dada uma ação, o que significa que precisa entender não apenas resultados bem-sucedidos, mas também erros, casos extremos e falhas. Se você quiser usar um modelo de mundo para planejamento ou como simulador aprendido para aprendizado por reforço, ele precisa representar toda a gama de futuros possíveis.
Daniel, engenheiro na Prometheus que anteriormente liderou trabalhos com modelos de mundo na 1X, explicou por que isso é difícil. Muitos modelos de mundo atuais são tendenciosos para resultados bem-sucedidos. Quando mostrados uma trajetória prestes a falhar, podem alucinar uma recuperação em vez de modelar o erro. Na robótica, isso é especialmente perigoso. O modelo deve ser controlável por ação precisamente nos momentos em que contato, preensão e falha são mais prováveis.
A conclusão: “dados de robótica” não é um balde genérico único. Políticas de imitação e modelos de mundo exigem corpus deliberadamente diferentes.
“Você realmente quer um modelo de mundo que seja muito controlável por ação… o momento decisivo quando você está agarrando um objeto. Se houver lacunas aí, é um sinal muito ruim.”
— Daniel, Prometheus, ex-1X. Assistir em 35:36 →
📖 Leitura relacionada: O que é Treinamento de Modelo de IA? · Alucinação de IA explicada · Conjuntos de dados de robótica
4. A hierarquia de dados é real: dados da web dão amplitude, dados de robô dão controle
Ahmed, engenheiro na Agility Robotics, apresentou uma hierarquia clara de sinal.
Os dados de teleoperação contêm a informação de controle mais forte porque incluem o estado completo do robô. Demonstrações humanas e vídeos egocêntricos carregam menos sinal de controle direto. Vídeos da web carregam o mínimo na camada de controle de baixo nível.
Mas isso não torna os dados da web menos importantes. Torna seu papel diferente.
O vídeo em escala web ensina semântica, contexto, estrutura de tarefas, diversidade de objetos e conhecimento geral do mundo. Ajuda o modelo a entender como salas, ferramentas, pessoas, objetos e metas aparecem em enorme variação. O que não ensina bem é a física refinada de um corpo robótico específico executando uma ação específica.
Ankur deu a analogia mais clara: você pode assistir a todos os vídeos de Messi ou Ronaldo já gravados e entender profundamente o futebol, mas ainda não consegue jogar sem praticar. Os dados da web ensinam o jogo. Os dados no robô ensinam o corpo.
O insight prático sobre orçamento de dados veio da mesma troca: uma hora de dados da web pode fornecer aproximadamente o valor transferível de cinco minutos de dados de teleoperação. Os dados da web não substituem a teleop, mas um forte pré-treinamento em escala web pode reduzir a quantidade de dados caros de robô que você precisa para alcançar execução confiável.
“Podemos assistir muitos vídeos de futebol do Messi ou Ronaldo, mas até praticarmos nós mesmos não conseguimos realmente jogar. A compreensão da tarefa obtemos dos dados da web. Para realmente executá-la, precisamos de dados no robô… talvez uma hora de dados da web equivalha a cinco minutos de dados de teleop.”
— Ankur, engenheiro de ML em robótica, falando em capacidade pessoal. Assistir em 1:01:09 →
📖 Leitura relacionada: Dados para IA em vídeo · Conjunto de dados de Vídeos do YouTube · Conjuntos de Dados de Áudio para IA · Conjuntos de Dados de Imagem
5. Ainda não há leis de escalonamento confiáveis, então a velocidade de curadoria se torna a vantagem
Para LLMs, o setor tem as leis de escalonamento de Kaplan e Chinchilla. Para VLAs e modelos de mundo, Daniel foi direto: a robótica ainda não chegou lá.
As equipes ainda não conseguem prever de forma confiável o desempenho do robô como uma função clara de tokens da web, horas de teleop, dados de implantação, computação ou tamanho do modelo. Parte do desafio é que o aprendizado por imitação e a modelagem de mundo usam sinais de supervisão diferentes. Outro é que a métrica que importa é o sucesso da tarefa downstream, não a perda de pré-treinamento.
Daniel também traçou um contraste útil com a simulação de veículos autônomos. Na direção autônoma, a simulação muitas vezes para quando ocorre contato. Na robótica, o contato é onde a complexidade real começa. Agarrar, empurrar, escorregar, deformar, colidir e recuperar não são casos extremos. São a tarefa.
Até que leis de escalonamento melhores surjam, a vantagem vai para as equipes que conseguem encontrar e curar os exemplos certos mais rapidamente: cenas específicas, famílias de tarefas, interações com objetos, falhas e momentos ricos em contato. Isso não é apenas um desafio de modelagem. É um desafio de descoberta e pipeline de dados.
“Responder leis de escalonamento em relação a contagens de flops ou tokens agora é comum para LLMs, Kaplan et al., as leis de escalonamento Chinchilla. Não estamos realmente fazendo essas perguntas para comparar cientificamente VLAs e modelos de mundo hoje… Acho que a resposta é que ainda não chegamos lá, e realmente deveríamos chegar.”
— Daniel, Prometheus, ex-1X e Waymo. Assistir em 54:35 →
📖 Leitura relacionada: Descoberta de Dados · Melhores Provedores de Dados de Treinamento de IA · Dados de Treinamento para LLM
O que isso significa para sua estratégia de dados em robótica
O painel convergiu para uma conclusão clara:
Dados em escala web dão aos robôs uma ampla compreensão do mundo. Dados no robô ensinam como agir nele. Quanto melhor seu corpus de pré-treinamento, menos dados caros de robô você precisa para alcançar execução confiável.
Agir com base nisso requer três capacidades que a maioria das equipes subestima:
🌐 Extração em escala web
Coleta de vídeo, imagem e áudio em escala de petabytes da web aberta, não apenas conjuntos de dados acadêmicos congelados com taxonomias desatualizadas. Veja a infraestrutura de coleta de dados em escala web da Bright Data e as soluções de dados personalizadas.
🔍 Descoberta visual além da busca por palavras-chave
A diversidade de tarefas mais valiosa frequentemente aparece em cenas que nunca são descritas em um título, tag ou legenda. A busca por palavras-chave perde grande parte da cauda longa.
⚖️ Proveniência defensável
Modelos de texto treinam em trilhões de tokens. VLAs treinam em trilhões de frames. Cada frame pode carregar uma questão de licenciamento e proveniência, e a implantação de robôs no mundo real eleva as apostas. Saiba mais em nosso Centro de Confiança e em nossas diretrizes de coleta ética de dados.
Os modelos estão convergindo. O diferencial está se tornando o corpus: quão amplo ele é, quão relevante é, e se você consegue defender de onde veio.
Construindo um VLA ou modelo de mundo?
Fale com nossa equipe → sobre descoberta e obtenção de vídeos de treinamento em escala web.
Saiba mais sobre a Bright Data para IA, explore nossa oferta de dados em vídeo para VLAs, ou navegue pelos nossos conjuntos de dados prontos para robótica, visão computacional e treinamento multimodal.
