Aprendizado por Transferência

Resumo: O aprendizado por transferência pega um modelo treinado em uma tarefa e o adapta para uma nova. Ele reduz drasticamente os dados e o processamento necessários para treinar sistemas de IA eficazes.

Aprendizado por transferência é uma técnica em aprendizado de máquina. Um modelo treinado em uma grande tarefa de origem é reutilizado como ponto de partida para uma tarefa de destino diferente. O modelo transfere o conhecimento adquirido na primeira tarefa. Isso é especialmente útil quando dados rotulados para a tarefa de destino são escassos. Treinar um modelo do zero requer vastos dados e processamento. O aprendizado por transferência alcança resultados sólidos com muito menos exemplos.

Como Funciona o Aprendizado por Transferência

1. Pré-treino: Um modelo grande é treinado em um conjunto de dados amplo e geral. Para visão, geralmente é o ImageNet. Para linguagem, é um grande corpus de texto.
2. Transferência: Os pesos do modelo pré-treinado são copiados para um novo modelo.
3. Ajuste fino: O novo modelo é treinado adicionalmente em um conjunto de dados menor e específico para a tarefa. As camadas iniciais são frequentemente congeladas; as camadas posteriores são atualizadas.

Principais Abordagens

1. Extração de Características: O modelo pré-treinado é usado como extrator de características fixo. Apenas uma nova camada classificadora é treinada.
2. Ajuste Fino: Todo ou parte do modelo pré-treinado é retreinado no novo conjunto de dados com uma taxa de aprendizado baixa.
3. Adaptação de Domínio: O modelo se adapta de um domínio (ex.: fotos) para outro (ex.: exames médicos) com mínimos dados de destino rotulados.

Aplicações

1. Visão Computacional: Uma CNN pré-treinada no ImageNet é ajustada para imagens médicas, detecção de defeitos ou imagens de satélite. Veja: visão computacional.
2. PLN: Modelos como BERT e GPT são pré-treinados em textos da web e depois ajustados para análise de sentimentos, reconhecimento de entidades nomeadas ou resposta a perguntas.
3. Robótica: Habilidades de manipulação aprendidas em simulação são transferidas para robôs reais. Isso reduz a coleta custosa de dados de treinamento no mundo real.
4. Direção Autônoma: Modelos de percepção pré-treinados em grandes conjuntos de dados se adaptam a novos tipos de veículos ou ambientes com dados novos limitados.

Aprendizado por Transferência e Eficiência de Dados

O aprendizado por transferência é uma das técnicas mais práticas na IA moderna. Ele reduz os requisitos de dados rotulados de milhões de exemplos para milhares. A qualidade dos dados do domínio de origem ainda importa. Um modelo pré-treinado em dados limpos e diversificados transfere melhor. Os conjuntos de dados da Bright Data ajudam equipes a construir corpora de pré-treinamento de alta qualidade e conjuntos de dados de ajuste fino em diversos domínios.