IA Lab by amano
Neste termo

Destilação de modelo

Knowledge Distillation · Model Distillation

Destilação de modelo é o treinamento de um modelo aluno para reproduzir parte do comportamento de um modelo professor, geralmente maior.

avaliação, observabilidade e qualidadenível intermediário a avançadoevolução rápida

O que é

O aluno aprende com rótulos e com saídas do professor, que podem conter relações entre classes ou tokens.

O objetivo costuma ser reduzir tamanho, custo ou latência, preservando desempenho em tarefas especificadas.

Como funciona

O professor produz logits, probabilidades ou respostas. Uma temperatura pode suavizar a distribuição e expor relações adicionais.

A função de perda combina imitação e verdade de referência. O aluno é avaliado separadamente, porque pode herdar erros e vieses.

Um exemplo

Um modelo compacto aprende a classificar documentos a partir de um professor, mas passa por teste próprio de recall, robustez e comportamento fora do escopo.

Onde aparece na prática

  • Implantação: Criar modelos menores para dispositivos e serviços.
  • Custo: Reduzir recursos de inferência em tarefas delimitadas.
  • Especialização: Transferir comportamento para um domínio com conjunto e critérios definidos.

Conceitos que costumam ser confundidos

  • Destilação × fine-tuning: Fine-tuning adapta um modelo com dados; destilação usa comportamento de um professor como sinal de treino.
  • Destilação × quantização: Destilação treina outro modelo; quantização altera representação numérica.

Limitações e riscos

O aluno pode herdar erros, vieses e vulnerabilidades sem reproduzir todas as capacidades do professor.

Avaliar apenas concordância com o professor transforma falhas compartilhadas em aparente sucesso.

Perguntas frequentes

O aluno sempre é menor?

Geralmente esse é o objetivo, mas destilação também pode transferir comportamento entre arquiteturas de tamanho semelhante.

Concordar com o professor prova qualidade?

Não. O professor pode errar; o aluno precisa ser avaliado contra referências e riscos independentes.

Fontes principais

Revisado em 2026-10-18.