O aluno sempre é menor?
Geralmente esse é o objetivo, mas destilação também pode transferir comportamento entre arquiteturas de tamanho semelhante.
Imersão
ImersãoDois dias para transformar IA em criatividade aplicada. In CompanyO método do IA Lab dentro do seu escritório.Conteúdos abertos
Área do alunosó para alunos
Knowledge Distillation · Model Distillation
Destilação de modelo é o treinamento de um modelo aluno para reproduzir parte do comportamento de um modelo professor, geralmente maior.
O aluno aprende com rótulos e com saídas do professor, que podem conter relações entre classes ou tokens.
O objetivo costuma ser reduzir tamanho, custo ou latência, preservando desempenho em tarefas especificadas.
O professor produz logits, probabilidades ou respostas. Uma temperatura pode suavizar a distribuição e expor relações adicionais.
A função de perda combina imitação e verdade de referência. O aluno é avaliado separadamente, porque pode herdar erros e vieses.
Um modelo compacto aprende a classificar documentos a partir de um professor, mas passa por teste próprio de recall, robustez e comportamento fora do escopo.
O aluno pode herdar erros, vieses e vulnerabilidades sem reproduzir todas as capacidades do professor.
Avaliar apenas concordância com o professor transforma falhas compartilhadas em aparente sucesso.
Fine-tuning, Modelo de IA, Evals, Quantização, Robustez, Dados de treinamento
Geralmente esse é o objetivo, mas destilação também pode transferir comportamento entre arquiteturas de tamanho semelhante.
Não. O professor pode errar; o aluno precisa ser avaliado contra referências e riscos independentes.
Revisado em 2026-10-18.