IA Lab by amano
Neste termo

Throughput

Vazão · Taxa de processamento

Throughput é a quantidade de trabalho concluído por um sistema em uma unidade de tempo sob condições definidas.

avaliação, observabilidade e qualidadenível básico a intermediárioevolução lenta

O que é

Pode ser expresso em requisições, tokens, documentos ou tarefas por segundo. A unidade deve corresponder ao trabalho relevante.

O valor depende de concorrência, tamanho das entradas, recursos, limites externos e qualidade exigida.

Como funciona

Contadores registram conclusões e erros em janelas de tempo. Testes de carga aumentam demanda até observar saturação.

Filas, batching, paralelismo e escala alteram vazão, mas também podem mudar latência, custo e previsibilidade.

Um exemplo

Um pipeline processa 300 páginas por minuto em carga normal, mas filas crescem quando OCR e revisão são executados juntos.

Onde aparece na prática

  • Capacidade: Dimensionar recursos e filas.
  • Custo: Relacionar volume útil a consumo e preço.
  • SLA: Definir taxa sustentável com qualidade e erros aceitáveis.

Conceitos que costumam ser confundidos

  • Throughput × latência: Mais vazão pode coexistir com maior espera individual; são dimensões diferentes.
  • Pico × sustentável: Pico é momentâneo; throughput sustentável preserva estabilidade por uma janela relevante.

Limitações e riscos

Testes artificiais podem ignorar distribuição real de tamanhos, dependências e limites de provedor.

Maximizar vazão sem critérios pode aumentar falhas, fila, custo ou perda de qualidade.

Perguntas frequentes

Throughput alto significa resposta rápida?

Não. Um sistema pode concluir muito trabalho por segundo e ainda impor espera alta a cada solicitação.

Batching sempre melhora throughput?

Pode melhorar uso de hardware, mas aumenta espera e depende do modelo, tamanho e limite de memória.

Fontes principais

Revisado em 2026-10-18.