IA Lab by amano
Neste termo

Latência

Latency · Tempo de resposta

Latência é o tempo transcorrido entre o início de uma operação e a resposta ou conclusão observada em um ponto definido.

avaliação, observabilidade e qualidadenível básico a intermediárioevolução lenta

O que é

A medição precisa declarar início, fim e perspectiva. Latência de rede, modelo e experiência total são valores diferentes.

Distribuições e percentis mostram caudas que a média esconde. P95 indica o valor abaixo do qual ficam 95% das observações.

Como funciona

Relógios e spans medem durações por etapa. Métricas agregam valores por rota, versão, região e resultado.

Orçamentos de latência distribuem o tempo aceitável entre fila, rede, recuperação, modelo, ferramentas e renderização.

Um exemplo

Um assistente responde em dois segundos na mediana, mas ultrapassa dez segundos no P95; o trace mostra saturação na recuperação documental.

Onde aparece na prática

  • Experiência: Definir metas de resposta percebida.
  • Operação: Localizar gargalos e regressões.
  • Arquitetura: Decidir cache, streaming, modelo e paralelismo.

Conceitos que costumam ser confundidos

  • Latência × throughput: Latência mede tempo por operação; throughput mede volume concluído por unidade de tempo.
  • Média × percentil: Média resume valores; percentis expõem a distribuição e a cauda.

Limitações e riscos

Medições sem fronteira comum não são comparáveis. Clock, cache e aquecimento alteram resultados.

Otimizar tempo isoladamente pode reduzir qualidade, segurança ou custo de forma indesejada.

Perguntas frequentes

P95 é a pior latência?

Não. É o valor abaixo do qual estão 95% das medições; os 5% restantes podem ser maiores.

Streaming reduz latência?

Pode reduzir o tempo até o primeiro conteúdo, mas não necessariamente o tempo total de conclusão.

Fontes principais

Revisado em 2026-10-18.