IA Lab by amano
Neste termo

Ataque adversarial

Adversarial Attack · Ataque contra modelo de IA

Ataque adversarial é uma ação intencional que explora vulnerabilidades de um sistema de IA para alterar seu comportamento, obter informação ou degradar disponibilidade.

avaliação, observabilidade e qualidadenível intermediário a avançadoevolução rápida

O que é

Ataques podem ocorrer no treinamento, na entrada, nas ferramentas, na cadeia de suprimento ou nas saídas. Exemplos incluem poisoning, evasão e extração.

O significado depende do modelo de ameaça: conhecimento, acesso, objetivo e capacidade do atacante.

Como funciona

O atacante manipula dados ou interações para causar erro, induzir uma ação ou inferir informação. Defesas tentam detectar, limitar e recuperar.

Testes usam cenários autorizados, métricas e impacto definidos. Correções são reavaliadas porque podem falhar contra variações.

Um exemplo

Um agente conectado recebe instruções em um documento externo tentando fazê-lo ignorar regras e enviar dados; o sistema bloqueia a ação e registra o incidente.

Onde aparece na prática

  • Segurança: Modelar ameaças e testar controles de sistemas de IA.
  • Dados: Detectar envenenamento e fontes não confiáveis.
  • Agentes: Restringir ferramentas, privilégios e conteúdo indireto.

Conceitos que costumam ser confundidos

  • Ataque × falha: Ataque envolve intenção adversária; falha pode ocorrer sem agente malicioso.
  • Evasão × poisoning: Evasão manipula entradas em uso; poisoning contamina treinamento ou atualização.

Limitações e riscos

Defesas avaliadas contra um ataque específico podem não generalizar. Taxonomias evoluem com novos sistemas.

Testes sem autorização ou isolamento podem causar dano real, exposição ou violação contratual.

Perguntas frequentes

Prompt injection é ataque adversarial?

Pode ser tratado como ataque quando instruções maliciosas exploram o processamento de conteúdo e as permissões do sistema.

Robustez elimina ataques?

Não. Robustez precisa ser definida por ameaça e testada continuamente com defesa em profundidade.

Fontes principais

Revisado em 2026-10-18.