Multimodalidade

O que é multimodalidade em Inteligência Artificial?

Multimodalidade é a capacidade de um modelo ou sistema de Inteligência Artificial de processar e relacionar informações provenientes de mais de uma modalidade. Modalidade é o tipo de informação ou canal pelo qual um dado chega ao sistema, como texto, imagem, áudio, vídeo, código ou sinais de sensores.

O NIST define modelos multimodais como modelos que processam e relacionam informações de múltiplas modalidades associadas a canais humanos de comunicação e percepção, como visão e tato. Na prática contemporânea, a expressão é usada principalmente para sistemas capazes de combinar texto, imagem, áudio e vídeo.

Um modelo exclusivamente textual recebe e produz linguagem. Um sistema multimodal pode receber uma fotografia, uma pergunta escrita e um arquivo de áudio, relacionar essas entradas e produzir uma resposta em texto ou outra modalidade.

A característica central não é simplesmente aceitar arquivos diferentes. É conseguir usar informações de modalidades distintas de maneira integrada para realizar uma tarefa.

O que é uma modalidade?

Em IA, modalidade é uma categoria de informação. Texto é uma modalidade. Imagem é outra. Áudio, vídeo, código e determinadas leituras de sensores podem ser tratados como modalidades diferentes dependendo da arquitetura.

Essas informações possuem estruturas muito distintas. Texto é uma sequência simbólica. Imagens são grades de pixels. Áudio envolve sinais ao longo do tempo. Vídeo combina informação visual, temporal e frequentemente sonora.

Para que um modelo trabalhe com essas fontes, os dados precisam ser transformados em representações computacionais compatíveis com o processamento da arquitetura.

A multimodalidade aparece quando o sistema consegue relacionar essas representações em uma mesma tarefa.

Entrada multimodal e saída multimodal

É útil separar duas ideias. Entrada multimodal significa que o sistema consegue receber mais de um tipo de informação. Um usuário pode enviar texto e imagem, por exemplo.

Saída multimodal significa que o sistema consegue produzir diferentes formatos, como texto, imagem, áudio ou vídeo. As duas capacidades não precisam existir juntas.

Um modelo pode aceitar texto e imagem, mas responder apenas em texto. Outro pode receber texto e gerar imagem. Um sistema maior pode coordenar vários modelos e permitir entrada e saída em diversas modalidades.

Por isso, dizer apenas que uma ferramenta é multimodal não revela exatamente o que ela consegue receber, compreender ou gerar. É preciso verificar as modalidades suportadas em cada direção.

Como um modelo multimodal funciona?

Diferentes arquiteturas resolvem multimodalidade de maneiras diferentes. Em termos gerais, cada modalidade precisa ser convertida em uma representação que a rede consiga processar.

Texto pode ser transformado em tokens e embeddings. Imagens podem ser divididas em regiões ou patches e convertidas em representações visuais. Áudio pode ser representado a partir de características do sinal ou unidades aprendidas.

Depois, a arquitetura cria mecanismos para relacionar essas representações. Em modelos baseados em Transformers, mecanismos de atenção podem permitir que elementos de uma modalidade influenciem a interpretação de outra.

Alguns modelos são treinados desde o início com múltiplas modalidades. Outros sistemas unem modelos especializados, como um modelo visual, um de linguagem e outro de áudio, por meio de uma camada de orquestração.

Um exemplo simples

Imagine um designer mostrando a fotografia de uma sala e perguntando: 'quais elementos desta imagem fazem o espaço parecer visualmente mais pesado e o que eu poderia alterar sem mudar o piso?'

Um modelo apenas textual precisaria de uma descrição humana da fotografia antes de conseguir participar da tarefa. Um modelo com visão pode analisar a imagem diretamente e relacionar os elementos visuais com a pergunta.

Se o usuário acrescenta uma planta, um memorial e um áudio explicando a intenção do cliente, a tarefa se torna ainda mais multimodal. O sistema precisa relacionar aquilo que vê com aquilo que lê e ouve.

A vantagem está na redução da quantidade de informação que precisa ser traduzida manualmente para texto antes de a IA conseguir ajudar.

Multimodalidade e IA Generativa

Multimodalidade e IA Generativa são conceitos relacionados, mas diferentes. IA Generativa descreve sistemas capazes de produzir novos conteúdos. Multimodalidade descreve a capacidade de trabalhar com diferentes tipos de informação.

Um modelo pode ser generativo e exclusivamente textual. Também pode ser multimodal e atuar principalmente em análise. Muitos sistemas atuais são simultaneamente generativos e multimodais.

Google Cloud descreve modelos multimodais como capazes de processar modalidades como imagens, vídeos e texto e destaca que uma entrada de determinada modalidade pode levar a uma saída de outro tipo.

Essa combinação amplia muito a interface da IA. A pessoa não precisa limitar sua solicitação àquilo que consegue digitar.

Arquitetura, interiores e design

Arquitetura e design são áreas naturalmente multimodais. Um projeto combina plantas, cortes, imagens, croquis, fotografias, especificações, tabelas, memoriais e conversas. Sistemas capazes de trabalhar com mais de um desses formatos podem reduzir a fragmentação entre as informações.

Um profissional pode pedir uma leitura de uma fotografia associada a um briefing, comparar referências visuais com critérios textuais ou analisar a coerência entre uma apresentação e as exigências do cliente.

Também existem aplicações na organização de acervos, identificação de elementos em imagens, extração de informação de documentos e geração de referências.

A limitação continua importante: interpretação visual de um modelo não substitui verificação técnica de medidas, normas ou condições construtivas quando precisão é necessária.

Varejo, gastronomia e hospitality

No varejo, multimodalidade permite combinar descrição textual, fotografia de produto, imagem de ambiente e histórico de interação. Uma pessoa pode fotografar uma luminária e pedir alternativas semelhantes disponíveis no catálogo.

Em lojas físicas, visão computacional pode analisar imagens enquanto modelos de linguagem explicam resultados ou integram informações do estoque. Atendimento por voz acrescenta outra modalidade ao mesmo sistema.

Na gastronomia, imagens de pratos, avaliações escritas e dados operacionais podem participar de experiências diferentes. Em hospitality, um hóspede pode mostrar uma fotografia, falar uma solicitação e receber orientação em outro idioma.

O valor surge da combinação de canais que já fazem parte da experiência humana, não apenas da geração de conteúdo.

Saúde, educação e cultura

Em saúde, aplicações podem combinar texto clínico, imagens, sinais ou outros dados. O fato de um modelo aceitar múltiplas modalidades, porém, não torna automaticamente seu uso clínico apropriado. Validação, governança e contexto regulatório continuam essenciais.

Na educação, modelos podem explicar diagramas, interpretar imagens, ouvir uma pergunta falada e adaptar a resposta. Isso abre possibilidades importantes de acessibilidade e personalização.

Museus e instituições culturais podem criar experiências em que visitantes apontam a câmera para uma obra, fazem uma pergunta por voz e recebem contexto histórico em texto ou áudio.

A multimodalidade aproxima sistemas digitais de situações em que conhecimento está distribuído entre diferentes meios.

Multimodalidade e agentes

Agentes de IA também se beneficiam de modelos multimodais porque o ambiente de trabalho raramente é exclusivamente textual. Interfaces gráficas, documentos escaneados, telas, diagramas, áudio e vídeo podem conter informações necessárias para a execução de uma tarefa.

Um agente com capacidade visual pode interpretar uma interface antes de usar computer use. Um agente de campo pode receber uma fotografia e consultar uma base técnica. Um assistente de reunião pode combinar áudio, documentos e histórico.

A multimodalidade amplia aquilo que um agente consegue observar. Ferramentas ampliam aquilo que ele consegue fazer.

Essas duas capacidades são complementares, mas não equivalentes.

Modelo multimodal ou combinação de modelos?

Uma experiência multimodal não precisa ser sustentada por um único modelo. Um produto pode usar reconhecimento de fala para converter áudio em texto, um modelo de linguagem para interpretar a solicitação e outro modelo para gerar imagem.

Em outros casos, um foundation model pode ter sido treinado para lidar nativamente com múltiplas modalidades em uma arquitetura integrada.

Para o usuário, as duas soluções podem parecer semelhantes. Para quem constrói o produto, a diferença afeta custo, latência, qualidade, capacidade de depuração e controle.

Por isso, é mais preciso falar em sistema multimodal quando não sabemos se existe um único modelo por trás da experiência.

Limitações e riscos

Combinar modalidades aumenta a superfície de erro. Um modelo pode reconhecer corretamente objetos em uma imagem e ainda relacioná-los de maneira errada à pergunta. Pode transcrever bem um áudio, mas perder uma informação visual relevante.

Vídeo representa um desafio particular porque exige compreender sequência temporal. Um modelo pode interpretar frames individuais e ainda errar a ordem ou causalidade dos acontecimentos.

Custos também podem aumentar. Imagens, áudio e vídeo precisam ser convertidos e processados, consumindo mais contexto e computação do que solicitações textuais simples.

Há ainda questões de privacidade. Fotografias, vozes, documentos e vídeos podem conter dados pessoais ou confidenciais que exigem controles adequados.

Multimodal não significa percepção humana

Expressões como 'ver', 'ouvir' ou 'entender uma imagem' são convenientes na linguagem cotidiana, mas podem sugerir capacidades humanas que o modelo não possui.

Sistemas multimodais trabalham com representações computacionais aprendidas. Eles podem realizar tarefas impressionantes e ainda falhar em relações espaciais simples, detalhes pequenos, ironia visual ou contexto cultural.

O fato de combinar modalidades também não garante que todas tenham o mesmo nível de desempenho. Um modelo pode ser excelente em texto e razoável em visão, ou o contrário.

Avaliação precisa ser feita por modalidade e pelo tipo de tarefa real.

O que muda na prática?

Multimodalidade reduz a necessidade de transformar o mundo em texto antes de interagir com uma IA. Pessoas podem mostrar, falar, anexar, desenhar e combinar essas formas de comunicação.

Isso cria interfaces mais naturais e amplia o universo de problemas acessíveis a modelos. Um sistema deixa de trabalhar apenas sobre aquilo que está escrito e passa a considerar também aquilo que aparece em uma imagem, acontece em um vídeo ou é dito em voz.

Para produtos e empresas, a oportunidade não está apenas em adicionar upload de imagem. Está em redesenhar fluxos considerando que diferentes fontes de informação podem participar da mesma decisão.