Modos de falha em interfaces de IA inseguras

Um usuário clica em Enviar depois que um assistente diz “Enviar fatura para Alice”, pois a interface faz com que esse resumo pareça corresponder à ação que será realizada.

A interface então executa uma solicitação cujo destinatário real é bob@vendor.com, e o usuário só descobre isso depois do ocorrido, quando a fatura chega à caixa de entrada errada.

Nada nessa falha exige que o modelo “invada” o produto.

A falha ocorre na fronteira da interface, onde o texto gerado se torna algo aprovado por um humano, e a interface permite que a descrição fluida do assistente substitua os parâmetros que serão efetivamente executados.

O próximo exemplo é uma interface de assistente simples que mostra a discrepância diretamente ao clicarmos no botão.

Este código torna o problema concreto ao separar o que a interface exibe do que a ação realmente enviaria; o clique revela o payload (dados) real que o produto transmitiria.

Os quatro estágios do frontend onde ocorrem falhas

A discrepância que acabamos de ver ocorre porque o fluxo de um assistente no frontend possui múltiplos estágios distintos, e cada estágio pode gerar um tipo diferente de percepção equivocada ou insegura.

Podemos identificar quatro estágios controlados pelo frontend e associar cada um deles ao mesmo cenário de “envio de fatura”, garantindo que correções futuras sejam aplicadas no ponto correto do fluxo.

• Geração: é o momento em que a saída do assistente chega como texto bruto; a falha possível é que o texto esteja incorreto, embora pareça completo.
• Renderização: é o momento em que o aplicativo transforma esse texto em DOM para leitura humana; a falha possível é que uma saída não confiável do modelo se transforme em marcação insegura ou em uma interface enganosa.
• Exibição (Disclosure): é a decisão da interface sobre qual autoridade a mensagem aparenta ter; a falha possível é que a interface faça uma suposição do modelo parecer uma declaração verificada do sistema.
• Confirmação e execução: é a etapa em que a aprovação humana se transforma em um efeito colateral, como o envio de um e-mail; a falha possível é uma divergência na aprovação, onde a interface confirma um resumo, mas executa a ação com parâmetros diferentes.

A vantagem de separar esses estágios é que cada um exige um controle de interface diferente, e um aviso exibido no estágio incorreto não evita o problema resultante.

O diagrama a seguir destaca as duas fronteiras mais importantes neste curso: onde o texto se transforma em DOM e onde a aprovação se transforma em uma solicitação.