Teste de Modelos

O Teste de modelos pega uma resposta que o agente já deu e roda aquela mesma mensagem em outros modelos, lado a lado. Você vê o que cada candidato responderia e quais ferramentas ele chamaria — sem tocar na conversa real e sem executar nenhuma ação.

Ele responde a uma pergunta específica: este outro modelo daria conta desta mensagem? Não é uma medição estatística. É um caso concreto, escolhido por você, rodado uma vez.

Quem vê a opção

A opção aparece para quem pode editar agentes na organização. Ela também depende da mensagem: só existe em uma resposta do agente.

A opção não aparece:

• na sua própria mensagem, nem em qualquer mensagem de quem escreveu para o agente;
• em uma fala enviada por um atendente humano;
• em conversas de sala;
• no chat público e no widget, onde do outro lado está um visitante.

Abrir o teste

Na conversa, abra o menu de ações da resposta do agente e escolha Testar em outros modelos. Abre a janela Teste de modelos.

No topo dela fica a Resposta original: o modelo que respondeu, as ferramentas que ele chamou, o texto inteiro, os créditos que aquele turno custou e a data.

Se o prompt do agente tiver mudado depois daquela mensagem, um aviso avisa: O prompt deste agente mudou depois desta mensagem. A resposta original veio de outra versão. Vale ler antes de comparar — a resposta original nasceu de uma configuração que o teste já não reproduz.

Escolher os modelos

Marque até 3 modelos entre os disponíveis no plano da sua organização. Ao marcar o quarto, a tela avisa que é preciso desmarcar um antes.

A lista traz só modelos de texto. Modelo de geração de imagem não aparece, porque ele não produz o que o teste compara — nem resposta escrita, nem chamada de ferramenta.

Se a organização ainda não tem plano de modelos configurado, ou se não há nenhum outro modelo de texto além do que já respondeu, a janela diz isso no lugar da lista.

O que cada candidato recebe

Exatamente o mesmo contexto da mensagem original, remontado na hora do teste: o prompt do agente, o histórico da conversa até aquela mensagem, as ferramentas ligadas, o resumo da conversa, a memória e as bases de conhecimento vinculadas.

O histórico para na mensagem testada. O candidato não vê nada do que veio depois — nem a resposta que o agente original deu.

Custo

Cada modelo escolhido é uma chamada de verdade ao provedor, e é cobrada como um turno normal: um débito por modelo, sem franquia grátis. Antes de rodar, a janela mostra Estimativa: ≈ N créditos e o Saldo atual da organização.

Organização com chave própria (BYOK) paga o provedor direto, e a plataforma cobra 1 crédito fixo por modelo — a estimativa reflete isso.

Sem saldo suficiente, o teste não roda e a janela pede que você adicione créditos.

Ferramentas: nada é executado de verdade

Esta é a regra mais importante do recurso. Testar três modelos numa mensagem não pode disparar três e-mails, criar três eventos ou transferir a conversa três vezes. Então:

• Nenhuma ferramenta de escrita executa, e não há como ligar isso.
• Se o candidato chama a mesma ferramenta que a resposta original chamou, ele recebe de volta o resultado gravado naquele turno — o suficiente para ele seguir raciocinando.
• Se ele chama uma ferramenta que a original não usou, ou uma diferente, não existe resultado gravado para servir de resposta. O teste para ali e mostra qual ferramenta ele chamaria.

A única exceção é a ferramenta nativa Consultar Base de Conhecimento, que só lê. Ela roda de verdade, porque medir se o candidato busca na base quando deveria é metade do que o teste existe para responder.

Lendo o resultado

Cada modelo vira uma coluna, com uma etiqueta de estado:

Etiqueta	O que significa
Mesmas ferramentas	O candidato percorreu o mesmo caminho de ferramentas da resposta original.
Outras ferramentas	Ele chegou ao fim, mas com um conjunto de ferramentas diferente.
Parou antes do fim	Ele tentou chamar uma ferramenta sem resultado gravado, e o teste parou ali.
Erro	O modelo não respondeu.
Rodando	A coluna ainda está chegando.

Abaixo da etiqueta vem a resposta do candidato, as ferramentas que ele chamou, quantos créditos aquela coluna custou e quantos passos ela levou.

Uma coluna que parou antes do fim ainda é informação útil: ela mostra que o modelo escolheria outro caminho, e qual.

Para experimentar outros candidatos, use Escolher outros modelos no rodapé: a comparação sai da tela e a lista volta, com a resposta original e a estimativa ainda ali. As colunas que estavam na tela não voltam, e rodar de novo cobra de novo.

O que o teste não faz

• Não afeta a conversa real. Nada do que os candidatos respondem é gravado na conversa, e o cliente do outro lado não vê nada.
• Não fica salvo. O resultado vive na tela: enquanto você segue na mesma mensagem, fechar e reabrir mostra o que já chegou; sair dali o descarta. Não existe histórico de testes.
• Trocar de mensagem com um teste rodando cancela o teste, e a tela avisa quando isso acontece.

Veja também

• Testando um Agente — o painel de teste do editor, que conversa com o agente do zero.
• Modelos — quais modelos existem e como o plano da organização define o que aparece aqui.