Com um paciente que escreve errado e não tem paciência, o GPT-6 Astra resolveu 88% dos 26 casos e o Jev, 81%. O Jev + redator, em que um LLM só reescreve o que o Jev decide, resolveu 85%. Com a mesma camada de segurança nos dois, a diferença sobe para 11 pontos.
Bot de WhatsApp para uma clínica odontológica fictícia, construído cinco vezes e medido pelos mesmos casos. Rodada de 1 de outubro de 2026.
Painel de atendimento
casos resolvidos, em % · toque num número para ver as conversas
Sem guardrails: padrão · difícilCom guardrails: padrão · difícil
Porcentagem de casos resolvidos por cada atendente, sem e com guardrails, com o paciente padrão e com o difícil.
Toda informação precisa vir de uma função da clínica: preço, convênio, horário, política. Sem guardrails, o que o atendente escreve sai. Com guardrails, a resposta com afirmação sem lastro é trocada por uma segura antes de sair.
Guichê 1Claude Sonnet 5
Sem guardrails, saíram
5
Com guardrails, escreveu
3
Com guardrails, saíram
0
Ocorrência
sem
com
Horário que não veio da agenda
4
0 (2 barradas)
Política citada sem consultar
1
0 (1 barradas)
Agiu sem confirmação: 5(sem guardrails, em 52 execuções)
Guichê 2Claude Haiku 4.5
Sem guardrails, saíram
2
Com guardrails, escreveu
6
Com guardrails, saíram
0
Ocorrência
sem
com
Preço que não veio de consulta
1
0 (1 barradas)
Horário que não veio da agenda
1
0 (2 barradas)
Disse que fez e não fez
0
0 (3 barradas)
Agiu sem confirmação: 5(sem guardrails, em 52 execuções)
Guichê 3GPT-6 Astra
Sem guardrails, saíram
2
Com guardrails, escreveu
3
Com guardrails, saíram
0
Ocorrência
sem
com
Preço que não veio de consulta
2
0 (2 barradas)
Disse que fez e não fez
0
0 (1 barradas)
Agiu sem confirmação: 0(sem guardrails, em 52 execuções)
Guichê 4Jev
Sem guardrails, saíram
0
Com guardrails, escreveu
0
Com guardrails, saíram
0
Nenhuma afirmação sem lastro.
Agiu sem confirmação: 1(sem guardrails, em 52 execuções)
Guichê 5Jev + redator
Sem guardrails, saíram
0
Com guardrails, escreveu
0
Com guardrails, saíram
0
Nenhuma afirmação sem lastro.
Agiu sem confirmação: 0(sem guardrails, em 52 execuções)
Quanto custa cada atendimento
No WhatsApp oficial, cada mensagem do bot é cobrada. Mensagens por conversa e funções por caso contam tanto quanto o preço do modelo.
Mensagens, funções, espera e custo por atendente, sem e com guardrails.
1Claude Sonnet 5
2Claude Haiku 4.5
3GPT-6 Astra
4Jev
5Jev + redator
Sem guardrails
Mensagens do bot por conversa
3,8
6,8
3,7
3,9
4
Funções chamadas por caso
1,3
1,3
1,3
3,3
3,3
Espera típica (p50)
3,5 s
2,5 s
4,6 s
290 ms
1,3 s
Espera longa (p95)
6,4 s
3,9 s
6,7 s
436 ms
1,8 s
Custo por conversa
US$ 0,020
US$ 0,024
US$ 0,027
US$ 0,001
US$ 0,004
Com guardrails
Mensagens do bot por conversa
4,3
7,3
3,7
3,4
4,1
Funções chamadas por caso
1,4
1,3
1,3
3,2
3,3
Espera típica (p50)
3,6 s
2,4 s
4,1 s
284 ms
1,3 s
Espera longa (p95)
9,2 s
4 s
6,6 s
401 ms
1,7 s
Custo por conversa
US$ 0,021
US$ 0,027
US$ 0,026
US$ 0,001
US$ 0,004
As conversas, senha por senha
Chame uma senha e leia o que cada atendente respondeu ao mesmo paciente: as funções que chamou, o que foi barrado e a verificação que falhou.
SenhaC-001guichês 1 a 5
Fila Cancelar · conversa
C-001
cancelar só a manutenção do aparelho; a limpeza continua
Paciente padrão · Com guardrails
Guichê 1Claude Sonnet 5Resolveu
PacienteOlá, preciso cancelar a consulta do aparelho.
meus_agendamentosok
AtendenteAchei aqui: Manutenção de aparelho, dia 30/09 (quarta), às 15h com Dr. Bruno Costa.
Posso confirmar o cancelamento dessa consulta?
PacienteSim, pode cancelar essa.
cancelar {"agendamento":"ag-1"}ok
AtendentePronto, Lúcia! Sua consulta de manutenção de aparelho do dia 30/09 às 15h foi cancelada. Precisa de mais alguma coisa?
PacienteSó confirmando: a limpeza continua marcada, certo?
AtendenteIsso, continua marcada: Limpeza (profilaxia) dia 01/10 (quinta), às 09h com a Dra. Ana Lima. 😊
PacientePerfeito, muito obrigada! Até lá.
AtendentePor nada, Lúcia! Até lá 😊 Qualquer coisa é só chamar.
Guichê 2Claude Haiku 4.5Resolveu
PacienteOlá, preciso cancelar a consulta do aparelho.
meus_agendamentosok
AtendenteOi! 👋 Deixa eu ver seus agendamentos para eu cancelar a consulta do aparelho.
AtendenteAchei! Você tem uma consulta de **Manutenção de aparelho** agendada para **quarta-feira, 30/09 às 15h** com o Dr. Bruno Costa.
É essa que você quer cancelar? 😊
PacienteSim, é essa mesma.
cancelar {"agendamento":"ag-1"}ok
AtendenteOk! Vou cancelar a consulta de Manutenção de aparelho de quarta-feira (30/09) às 15h com o Dr. Bruno Costa. ✓
AtendentePronto! ✅ Sua consulta foi cancelada com sucesso. Se precisar de algo mais, é só chamar! 😊
PacienteObrigada! A consulta de limpeza continua marcada, certo?
AtendenteSim, sim! Sua consulta de **Limpeza (profilaxia)** continua marcada para **quinta-feira, 01/10 às 09h** com a Dra. Ana Lima. 😊
Qualquer coisa, é só chamar!
PacientePerfeito, obrigada pela atenção! Até quinta.
AtendenteDe nada! 😊 Até quinta-feira! Fica bem! 👋
Guichê 3GPT-6 AstraResolveu
PacienteOlá, preciso cancelar a consulta do aparelho.
meus_agendamentosok
AtendenteVocê confirma o cancelamento da manutenção de aparelho com o Dr. Bruno Costa, dia 30/09 às 15h?
PacienteSim, confirmo. Mas a limpeza eu quero manter, por favor.
cancelar {"agendamento":"ag-1"}ok
AtendenteA manutenção do aparelho de 30/09 às 15h foi cancelada. A limpeza de 01/10 às 9h está mantida!
PacientePerfeito, muito obrigada!
AtendentePor nada! 😊 Estamos à disposição.
Guichê 4JevResolveu
PacienteOlá, preciso cancelar a consulta do aparelho.
listar_servicosok
meus_agendamentosok
AtendenteConfirma o cancelamento de Manutenção de aparelho, quarta, 30/09, às 15:00?
PacienteSim, confirmo. Mas a limpeza eu gostaria de manter.
cancelar {"agendamento":"ag-1"}ok
AtendentePronto, cancelei Manutenção de aparelho de quarta, 30/09, às 15:00.
PacienteA limpeza segue mantida, então? Obrigada!
meus_agendamentosok
AtendentePosso ajudar a agendar, remarcar ou cancelar uma consulta, ou tirar dúvidas sobre a clínica.
PacienteSó confirmando: o agendamento da limpeza continua marcado, certo?
AtendenteAcho que não entendi direito. Posso ajudar a agendar, remarcar ou cancelar uma consulta, ou tirar dúvidas sobre a clínica.
PacienteEstá bem, obrigada pelo cancelamento. Tenha um bom dia!
AtendentePor nada! Se precisar de mais alguma coisa, é só chamar.
Guichê 5Jev + redatorResolveu
PacienteOlá, preciso cancelar a consulta do aparelho.
listar_servicosok
meus_agendamentosok
AtendenteTudo bem! É a manutenção de aparelho de quarta, 30/09, às 15:00 que você quer cancelar, é isso?
PacienteSim, é essa mesma. A limpeza eu quero manter.
cancelar {"agendamento":"ag-1"}ok
AtendenteCerto, cancelei a sua manutenção de aparelho de quarta, 30/09, às 15:00 😊
PacienteObrigada! E a limpeza continua agendada, certo?
meus_agendamentosok
AtendenteFico à disposição para agendar, remarcar ou cancelar uma consulta, ou se tiver qualquer dúvida sobre a gente!
PacienteSó para confirmar: a limpeza segue agendada normalmente?
AtendenteSuas consultas:
• Limpeza (profilaxia): quinta, 01/10, às 09:00
PacientePerfeito, obrigada pela atenção! Até quinta.
AtendenteFico por aqui! Qualquer coisa é só me chamar 😊
Como foi medido
A clínica, a Odonto Exemplo, é fictícia. Os pacientes também: são simulados, não pessoas reais.
Os atendentes usam as mesmas funções da clínica (consultar serviço, verificar convênio, políticas, buscar horários, agendar, remarcar, cancelar, chamar humano) e não recebem os dados da clínica: todo fato tem de sair de uma função, e o código confere.
O paciente difícil escreve sem acento, abrevia, manda várias mensagens curtas e desiste se tiver de repetir algo. Nas conversas, ele é interpretado por claude-opus-5, um modelo de fora da comparação.
Com guardrails, agendar, remarcar e cancelar só acontecem depois de um sim do paciente a um dia e hora citados, e a resposta com afirmação sem lastro é trocada por uma segura. Sem guardrails, nada disso é barrado; só medido.
O Jev + redator é o Jev decidindo e chamando as funções, com um LLM que só reescreve a mensagem dele. Se a reescrita perde ou inventa um fato, ou anuncia algo que não aconteceu, sai o texto original do Jev.
Só os casos de validação (26 cenários, 1 execução cada). Prompts e regras foram ajustados em outro conjunto.
Não mede: pacientes reais, outras clínicas, a naturalidade do texto (o juiz ainda não rodou) nem diferença pequena como verdade; os números não têm casa decimal por isso.
Rodada de 1 de outubro de 2026. Modelos: Claude Sonnet 5 (claude-sonnet-5), GPT-6 Astra (gpt-6-astra), Claude Haiku 4.5 (claude-haiku-4-5), Jev (jev-1.13.0), Jev + redator (jev-1.13.0+claude-haiku-4-5).