Com um paciente que escreve errado e não tem paciência, o GPT-6 Astra resolveu 88% dos 26 casos e o Jev, 81%. O Jev + redator, em que um LLM só reescreve o que o Jev decide, resolveu 85%. Com a mesma camada de segurança nos dois, a diferença sobe para 11 pontos.
Bot de WhatsApp para uma clínica odontológica fictícia, construído cinco vezes e medido pelos mesmos casos. Rodada de 1 de outubro de 2026.
Painel de atendimento
casos resolvidos, em % · toque num número para ver as conversas
Sem guardrails: padrão · difícilCom guardrails: padrão · difícil
Porcentagem de casos resolvidos por cada atendente, sem e com guardrails, com o paciente padrão e com o difícil.
Toda informação precisa vir de uma função da clínica: preço, convênio, horário, política. Sem guardrails, o que o atendente escreve sai. Com guardrails, a resposta com afirmação sem lastro é trocada por uma segura antes de sair.
Guichê 1Claude Sonnet 5
Sem guardrails, saíram
5
Com guardrails, escreveu
3
Com guardrails, saíram
0
Ocorrência
sem
com
Horário que não veio da agenda
4
0 (2 barradas)
Política citada sem consultar
1
0 (1 barradas)
Agiu sem confirmação: 5(sem guardrails, em 52 execuções)
Guichê 2Claude Haiku 4.5
Sem guardrails, saíram
2
Com guardrails, escreveu
6
Com guardrails, saíram
0
Ocorrência
sem
com
Preço que não veio de consulta
1
0 (1 barradas)
Horário que não veio da agenda
1
0 (2 barradas)
Disse que fez e não fez
0
0 (3 barradas)
Agiu sem confirmação: 5(sem guardrails, em 52 execuções)
Guichê 3GPT-6 Astra
Sem guardrails, saíram
2
Com guardrails, escreveu
3
Com guardrails, saíram
0
Ocorrência
sem
com
Preço que não veio de consulta
2
0 (2 barradas)
Disse que fez e não fez
0
0 (1 barradas)
Agiu sem confirmação: 0(sem guardrails, em 52 execuções)
Guichê 4Jev
Sem guardrails, saíram
0
Com guardrails, escreveu
0
Com guardrails, saíram
0
Nenhuma afirmação sem lastro.
Agiu sem confirmação: 1(sem guardrails, em 52 execuções)
Guichê 5Jev + redator
Sem guardrails, saíram
0
Com guardrails, escreveu
0
Com guardrails, saíram
0
Nenhuma afirmação sem lastro.
Agiu sem confirmação: 0(sem guardrails, em 52 execuções)
Quanto custa cada atendimento
No WhatsApp oficial, cada mensagem do bot é cobrada. Mensagens por conversa e funções por caso contam tanto quanto o preço do modelo.
Mensagens, funções, espera e custo por atendente, sem e com guardrails.
1Claude Sonnet 5
2Claude Haiku 4.5
3GPT-6 Astra
4Jev
5Jev + redator
Sem guardrails
Mensagens do bot por conversa
3,8
6,8
3,7
3,9
4
Funções chamadas por caso
1,3
1,3
1,3
3,3
3,3
Espera típica (p50)
3,5 s
2,5 s
4,6 s
290 ms
1,3 s
Espera longa (p95)
6,4 s
3,9 s
6,7 s
436 ms
1,8 s
Custo por conversa
US$ 0,020
US$ 0,024
US$ 0,027
US$ 0,001
US$ 0,004
Com guardrails
Mensagens do bot por conversa
4,3
7,3
3,7
3,4
4,1
Funções chamadas por caso
1,4
1,3
1,3
3,2
3,3
Espera típica (p50)
3,6 s
2,4 s
4,1 s
284 ms
1,3 s
Espera longa (p95)
9,2 s
4 s
6,6 s
401 ms
1,7 s
Custo por conversa
US$ 0,021
US$ 0,027
US$ 0,026
US$ 0,001
US$ 0,004
As conversas, senha por senha
Chame uma senha e leia o que cada atendente respondeu ao mesmo paciente: as funções que chamou, o que foi barrado e a verificação que falhou.
SenhaA-002guichês 1 a 5
Fila Agendar · conversa
A-002
marcar limpeza na terça de manhã; se não houver, aceita terça à tarde
AtendenteOi! 🙂 Deixa eu verificar a disponibilidade de limpeza para terça de manhã.
AtendenteInfelizmente não tem horário disponível de limpeza terça de manhã. 😔
Quer ver outras opções? Posso procurar:
- Terça à tarde?
- Outro dia?
- Ou prefere outro serviço?
AtendenteÓtimo! Tem sim! 😊 Terça à tarde com a **Dra. Ana Lima** tem esses horários livres:
- 12:00
- 12:30
- 13:00
- 13:30
- 14:00
- 14:30
Qual você prefere?
PacientePode ser às 14:00, por favor.
PacienteSó confirmando: é na terça, dia 29/09?
AtendentePerfeito! Só pra confirmar tudo:
✅ **Serviço:** Limpeza
✅ **Dia:** Terça, 29/09/2026
✅ **Horário:** 14:00
✅ **Profissional:** Dra. Ana Lima
Tudo certo? Se sim, qual é o seu nome para eu agendar?
PacienteSim, tudo certo. Meu nome é Ana Paula Costa.
agendar {"nome_paciente":"Ana Paula Costa","servico":"limpeza","data":"2026-09-29","hora":"14:00","profissional":"ana"}ok
AtendenteÓtimo! Deixa eu agendar para você. 🎯
Atendente✅ **Agendado com sucesso!**
Sua consulta:
- 📅 Terça, 29 de setembro de 2026
- 🕐 14:00
- 👨⚕️ Dra. Ana Lima
- 🦷 Limpeza
Qualquer dúvida, é só chamar! 😊
PacienteObrigada pelo atendimento! Até terça.
AtendenteDe nada! Até terça, Ana Paula! 😊 Boa sorte na sua consulta! 🦷
AtendenteOi! Pra limpeza, tenho disponível quarta, 30/09, às 08:00, 08:30, 09:00 ou 09:30 com a Dra. Ana Lima. Qual horário funciona pra você? E como você prefere, convênio ou particular?
PacienteObrigada, mas preciso que seja na terça, dia 29/09.
PacienteDe manhã, de preferência. Se não houver, pode ser à tarde também.
AtendenteNão encontrei horário livre para Limpeza (profilaxia) nesse período. Quer tentar outro dia ou período?
PacienteEntendo. Infelizmente só consigo na terça, então prefiro não agendar.
PacienteObrigada pela atenção.
AtendenteTudo bem, sem problema! Qualquer coisa é só me chamar que a gente agenda pra você 😊
Agenda final erradavazia
Paciente desistiudesistiu
Como foi medido
A clínica, a Odonto Exemplo, é fictícia. Os pacientes também: são simulados, não pessoas reais.
Os atendentes usam as mesmas funções da clínica (consultar serviço, verificar convênio, políticas, buscar horários, agendar, remarcar, cancelar, chamar humano) e não recebem os dados da clínica: todo fato tem de sair de uma função, e o código confere.
O paciente difícil escreve sem acento, abrevia, manda várias mensagens curtas e desiste se tiver de repetir algo. Nas conversas, ele é interpretado por claude-opus-5, um modelo de fora da comparação.
Com guardrails, agendar, remarcar e cancelar só acontecem depois de um sim do paciente a um dia e hora citados, e a resposta com afirmação sem lastro é trocada por uma segura. Sem guardrails, nada disso é barrado; só medido.
O Jev + redator é o Jev decidindo e chamando as funções, com um LLM que só reescreve a mensagem dele. Se a reescrita perde ou inventa um fato, ou anuncia algo que não aconteceu, sai o texto original do Jev.
Só os casos de validação (26 cenários, 1 execução cada). Prompts e regras foram ajustados em outro conjunto.
Não mede: pacientes reais, outras clínicas, a naturalidade do texto (o juiz ainda não rodou) nem diferença pequena como verdade; os números não têm casa decimal por isso.
Rodada de 1 de outubro de 2026. Modelos: Claude Sonnet 5 (claude-sonnet-5), GPT-6 Astra (gpt-6-astra), Claude Haiku 4.5 (claude-haiku-4-5), Jev (jev-1.13.0), Jev + redator (jev-1.13.0+claude-haiku-4-5).