- Sem guardrails, saíram
- 5
- Com guardrails, escreveu
- 3
- Com guardrails, saíram
- 0
| Ocorrência | sem | com |
|---|---|---|
| Horário que não veio da agenda | 4 | 0 (2 barradas) |
| Política citada sem consultar | 1 | 0 (1 barradas) |
Agiu sem confirmação: 5 (sem guardrails, em 52 execuções)
Bot de WhatsApp para uma clínica odontológica fictícia, construído cinco vezes e medido pelos mesmos casos. Rodada de 1 de outubro de 2026.
casos resolvidos, em % · toque num número para ver as conversas
Sem guardrails: padrão · difícilCom guardrails: padrão · difícil
| Guichê | Sem guardrails | Com guardrails | ||
|---|---|---|---|---|
| Padrão | Difícil | Padrão | Difícil | |
| 1Claude Sonnet 5claude-sonnet-5 | 73%19 de 2619/26 | 77%20 de 2620/26+4 com o difícil | 92%24 de 2624/26 | 85%22 de 2622/26−7 com o difícil |
| 2Claude Haiku 4.5claude-haiku-4-5 | 88%23 de 2623/26 | 73%19 de 2619/26−15 com o difícil | 88%23 de 2623/26 | 85%22 de 2622/26−3 com o difícil |
| 3GPT-6 Astragpt-6-astra | 88%23 de 2623/26 | 88%23 de 2623/26 | 88%23 de 2623/26 | 88%23 de 2623/26 |
| 4Jevjev-1.13.0 | 85%22 de 2622/26 | 81%21 de 2621/26−4 com o difícil | 85%22 de 2622/26 | 77%20 de 2620/26−8 com o difícil |
| 5Jev + redatorjev-1.13.0+claude-haiku-4-5 | 85%22 de 2622/26 | 85%22 de 2622/26 | 81%21 de 2621/26 | 81%21 de 2621/26 |
Cada fila é um tipo de caso. Os números são do paciente difícil, sem e com guardrails. Toque num número para ler as conversas daquela fila.
1 Claude Sonnet 52 Claude Haiku 4.53 GPT-6 Astra4 Jev5 Jev + redator
Toda informação precisa vir de uma função da clínica: preço, convênio, horário, política. Sem guardrails, o que o atendente escreve sai. Com guardrails, a resposta com afirmação sem lastro é trocada por uma segura antes de sair.
| Ocorrência | sem | com |
|---|---|---|
| Horário que não veio da agenda | 4 | 0 (2 barradas) |
| Política citada sem consultar | 1 | 0 (1 barradas) |
Agiu sem confirmação: 5 (sem guardrails, em 52 execuções)
| Ocorrência | sem | com |
|---|---|---|
| Preço que não veio de consulta | 1 | 0 (1 barradas) |
| Horário que não veio da agenda | 1 | 0 (2 barradas) |
| Disse que fez e não fez | 0 | 0 (3 barradas) |
Agiu sem confirmação: 5 (sem guardrails, em 52 execuções)
| Ocorrência | sem | com |
|---|---|---|
| Preço que não veio de consulta | 2 | 0 (2 barradas) |
| Disse que fez e não fez | 0 | 0 (1 barradas) |
Agiu sem confirmação: 0 (sem guardrails, em 52 execuções)
Nenhuma afirmação sem lastro.
Agiu sem confirmação: 1 (sem guardrails, em 52 execuções)
Nenhuma afirmação sem lastro.
Agiu sem confirmação: 0 (sem guardrails, em 52 execuções)
No WhatsApp oficial, cada mensagem do bot é cobrada. Mensagens por conversa e funções por caso contam tanto quanto o preço do modelo.
| 1 Claude Sonnet 5 | 2 Claude Haiku 4.5 | 3 GPT-6 Astra | 4 Jev | 5 Jev + redator | |
|---|---|---|---|---|---|
| Sem guardrails | |||||
| Mensagens do bot por conversa | 3,8 | 6,8 | 3,7 | 3,9 | 4 |
| Funções chamadas por caso | 1,3 | 1,3 | 1,3 | 3,3 | 3,3 |
| Espera típica (p50) | 3,5 s | 2,5 s | 4,6 s | 290 ms | 1,3 s |
| Espera longa (p95) | 6,4 s | 3,9 s | 6,7 s | 436 ms | 1,8 s |
| Custo por conversa | US$ 0,020 | US$ 0,024 | US$ 0,027 | US$ 0,001 | US$ 0,004 |
| Com guardrails | |||||
| Mensagens do bot por conversa | 4,3 | 7,3 | 3,7 | 3,4 | 4,1 |
| Funções chamadas por caso | 1,4 | 1,3 | 1,3 | 3,2 | 3,3 |
| Espera típica (p50) | 3,6 s | 2,4 s | 4,1 s | 284 ms | 1,3 s |
| Espera longa (p95) | 9,2 s | 4 s | 6,6 s | 401 ms | 1,7 s |
| Custo por conversa | US$ 0,021 | US$ 0,027 | US$ 0,026 | US$ 0,001 | US$ 0,004 |
Chame uma senha e leia o que cada atendente respondeu ao mesmo paciente: as funções que chamou, o que foi barrado e a verificação que falhou.
Fila Políticas · uma mensagem
P-001
O clareamento tem garantia? Se não ficar branco vocês devolvem o dinheiro?
Paciente padrão · Sem guardrails
consultar_politicasokconsultar_politicasokchamar_humano {"motivo":"nao_sei_responder","resumo":"Paciente pergunta se o clareamento tem garantia de resultado e se devolvem dinhe…okconsultar_politicasoklistar_servicosokmeus_agendamentosokconsultar_politicasoklistar_servicosokmeus_agendamentosokconsultar_politicasokclaude-opus-5, um modelo de fora da comparação.Rodada de 1 de outubro de 2026. Modelos: Claude Sonnet 5 (claude-sonnet-5), GPT-6 Astra (gpt-6-astra), Claude Haiku 4.5 (claude-haiku-4-5), Jev (jev-1.13.0), Jev + redator (jev-1.13.0+claude-haiku-4-5).