Todos os case studies

09Detalhamento · compliance

Conformidade que se destila sozinha

Quando o acervo de conhecimento muda, as regras que o agente tem que obedecer se refazem sozinhas, e são reauditadas antes de qualquer uma entrar no ar.

Em produçãoDavid RochaFaz parte do sistema ZapBeta
01

O problema

As regras que o agente tem que obedecer não ficam paradas. Elas vêm da base de conhecimento da própria loja, e a loja mexe nisso: uma clínica adiciona um procedimento, um distribuidor muda um prazo de pagamento, e de repente o agente está repetindo uma regra que não vale mais. Manter à mão uma lista separada do que ele deve cumprir é garantir que ela sai de sincronia na primeira semana corrida.

02

As restrições

  • 01As regras derivam da fonte, não ficam do lado dela. Se o compliance é uma cópia mantida na mão, ele mente no instante em que a base muda.
  • 02Re-derivar sozinho quando muda. Humano que precisa lembrar de atualizar a regra é humano que vai esquecer.
  • 03Auditar antes de ir ao ar. Regra autogerada que se publica sem ninguém conferir é como regra ruim chega no cliente.
  • 04Falhar pra trás, nas regras antigas. Se a destilação nova não passa na auditoria, a última versão boa continua valendo. Lacuna, nunca.
03

A arquitetura

  1. base de conhecimento muda

    a loja edita o acervo — um preço, uma política, um procedimento

  2. destila (after())

    as regras que o agente deve obedecer são re-derivadas da nova fonte

  3. auditoria

    o novo conjunto de regras é conferido antes de alguém falar com ele

  4. auto-publica se limpo

    passou → no ar; falhou → a última versão boa fica

O gatilho é a própria edição. A base muda, um job after() destila as regras novas em segundo plano, a auditoria confere, e auditoria limpa publica sozinha. Assim a regra que o agente obedece é sempre derivada da verdade de agora, e não de uma foto que alguém esqueceu de atualizar.

04

A parte difícil

O difícil é que "re-derivar sozinho" e "nunca deixar regra ruim chegar no cliente" puxam pra lados opostos. É a automação completa que mantém o compliance honesto, e é ela também que publicaria em produção uma destilação sutilmente errada sem ninguém olhar.

A saída foi fazer da auditoria um portão, e não um relatório. A destilação roda sozinha, mas não vai ao ar enquanto não passar; se reprova, o conjunto bom anterior continua valendo e a falha aparece pra mim em vez de embarcar. É justamente porque o portão pode barrar que eu posso deixar a automação agressiva desse jeito, re-derivando a cada mudança.

05

Trade-offs

  • Re-derivar a cada mudança custa processamento que a loja nunca vê. Sai mais barato do que a alternativa, que é o agente cotando com toda a confiança uma regra aposentada mês passado.
  • Auditoria automática consegue ser mais rígida do que um humano seria, e de vez em quando segura uma mudança que estava ok. Bloqueio falso é seguro; publicação falsa vai falar com um cliente.
  • Derivar a regra da base acopla as duas coisas, e aí não dá pra pensar em compliance sem pensar na fonte. Está certo assim: a fonte é o motivo de a regra existir.
06

O que eu faria diferente

Eu daria pra loja uma prévia do que mudou. Hoje o ciclo é invisível: ela edita a base e as regras se re-derivam caladas. Um diff dizendo "esta edição mexeu nestas três regras que o agente vai seguir agora" deixaria um processo confiável também legível, e pegaria o caso raro em que uma edição bem-intencionada tem uma consequência de compliance que o autor não queria.

Vamos conversar

Estou aberto a trabalhos remotos construindo com LLMs: agentes, avaliação, ferramental e o produto inteiro em volta disso. Ficarei feliz em mostrar muito mais numa call. Pode chamar.

Disponível para posições remotas, trabalhando do Brasil.Fuso: UTC−3 (Brazil)