O modo sombra é um período em que um sistema de AI corre em paralelo com a equipa, com os mesmos casos reais, sem decidir nada. É a forma mais segura de testar um sistema de AI: no fim, compara-se o que o sistema teria feito com o que as pessoas fizeram. Os erros aparecem quando ainda não custam nada, a equipa vê o sistema acertar nos seus próprios casos, e a decisão de mudar o processo passa a assentar em números.
Porque não ligar o sistema logo no primeiro dia
Um sistema de AI testado com casos escolhidos pode portar-se de outra forma com o trabalho real. Os formatos mudam de fornecedor para fornecedor, há documentos digitalizados com má qualidade, e aparecem casos raros que ninguém se lembrou de incluir nos testes.
Os próprios modelos têm limites conhecidos nesta área. No AI Index 2026, da Universidade de Stanford, nenhum dos 15 melhores modelos passa dos 70% a extrair e calcular valores a partir de certificados fiscais digitalizados. Isto não impede um bom sistema de documentos, mas obriga a desenhá-lo com revisão nos casos difíceis, e a descobrir quais são antes de mexer no processo.
Ligar o sistema no primeiro dia transforma cada um desses erros num problema para a equipa ou para o cliente. Em sombra, o mesmo erro é só uma linha numa tabela de comparação.
Como montar o período em sombra
O que entra
O sistema recebe os mesmos casos que a equipa, à medida que chegam: os emails, as faturas e os pedidos. A equipa trabalha exatamente como antes e não vê o resultado do sistema, para não ser influenciada. O sistema escreve o que teria feito num registo à parte, com o nível de confiança de cada resultado.
Quanto tempo dura
Algumas semanas, com volume suficiente para cobrir a variedade normal do processo. Com centenas de casos por semana, chega-se a conclusões em duas ou três semanas. Um processo com picos (o fecho do mês, a época do IRS, uma campanha) deve incluir pelo menos um pico.
O que se compara
Para cada caso, o resultado do sistema contra o resultado da equipa. Se os dois coincidem, o caso conta como acerto. Quando não coincidem, alguém que conhece o processo decide quem tinha razão, porque às vezes é o sistema que está certo e a pessoa que se enganou.
No fim, a comparação mostra por tipo de caso a percentagem de acertos e a percentagem de casos que o sistema teria mandado para revisão. Mostra também, e é o número que mais pesa, os erros que o sistema teria cometido com confiança alta.
Medir por grupos, além da média
Um sistema pode acertar 95% dos casos em média e falhar quase sempre num grupo pequeno, como as faturas de fornecedores novos ou os pedidos que chegam por telefone e são escritos à mão. A média esconde estes grupos, e são precisamente os que mais aborrecem a equipa.
Por isso os resultados do modo sombra dividem-se por tipo de documento, por cliente e por fornecedor. Quando um grupo falha muito, corrigem-se as regras para esse grupo, ou manda-se sempre para revisão, ou deixa-se fora do sistema. A escolha depende do volume do grupo e do custo de um erro, um raciocínio que desenvolvemos em onde a AI falha, e como decidir o que rever.
Quando o sistema passa a trabalhar a sério
A decisão escreve-se antes de começar o período em sombra, para não ser tomada por entusiasmo ou por cansaço. Normalmente tem três condições:
- A percentagem de acertos com confiança alta passa um valor acordado com o cliente.
- Não há erros com confiança alta nos tipos de caso onde um erro custa caro.
- O volume que sobe para revisão é compatível com o tempo que a equipa tem.
Cumpridas as três, o sistema começa a decidir nos casos de confiança alta, e os outros continuam com a equipa. Quando não se cumprem, ajusta-se e repete-se o período em sombra no grupo que falhou, sem atrasar os que já funcionam.
O efeito na equipa
O modo sombra também é uma forma de introduzir a mudança. A equipa não perde nada durante o período, vê o sistema acertar nos casos que trata todos os dias, e participa a decidir quem tinha razão nos casos em que os dois discordam. Quando o sistema passa a trabalhar, as pessoas já sabem onde ele é bom e onde tem de ser revisto.
Isto responde a uma das razões mais comuns para um sistema ficar por usar, a desconfiança no resultado. As outras estão em porque é que a equipa não usa o sistema de AI. Os números do período em sombra comparam-se com a linha de base medida antes de automatizar, e a forma de desenhar as regras que o sistema aplica está em como automatizar a extração de dados de documentos com AI.
Perguntas frequentes
O que é o modo sombra num sistema de AI?
É um período em que o sistema corre em paralelo com a equipa, com os mesmos casos reais, sem decidir nada. No fim compara-se o que o sistema teria feito com o que as pessoas fizeram.
Quanto tempo deve durar?
O suficiente para cobrir a variedade normal do processo. Com centenas de casos por semana, duas ou três semanas costumam chegar. Se o processo tem picos, o período deve incluir pelo menos um.
A equipa trabalha a dobrar durante o modo sombra?
Não. A equipa trabalha como antes, e é o sistema que corre em paralelo. O único trabalho extra é decidir quem tinha razão nos casos em que o sistema e a equipa discordam.
O que acontece se o sistema falhar num tipo de caso?
Corrigem-se as regras para esse grupo, ou esse grupo passa a ir sempre para revisão, ou fica fora do sistema. Os grupos que funcionam podem avançar sem esperar pelos outros.
Vai pôr um sistema de AI a trabalhar num processo crítico?
Teste-o primeiro em sombra. Marque uma conversa e desenhamos consigo o período, as comparações e as condições para avançar.
