Onde a AI falha, e como decidir o que a equipa deve rever

A AI é boa em umas tarefas e má noutras, e a linha não é óbvia. Como mapeá-la com casos reais e decidir onde a…

Tabela de Conteúdos

A AI é muito boa em algumas tarefas e má noutras, e a linha entre umas e outras não segue a dificuldade que a tarefa tem para uma pessoa. Um modelo pode resolver um problema de matemática de olimpíada e falhar a leitura de um relógio de ponteiros. Por isso, onde a AI falha não se decide pela intuição: mapeia-se com casos reais, escreve-se, e revê-se de tempos a tempos, porque a linha muda à medida que os modelos melhoram.

A fronteira irregular

O termo vem de um estudo com consultores da BCG, descrito por Ethan Mollick no livro Co-Intelligence. Nas tarefas dentro do que a AI faz bem, quem a usou fez mais, mais depressa e com mais qualidade. Numa tarefa que parecia semelhante mas estava fora, quem usou AI errou mais do que quem não usou.

O AI Index 2026, da Universidade de Stanford, dá exemplos recentes da mesma irregularidade. Um modelo ganhou ouro na Olimpíada Internacional de Matemática, e o melhor modelo lê um relógio de ponteiros certo em cerca de metade das vezes, contra 90% das pessoas. Num teste de alucinação com 26 modelos de topo, a percentagem de respostas inventadas vai de 22% a 94%.

Com os documentos de negócio passa-se o mesmo. Nos testes de finanças do mesmo relatório, os 15 melhores modelos ficam a 3 a 5 pontos uns dos outros, e nenhum passa dos 70% a extrair e calcular valores de certificados fiscais digitalizados.

Porque a fronteira é perigosa

O risco maior está na confiança das pessoas. Quando um sistema acerta quase sempre, quem revê deixa de verificar com atenção, e falha precisamente nos casos em que o sistema erra, a que Mollick chama adormecer ao volante.

Isto tem duas consequências práticas. A primeira é que “o sistema acerta 95% das vezes” diz pouco, se não se souber quais são os 5% e quanto custa cada um. A segunda é que pedir à equipa para “rever tudo com atenção” não funciona por muito tempo, e por isso a equipa precisa de saber onde olhar.

Como fazer o mapa

1. Testar com casos reais

Para cada tipo de tarefa do processo, junta-se uma amostra de casos reais com o resultado certo, incluindo os difíceis: documentos mal digitalizados, formatos raros, pedidos ambíguos. O sistema corre sobre a amostra, e mede-se onde acerta e onde falha. O período em modo sombra é a forma de fazer este teste com o volume real.

2. Escrever três zonas

O resultado é um mapa simples, por tipo de tarefa:

  • Revisão leve: tarefas onde o sistema acerta de forma consistente e um erro se apanha depois sem custo. Revê-se por amostragem.
  • Revisão por exceção: tarefas onde o sistema acerta na maioria dos casos, mas não em todos. O sistema dá um nível de confiança a cada resultado, e só os casos abaixo de um limite sobem para uma pessoa, com a razão explicada.
  • Feito por pessoas: tarefas fora da fronteira, ou onde um erro custa demasiado. O sistema pode preparar o caso, mas quem decide é uma pessoa.

3. Usar a confiança para escolher o que rever

O estudo de contabilidade citado no AI Index 2026 mostra o efeito deste desenho. Os contabilistas atenderam mais 55% de clientes por semana com AI, e os que mais ganharam foram os experientes, que usaram os níveis de confiança do sistema para decidir onde rever. O tempo de revisão foi para os casos que precisavam dele.

Nos sistemas que construímos, cada resultado sai com um nível de confiança, e o que fica abaixo do limite sobe para uma pessoa com o documento original ao lado e a razão em linguagem simples. O desenho completo da fila de exceções está em tarefas de regra e tarefas de critério.

4. Rever o mapa

A fronteira muda. O que hoje está fora pode estar dentro daqui a uns meses, com um modelo novo ou com regras melhores. E o contrário também acontece, quando chegam documentos de um formato novo ou muda uma regra fiscal. Por isso recomendamos rever o mapa pelo menos uma vez por trimestre nos processos com muito volume, com os erros registados desde a última revisão.

O custo da revisão também conta

Um sistema que acerta muito mas obriga a rever tudo pode não poupar nada. O ganho real é o tempo que o processo levava menos o tempo que agora se gasta a supervisionar e a corrigir. Por isso o tempo de revisão entra no preço e na conta do projeto desde o início, como explicamos em quanto custa um processo operado.

O mapa de revisão é uma das quatro peças que decidem se a equipa usa o sistema, descritas em porque é que a equipa não usa o sistema de AI.

Perguntas frequentes

O que é a fronteira irregular da AI?

É a ideia de que a AI é excelente em algumas tarefas e má noutras, e que a linha entre umas e outras não segue a dificuldade que a tarefa tem para uma pessoa. Dentro da fronteira, a AI melhora o trabalho. Fora dela, piora-o, porque as pessoas confiam na resposta.

Como sei em que tarefas posso confiar na AI?

Testando com casos reais do seu processo, incluindo os difíceis, e medindo onde o sistema acerta e onde falha por tipo de caso. O resultado escreve-se num mapa que separa o que tem revisão leve, o que tem revisão por exceção e o que fica com pessoas.

O que é um nível de confiança?

É um valor que o sistema atribui a cada resultado e que indica quão seguro está. Os resultados abaixo de um limite sobem para revisão humana, e os outros seguem sem intervenção.

Com que frequência se revê o mapa?

Pelo menos uma vez por trimestre nos processos com muito volume, e sempre que muda o modelo, o formato dos documentos ou uma regra do negócio.

Quer saber onde o seu processo está em relação à fronteira?

Marque uma conversa e testamos consigo uma amostra de casos reais antes de qualquer proposta.

Newsletter

Receba os nossos insights direto no seu email.

Casos, artigos, reports e a nossa opinião sobre o que se anda a passar no mercado.

Pronto. Está na lista.

Blog

Related articles