Como automatizar a extração de dados de documentos com AI

A extração de documentos fiável constrói-se em duas camadas que a maioria funde numa só. Um modelo lê o documento e tira os campos; uma…

Tabela de Conteúdos

A extração de documentos fiável constrói-se em duas camadas que a maioria funde numa só. Um modelo lê o documento e tira os campos; uma camada separada de regras determinísticas verifica esses campos antes de alguém confiar neles. O modelo trata da leitura desorganizada; a aritmética e a verificação de formato apanham os erros. Manter as duas separadas é o que transforma uma demonstração engraçada num sistema que a contabilidade usa de facto. Aqui fica como construir extração que aguenta os documentos reais e desorganizados, os que uma demonstração nunca mostra.

Extração de dados de documentos em duas camadas: o modelo extrai, as regras determinísticas validam

O problema não é a digitação, são os erros silenciosos

A automação de documentos costuma justificar-se pelo tempo poupado a reescrever faturas e contratos noutro sistema. A digitação é o custo visível. O custo caro é o que corre mal por baixo: um NIF com dois dígitos trocados que a contabilidade rejeita semanas depois, uma fatura de fornecedor que entra duas vezes e é paga duas vezes, um contrato que se renova sozinho porque ninguém reparou que o prazo de denúncia acabou. Nenhum destes é descuido. São o resultado previsível de um processo onde a única defesa contra o engano é a atenção de uma pessoa sobre trabalho repetitivo.

Isso reenquadra o objetivo. A extração serve para remover os erros silenciosos que um humano cansado deixa passar, com a velocidade como subproduto. Um sistema que digita depressa mas repete esses erros automatizou a coisa errada.

Duas camadas: extração e validação

A decisão de desenho central é separar o que o modelo faz do que as regras fazem. Fundir as duas num só passo de “a AI lê a fatura e lança-a” dá um sistema em que ninguém confia, porque quando se engana não há forma de saber. Separá-las dá um sistema que está certo, ou que diz com clareza que não tem a certeza.

Extração, feita pelo modelo

O modelo lê o documento e identifica cada campo: fornecedor, NIF, data, linhas, base, IVA, total, e nos contratos as partes, as datas e as condições. E, ponto decisivo, atribui um nível de confiança a cada campo, alto quando o valor está impresso de forma inequívoca, mais baixo quando foi inferido de uma digitalização má. A confiança é o que permite ao sistema encaminhar campos incertos para um humano em vez de adivinhar.

Validação, feita por regras sem modelo nenhum

Os campos extraídos passam depois por verificações determinísticas que não usam AI nenhuma. É aritmética e verificação de formato: o dígito de controlo do NIF, a soma das linhas contra a base, a base mais o IVA contra o total, a taxa dentro das legais, o vencimento posterior à emissão, um ATCUD repetido de um documento já processado. Estas regras são certas. Não têm opiniões, ou passam ou falham, e é essa certeza que torna o resultado defensável.

Um documento que passe todas as regras com confiança alta em todos os campos é lançado sem uma pessoa lhe tocar. Tudo o que falha uma verificação, ou carrega um campo abaixo do limiar de confiança, sobe para uma fila de revisão com o motivo em anexo. Essa divisão é o sistema inteiro numa frase: o modelo lê, as regras decidem se se confia nele.

Ler primeiro os dados estruturados, modelar o resto

Sempre que um documento já traz dados estruturados e certificados, ler esses primeiro e usar o modelo só para o que é genuinamente ambíguo. Em Portugal, as faturas têm QR code obrigatório desde 2022, e esse código traz os campos essenciais já validados na origem: NIF do emitente e do adquirente, data, total, decomposição do IVA, ATCUD. Onde o QR está presente e legível, esses campos entram a 100% de confiança e saltam a revisão por completo. O modelo trata então apenas do que sobra, os descritivos das linhas, as condições de pagamento, a referência a processo, que é precisamente onde vive a ambiguidade.

Isto muda a economia do problema todo. A taxa de processamento automático acaba por depender sobretudo da qualidade dos fornecedores: quem envia documentos digitais limpos passa sozinho, quem envia fotografias de papel amarrotado enche a fila. Essa separação é informação útil por si só, e diz onde pressionar os fornecedores em vez de onde acrescentar pessoas.

A fila de revisão é onde a confiança se ganha ou se perde

A fila de exceções é a parte que decide se as pessoas continuam a usar o sistema ou o abandonam em silêncio. Duas escolhas de desenho fazem a diferença.

Primeiro, mostrar a origem. O ecrã divide o documento de um lado e os campos extraídos do outro, e clicar num campo destaca o sítio exato do documento de onde o valor foi lido. Esse pormenor decide se um revisor confirma em dois segundos ou se procura o número numa página inteira, vinte vezes por dia.

Segundo, explicar cada alerta em linguagem simples. “Erro de validação” deixa quem revê a adivinhar. O alerta deve dizer “as linhas somam 1.845,00 € mas o documento indica 1.854,00 €, uma diferença de 9,00 €, provável troca de dígitos”. O revisor lê o motivo e age, em vez de investigar o que o sistema quis dizer. E mantém três saídas claras: corrigir e aprovar, arquivar sem exportar quando é duplicado, ou apagar. O sistema nunca decide sozinho quando está em dúvida.

Os contratos são mais difíceis do que as faturas

As faturas têm campos previsíveis. Os contratos não: o que interessa depende do tipo e do que o negócio quer monitorizar, as partes, o objeto, as datas de início e termo, a renovação automática, o prazo de denúncia, o valor, o foro. O campo que mais valor gera é normalmente o prazo de denúncia, porque alimenta os alertas de renovação que impedem um contrato de se renovar sem ninguém reparar. É também o mais traiçoeiro, porque um contrato diz muitas vezes uma coisa numa cláusula e outra diferente noutra. O comportamento certo aí é assinalar a contradição em vez de escolher uma em silêncio. Um sistema que adivinha numa contradição é um sistema que mais tarde ou mais cedo renova algo caro por engano.

Medir a coisa certa

Uma métrica interessa: a percentagem de documentos processados sem intervenção humana. Tudo o resto é secundário. E uma métrica comum engana em silêncio, a precisão média da extração. Um sistema com 95% de precisão média pode ser inútil se os 5% de erro estiverem espalhados por documentos que parecem corretos, porque então não há fila de exceções, há erros silenciosos a entrar na contabilidade. O objetivo é o contrário: errar pouco, e quando se erra, saber, para o erro cair na revisão em vez do lançamento. Um sistema em que se confia é um que é honesto sobre o que não sabe.

Resolver primeiro as questões que não são técnicas

Quando um sistema trata os documentos de clientes de um escritório, as perguntas mais difíceis não são o modelo. Três coisas têm de ficar decididas antes do código, não depois: onde ficam alojados os dados e sob que condições de subcontratação, quem pode ver e aprovar o quê, e durante quanto tempo os originais são guardados e o que acontece quando esse prazo passa. Para trabalho confidencial ou regulado, isto significa alojamento na jurisdição certa, um contrato de subcontratação em condições, e um fornecedor de modelo com retenção zero, mais registo de acessos. Tratar isto como parte do build é o que separa um sistema que pode ir para produção de um protótipo que nunca sai da demonstração.

Este padrão de duas camadas, o modelo lê e as regras decidem, é o mesmo que está por trás de todos os sistemas que construímos. A abordagem mais ampla, e onde a extração de documentos encaixa entre outros sistemas operacionais, está em sistemas de AI que fazem o trabalho repetitivo do negócio.

Perguntas frequentes

Em que é que a extração com AI difere do OCR?

O OCR transforma uma imagem em texto. A extração com AI identifica qual é o texto que é o NIF, o total, o prazo de denúncia, e atribui um nível de confiança a cada um. A parte importante é a camada seguinte: regras determinísticas que verificam esses campos antes de alguém confiar neles.

Posso confiar na AI para lançar faturas na contabilidade automaticamente?

Só com uma camada de validação. O modelo lê, e regras separadas de aritmética e formato, o dígito de controlo, as somas a bater certo, a taxa a ser legal, decidem se o resultado é seguro para lançar. Os documentos que passam todas as regras com confiança alta são lançados automaticamente; o resto vai para revisão.

O que deve mostrar a fila de revisão?

O documento de origem ao lado dos campos extraídos, com um clique a destacar de onde veio cada valor, e cada alerta explicado em linguagem simples em vez de um erro genérico. O revisor deve conseguir confirmar ou corrigir em segundos.

Como se mede se a extração de documentos está a funcionar?

Pela percentagem de documentos processados sem intervenção humana, não pela precisão média. A precisão média esconde erros silenciosos; o objetivo é errar pouco e apanhá-lo quando acontece, para os erros caírem na fila de revisão em vez da contabilidade.

Afogado em faturas ou contratos?

A extração de documentos é muitas vezes o primeiro sistema mais claro a construir. Numa sessão de estratégia, vemos os documentos e o que se poderia automatizar em segurança.

Blog

Related articles