A disfuncionalidade de modelos de inteligência artificial tem constituído pauta de todos os dias, com a irradiação da ferramenta em todos os domínios da vida. No caso em especial das estruturas associadas ao sistema de justiça, são frequentes as notícias sobre “alucinações” e outros episódios que refletem, pura e simplesmente, um defeito na entrega ofertada pelo modelo em uso.

Compreendendo as falhas mais comuns

Dois são os fenômenos denunciados com maior frequência, quando se pensa em falhas no uso de IA: a entrega equivocada e a “alucinação”. É importante compreender qual seja a raiz desses episódios, para buscar alternativas de solução.

Ponto de partida é a noção de que modelos de IA — e nisso se inclui a IA generativa — são, na sua essência, mecanismos que operam a partir de critérios estatísticos. Disso decorre que, quanto mais ampla e correta a base de dados (as informações sobre ocorrências), mais acurada será a entrega formulada a partir desses mesmos critérios estatísticos. Por isso se denuncia o risco relacionado à presença de vieses – que nada mais são do que disfuncionalidades da base de dados.

Vejamos agora os dois fenômenos: o erro e a alucinação.

Modelos de IA não compreendem o sentido das palavras. Palavras funcionam como tokens; indicadores de uma ocorrência que, segundo critérios estatísticos, sugere um outro marcador, que tende a ser a resposta a ser ofertada pelo mecanismo digital.

Um exemplo auxilia a compreensão. Pense no modelo de IA que completa a digitação de seu e-mail. Suponhamos que você esteja redigindo um e-mail no dia 22 de dezembro, e digite a palavra “Feliz”. O mecanismo digital em operação não tem a menor ideia do sentido da palavra “Feliz”, que funcionará como um token, um marcador que orienta a busca da expressão subsequente. Conhecedor da data em que a mensagem está sendo digitada, o modelo de IA sabe que, estatisticamente, no dia 22 de dezembro, a correlação mais comum com a palavra “Feliz” será “Natal” — e não Páscoa ou aniversário.

É esse descolamento entre marcador (palavra) e sentido (significado da palavra) que determina, em boa parcela, a erronia na entrega, por exemplo, de pesquisa de jurisprudência. Some-se a essa operação puramente estatística a circunstância de que no Direito frequentemente se utilizam diversas palavras para um mesmo significado – tudo em nome da estilística, que recomenda evitar a repetição.

Já no que toca à “alucinação”, o que se tem é o esforço do modelo de IA para cumprir a sua tarefa — proceder a uma entrega — com pouca informação em relação àquilo que foi requerido. Mais uma vez, se IA opera a partir de critérios estatísticos, ela tende a ser mais eficiente em relação a demandas cuja base de dados pretéritos é rica e refinada. Já no que toca a exercícios prospectivos, o modelo fará o máximo possível para proceder à entrega – e nisso se tem o risco de que ele empreenda a extrapolações que não sejam adequadas.

Esses são falhas de modelos de IA que frequentam as páginas, com notícias de jurisprudência inexistente, e outras entregas “criativas” de modelos de IA. A chave de solução é desenhar um prompt que configure as fontes deste tipo de informação — mas isso é tema para outra coluna. O que se quer cuidar aqui é do uso “envergonhado” de IA, que se relaciona a outro componente importante e negligenciado, a saber, aquele da institucionalização da ferramenta.

Uso ‘envergonhado’ de IA

O discurso corrente sublinha as virtudes de modelos de IA – em especial, rapidez e acurácia em tarefas que comportem maior grau de automação. Há ainda um certo glamour no uso da ferramenta que se apresenta como a última novidade tecnológica; um (suposto) sinal de uma organização alinhada com a inovação. Organizações são estimuladas ao uso de IA, sem que se tenha, todavia, uma opção formal pelo uso institucionalizado.

O que seria um uso institucionalizado? Aquele que decorra de uma escolha formal em relação não só à ferramenta a ser utilizada pela organização para cada atividade específica, mas também o que contenha um protocolo sobre o uso possível desta mesma aplicação — em que hipóteses é possível o uso; qual a documentação exigível do uso; qual o ônus argumentativo do agente humano em relação à entrega da IA trazida para a decisão específica etc.

Disso decorre que o uso de IA pelas organizações do sistema de justiça — e aqui incluo Judiciário, Ministério Público, advocacia de Estado, Defensoria — se dá hoje na sua maior porção, a partir do critério e escolha individual de cada um de seus agentes.

Efeito deletério inicial dessa ausência de opção institucional formal está em que o uso de modelos de IA por seus agentes não é informado, e tampouco documentado em seus termos e extensão. Esse é o fenômeno que estou indicando como o uso “envergonhado” da IA — aquele em que o agente público e vale, em maior ou menor extensão de modelos digitais, e não informa quanto a isso.

Desse uso “envergonhado” decorrem os episódios mais anedóticos, em que agentes públicos deixam passar indicadores de que houve o uso de modelos, como remanescentes de prompts ou ainda da resposta ofertada pela IA. Decerto, incidentes como esse indicam, quando menos, a ausência de revisão do texto, o que pode sugerir uma adesão acrítica à entrega da IA — esse, sim, um problema.

É preciso, todavia, reconhecer que o silêncio institucional em relação a protocolos de uso deixa o agente público que deseje consignar o apoio da ferramenta digital sem elementos para informar em que termos este uso é possível — e por isso, o silêncio em relação ao uso.

O resultado é que o apoio de IA no desenvolvimento de tarefas de toda ordem é uma realidade nas organizações — mas não conta com qualquer estrutura mínima de monitoramento, do que decorre efeitos deletérios importantes.

Riscos associados ao uso ‘envergonhado’ de IA

Primeiro risco a merecer atenção, diretamente relacionado ao uso “envergonhado” de IA, é o não enfrentamento do tema de preservação de dados sensíveis — não só na perspectiva específica da LGPD, mas também relacionados a ações da administração pública que demandem sigilo (v.g., na área de segurança pública). A ausência de protocolos de uso de modelos de IA oportuniza um vazio informacional quanto à prática institucional adequada, que não previne a disseminação de informações que, a rigor, não deveriam ser disponibilizadas em modelos abertos, em que tudo que é ofertado à ferramenta digital é utilizado por ela para fins de aprendizado.

Segundo risco decorrente do uso tímido da IA está na variedade dos modelos secretamente aplicados por diversos agentes — multiplicidade esta que pode determinar entregas distintas. Afinal, modelos de IA são desenvolvidos segundo critérios distintos, e a partir de bases de dados específicas, donde é possível, se não previsível, algumas variações. Isso pode parecer menos relevante quando se cuida de mecanismos de IA generativa, mas ferramentas de cariz analítico serão mais sensíveis a essas variações.

Terceiro elemento deletério do uso envergonhado da IA está na perda do potencial de aprendizado institucional que se teria com o uso estruturado e institucionalizado de modelos. Como se sabe — e o uso pessoal de IA demonstra isso —, a continuidade da utilização da ferramenta enriquece o universo de informações para que ela mimetize estilo de linguagem ou valorize aspectos específicos de documentos. Quanto mais se usa uma ferramenta específica de IA, mais ela aprende sobre aquilo que o agente humano que a utiliza deseja. E esse benefício se perde quando a organização não tem um uso parametrizado de IA.

Esse ponto específico tem por trás, uma percepção equivocada de que nas instituições integrantes do que aqui se denomina sistema de justiça, não seja de se buscar um certo padrão de alinhamento institucional. O discurso é da autonomia dos integrantes — e não do reconhecimento deste mesmo atributo em favor da instituição. Evidente o prejuízo ao fiel cumprimento da função institucional quando os esforços de atuação fiquem limitados a um determinado agente público.

Considerados os diferentes graus de adesão e familiaridade de integrantes das chamadas instituições jurídicas com o universo do digital — e em especial, com ferramentas de IA —, essa diversidade no padrão de atuação de cada qual de seus integrantes tende a se aprofundar, o que não parece uma trilha institucional adequada.

Importância da institucionalização no uso de IA

Esse tópico já foi objeto de texto anterior publicado nesta mesma coluna — “Institucionalização: imperativo para o uso de IA na administração pública”. Sensibilizar, todavia, as organizações para uma iniciativa como esta tem sido empreitada árdua.

A limitada familiaridade de muitos com as ferramentas de IA é uma das causas potenciais para essa reticência na formalização de uma opção institucional pela ferramenta, e por padrões de uso de modelos digitais. A par disso, há no pano de fundo uma ideia de que qualquer opção institucional precise ser inteiramente acertada, definitiva! E com isso, na dúvida, segue o vazio decisório e o uso envergonhado do ferramental.

Há casos mesmo em que a organização afirma ser vedado o uso — com todos fingindo acatar a proibição, valendo-se da ferramenta no ambiente doméstico, ou na sombra da não-institucionalidade. Este é o pior dos mundos: eu finjo que proíbo, você finge que obedece, e todos fingimos que não há uso de IA na organização, dispensando-nos do esforço de monitoramento e controles desta mesma aplicação.

Não se pode ignorar que, no geral, as instituições do chamado sistema de justiça operam em um ambiente pleno de incentivos ao uso de qualquer ferramenta que acelere a resposta. Afinal, há metas a serem cumpridas, o índice de congestionamento precisa baixar, e o volume de demandas só cresce. Esse o contexto em que operam as organizações — e, ainda assim, seguimos no faz-de-conta de que IA não ingressa no universo de produção.

A providência indispensável para a superação deste estado de coisas é o caminho da institucionalização. Mas, também para isso, é preciso reconhecer seja esse um campo típico para o desenvolvimento de algum grau de experimentalismo administrativo.

Significa dizer seja preciso abandonar a (equívoca) concepção de que opção institucional por um ou mais modelos de IA, assim como protocolos de uso, são critérios que não obstante possam ser fixados em tese, não dispensam o teste de sua aplicação em concreto — nem tampouco prescindem do benefício do aprendizado institucional que essa mesma utilização oportunize.

É a manifestação formal da organização em favor de uma ou mais plataformas, bem como a parametrização das hipóteses de uso e dos meios de documentação que funcionarão como incentivo aos agentes humanos envolvidos, para saírem da constrangedora situação do uso envergonhado, para a clareza da aplicação segundo parâmetros conhecidos.

Vale ainda lembrar que a institucionalização, especialmente nesta fase inicial de testagem e aprendizado, não dispensa a existência de uma estrutura mínima de monitoramento e governança. Afinal, o experimentalismo no âmbito de organizações públicas é de ser uma oportunidade de ampliação do conhecimento e testagem de alternativas — resultado que só se afigurará útil a partir do que seja apurado pelas estruturas de monitoramento.

Dirão alguns — mas e a minha preferência pessoal pelo uso dessa ou daquela ferramenta? Por que não recepcionar essa preferência?

A resposta é simples — porque, também aqui, é de ter plena aplicação do princípio da impessoalidade, que não recepciona preferências pessoais no desenvolvimento de funções institucionais.