Uma das áreas de atuação da administração pública em que o tema do uso de inteligência artificial tem se apresentado como revolucionário — para o bem ou para o mal — é o universo das compras públicas. O entusiasmo é compreensível.

A Lei 14.133/2021, investindo na qualificação da fase interna e dos documentos preparatórios, desafia a organização à produção de muitos documentos que não são habituais [1], ou que demandam um determinado nível de conhecimento técnico que pode não ser comum nos órgãos públicos. A par disso, o apoio em uma ferramenta digital frequentemente associada a ganhos em eficiência, e que conta com uma visão do imaginário corrente de que procede à entrega de respostas verdadeiras e corretas, soa como um elemento pacificador para agentes de contratações, e outros atores que se vejam envolvidos na atividade.

Surge então uma espécie de corrida a um “Santo Graal” — aquilo que o mercado denomina como o prompt de alta performance; a saber, um input, um comando a ser encaminhado ao modelo de IA em uso, que, por suas características, assegurará uma entrega otimizada. Dilemas resolvidos, e agentes de contratação salvos de imputações de falhas diversas, chegaríamos ao mundo ideal. Inevitável vir à mente, a frase de Henry Louis Menckel — “para todo problema complexo existe sempre uma solução simples, elegante e completamente errada”.

Algumas premissas para o uso de modelos de IA, mesmo no campo específico de licitações, precisam ser desenhadas.

IA não é uma unidade, mas um ecossistema

A primeira delas está em se compreender que, embora na linguagem vulgar se aluda à IA como uma unidade, uma realidade única, fato é que isso não traduz a realidade dos fatos.

A evolução no desenvolvimento dessa específica tecnologia demonstrou os desafios técnicos da construção da chamada IA geral — aquela que performaria todo tipo de atividade, a exemplo do que se dá com agentes humanos —, constatação que desaconselhou a insistência no desenvolvimento nessa linha. Assim, prosperam modelos de IA específica, que, justamente por esse tipo de especialização, tendem a gerar resultados de melhor qualidade no segmento a que se dedicam.

Assim, é preciso compreender que o agente de contratação, ou o profissional da área de compras públicas, tem a seu dispor um ecossistema de modelos de IA; um conjunto vasto e diversificado de modelos que tendem a apresentar resultados de maior acurácia, conforme o input que recebem. Um exemplo prático pode auxiliar a compreensão.

Suponhamos uma contratação que tenha por objeto um bem ou serviço que a unidade administrativa habitualmente licita. Limpeza, ou locação de equipamentos de informática como impressoras. Esse é um subconjunto de contratações em que a organização possivelmente tem vasta experiência; um acervo de casos que permite um aprendizado estatisticamente relevante; um conjunto de apreciações de parte dos órgãos de controle que viabilizar um alinhamento fino com as recomendações e ajustes daquelas instâncias. Aqui, um modelo de IA fechado, cujo aprendizado tenha por referência principal justamente o conjunto de experiências já havidas se apresenta como preferencial ao uso de modelos de IA abertos, disponibilizados ao público em geral – que poderiam trazer à consideração, por exemplo, disposições normativas ou decisões de órgãos de controle que não se apliquem à unidade administrativa interessada.

Situação substantivamente distinta seria uma proposta de contratação de serviço inteiramente novo, não experimentado pela unidade administrativa -suponhamos, serviços de geração de vídeos educacionais com o uso de IA. Aqui não se tem o benefício da experiência consolidada na organização, e, portanto, o diálogo com outros ambientes institucionais pode ser importante, elucidador. Para hipóteses como essa, modelos de IA aberta vão se apresentar como mais adequados, eis que podem refletir a experiência de outras organizações que já tenham enfrentado anteriormente este mesmo desafio.

O ponto central é que necessidades distintas, ainda que no campo mais delimitado das contratações públicas, determinarão escolhas diferenciadas em relação ao modelo de IA a ser utilizado. Mas em que isso se relaciona ao prompt de alta performance, referido no texto?

A ilusão de um prompt perfeito

A promessa de construção de um prompt de alta performance é a busca de convencer o usuário de que é possível estabelecer um desenho — de conteúdo em si, ou de elementos necessários — que assegure sempre a melhor entrega possível da IA. Ainda que esse discurso tenha forte conteúdo de marketing [2], ele ecoa com facilidade no domínio do Direito, ciência afeita à estabilidade, e que busca nas fórmulas pré-determinadas, uma pacificação quanto á produção de um resultado juridicamente adequado.

O prompt de alta performance, prometido, seria o argumento determinante de um signo de qualidade da entrega da IA, e por via de consequência, da escolha empreendida pela unidade administrativa. Essa é a aspiração de todo agente de contratação — pretensão legítima, diga-se de passagem, eis que o êxito no procedimento licitatório é o desejo de todos, e presuntivamente, o que atenderá ao interesse público subjacente à contratação cogitada.

O problema está em que fórmulas abstratas de enunciação ou de conteúdo mínimo de prompts conflitam, já numa primeira aproximação, com a ideia de que necessidades distintas determinam interações igualmente distintas entre os modelos de IA em uso.

Tomemos as duas hipóteses acima referidas — necessidades públicas que recomendam, uma um modelo fechado, outra um modelo aberto. O modelo fechado já tem por premissa a delimitação de qual seja a unidade administrativa em operação; quais seus parâmetros normativos; quais as limitações e condicionantes de seu mercado. Muito do contexto da organização contratante, que é um componente relevante de um prompt, já se pode assumir como conhecido pelo modelo. Aqui, o elemento mais relevante para garantia da acurácia na entrega é o desenho de objeto, e das condições pretendidas de execução daquela específica atividade.

Já no modelo aberto, o uso da IA está vocacionado menos ao mapeamento de parâmetros postos pelo controle, e mais às características do bem ou serviço que se esteja pretendendo contratar. Esse é o ponto de fragilidade cognitiva da organização, que se quer superar pelo uso da IA. O prompt, portanto, precisa se dedicar muito mais a desenhar o cenário de necessidade que se pretende seja atendido por aquele objeto cuja especificação se quer construir.

Veja o ilustre leitor que podemos pensar até numa combinação de usos, no caso da contratação inovadora: um modelo aberto para fins de delimitação adequada do objeto, e depois um modelo fechado para a observância de parâmetros de controle típicos da organização que empreenderá enfim à contratação.

O apego a um prompt de alta performance pode prejudicar esse cruzamento de modelos, e de informações, gerando uma falsa segurança de que a aplicação daquele desenho gera por si só m resultado ótimo.

Riscos potenciais da busca de um prompt de alta performance

Três são os riscos potenciais deste investimento em um prompt de alta performance: 1) a consolidação de viés de que “prompta” [3]; 2) a cristalização dessa mesma fórmula; e 3) a negligência para com a circunstância de que, especialmente no domínio de IA generativa, a reação é entabular uma conversação, significando que um único input não produz propriamente um resultado final de entrega.

No primeiro ponto, é importante destacar que o viés — figura que assombra todo operador do Direito quando se alude ao uso de IA para qualquer finalidade [4] — não reside só em bases de dados que informem o aprendizado e a operação dos modelos. Também na formulação da pergunta, no desenho do prompt, se tem um enviesamento que é próprio da condição humana, e que precisa ser combatido justamente numa interação dialética com o mecanismo de IA.

Na hipótese de excessivo apego a um mítico “prompt de alta performance”, o usuário pode estar reproduzindo o viés de quem construiu essa fórmula e, com isso, afastar-se eventualmente de características próprias da organização ou da necessidade específica.

Segundo ponto de risco é a cristalização da fórmula, incentivada pela falsa percepção de que o “acerto” do modelo inicial assegurará uma licitação sem incidentes. Com isso, a organização deixa de reproduzir circunstâncias de toda ordem (fáticas, jurídicas, política, econômicas) que podem ser alteradas no curso do tempo, e que deveriam se reproduzir em sua atividade de preparação de uma licitação.

Terceiro ponto de risco está em que a hipervalorização de um prompt de alta performance desconsidera a circunstância de que o aspecto típico da IA generativa está no engajamento em uma conversa, para que se alcance efetivamente o resultado ótimo possível, considerados os elementos de aprendizado e entrega de que o modelo dispõe. Assim, quando o uso de IA generativa, o prompt inicial é um elemento deflagrador — mas não esgota a operação, que é de prosseguir a partir muitas vezes de proposições do próprio modelo, ou ainda de outros elementos a serem incorporados à resposta, trazidos pelo operador da IA.

A hipervalorização do prompt de alta performance no domínio de contratações públicas pode funcionar como um elemento inibidor do uso adequado da IA; um desincentivo ao prosseguimento deste “diálogo” com o modelo. Isso porque se o prompt de alta performance se reputa suficiente à garantia de uma entrega ótima, a minha intervenção, acrescentando objeções ou ponderações pode ser vista como abandono ou subversão da “solução zero erro” que ele em tese representa.

Prompt bom é o prompt documentado

Última proposição que o limitado espaço desta coluna proporciona está na afirmação de que não é a chancela de um padrão de prompt que será suficiente a garantir, nem a entrega ótima da IA, nem tampouco a não responsabilização dos agentes que intervieram para a modelagem do certame.

O desafio principal que o uso de IA hoje traz é a relevância da institucionalização do seu uso — tema de que já tratei nesta mesma coluna, em texto anterior denominado “Institucionalização: imperativo para o uso de IA na Administração Pública”.

No ponto específico da documentação — também já tratado em texto anterior nesta coluna, denominado “Cuidados no uso de IA com agência em licitações” —, temos igualmente duas dimensões relevantes. A primeira, intuitiva, é aquela que reclama a explicitação do uso de IA numa contratação específica, com a indicação de modelos, data do uso, prompt inicial e outros inputs que tenham se verificado, com o registro igualmente das respostas.

A segunda dimensão navega no sentido da construção de um centro de documentação e inteligência de prompts, onde se possa documentar, e no futuro analisar, todo o percurso de seu desenvolvimento. Mas isso é tema para outra coluna.

[1] O exemplo mais reluzente é o mapa de riscos que, ainda que não seja obrigatório em todas as hipóteses, representa um desafio a boa parte das organizações públicas.

[2] A ideia da possibilidade de um prompt perfeito para cada necessidade humana, em qualquer dos domínios da vida, facilita a venda de acesso às ferramentas – e quanto mais inserido no ecossistema de IA’s se tem um humano ou uma organização, maior o acervo de dados que retroalimenta o aprendizado do modelo.

[3] Peço ao leitor permissão para o uso deste neologismo, que procede à identificação subjetiva de quem seja responsável pela elaboração do input oferecido ao modelo de IA em uso.

[4] Para quem queira se aprofundar no descredenciamento deste argumento como cláusula de bloqueio ao uso de IA, consulte meu livro “Ensinando Direito à(a) IA”, publicado pela Editora Fórum.