Cultura de Resultados e Avaliação Institucional - Avaliando Experiências Contratuais na Administração Pública Federal

CULTURA DE RESULTADOS E AVALIAÇÃO INSTITUCIONAL: AVALIANDO EXPERIÊNCIAS CONTRATUAIS NA ADMINISTRAÇÃO PÚBLICA FEDERAL* Prof. Humberto Falcão Martins

Doutor em administração e mestre em administração pública pela EBAPE/FGV, especialista em Políticas Públicas e Gestão Governamental pela ENAP e graduado em administração pela UNB. Professor da Fundação Getulio Vargas e consultor em gestão pública. Secretário de Gestão do Ministério do Planejamento, Orçamento e Gestão. hfmartins@uol.com.br

A contratualização é um dos elementos centrais da Nova Gestão Pública. Há no Brasil, em particular, antecedentes de experiências contratuais (entre empresas estatais e Governo Federal e no âmbito de órgãos e entidades estaduais, principalmente) e uma diversidade de experiências contratuais recentes (agências executivas, organizações sociais, agências reguladoras, organizações militares prestadoras de serviços, organizações da sociedade civil de interesse público, convênios de desempenho com institutos de pesquisa, programas governamentais etc.). Ainda é cedo para se avaliar algumas dessas experiências, mas já é tarde para se discutir como avaliá-las.

Este singelo ensaio tem três propósitos: a)propor um modelo conceitual genérico de avaliação de experiências contratuais; b)testar o modelo conceitual genérico aplicando-o a um rol seleto de experiências contratuais atuais; e c)levantar, a partir da aplicação, questões pertinentes ao aprendizado na gestão de resultados e avaliação institucional. A proposição de um modelo de avaliação de experiências contratuais é relevante porque a literatura a respeito é escassa no que se refere a modelos de simples aplicabilidade e há experiências passíveis de avaliação. Espera-se, assim, que o modelo ora proposto possa ser aperfeiçoado e customizado para fins de aplicações

* Publicado como “Cultura de resultados y evaluación institucional: evaluando experiências contractuales” na Reforma y Democracia, revista del CLAD, nr 26, Jun/2003

específicas. A aplicação do modelo proposto visa demonstrar sua operacionalização e oferecer uma visão geral abrangente de experiências contratuais atuais baseado em uma apreciação a partir de uma ampla e recente base de dados sobre políticas de gestão pública no período 19952002¹. Não se trata, portanto, de avaliação de organizações, gestões ou pessoas, especificamente. Espera-se que o levantamento de questões críticas da experiência contratual brasileira recente possa ajudar na elaboração de roteiros de aprendizagem úteis ao desenho de políticas efetivas de gestão pública.

O texto está estruturado em três partes: a)proposição de um modelo de avaliação de experiências contratuais; b)aplicação do modelo proposto em experiências seletas; e c)questões críticas da contratualização, um roteiro de aprendizagem.

1. Um modelo de avaliação de experiências contratuais Porque não avaliar as experiências contratuais simplesmente a partir dos resultados dos contratos? Por que a eficácia dos contratos requer condições que precisam ser de alguma forma avaliadas e correlacionadas à qualidade do contrato, que por sua vez deve ser correlacionada ao desempenho contratado. Por outro lado, a produção dos resultados contratados não depende apenas dos arranjos contratuais; mas se sujeita a uma série de variáveis intervenientes de difícil controle e que dificilmente caberiam em algum modelo simples de avaliação (embora algumas possam ser mapeadas e futuramente incluídas no modelo). Dessa forma, a unidade de análise deve ser a experiência contratual e não simplesmente o contrato, o que implica na consideração de questões pertinentes ao contrato, ao contratante, ao contratado e à situação em geral.

Um modelo simples de avaliação de experiências contratuais deveria conter minimamente as variáveis relevantes na produção de boas experiências contratuais que levem aos resultados efetivos, a partir de elementos essenciais da contratualização. Os elementos do modelo podem ser extraídos a partir de uma elucidação dos pressupostos centrais da contratualização, segundo a denominada teoria institucional da escolha racional (Ostrom, 1999):

ƒ a contratualização é uma luta contra o acaso: o estabelecimento de resultados desejados é necessário e seu alcance pode ser, em alguma extensão, programado, induzido e controlado; e ƒ a racionalidade é limitada, mas pode ser incrementada até um ponto satisfatório. Daí decorre a necessidade de criação de estruturas (um conjunto de regras e incentivos) que enquadre os atores, modele seus comportamentos, na direção dos resultados visados, impedindo que estes busquem maximizar seus interesses próprios da forma que bem lhes interesse.

Daí, qualquer modelo contratual deverá comportar os elementos: a)metas ou resultados; b)meios, em sentido amplo, regras, recursos e obrigações; c)controles ou formas de verificação do alcance dos resultados pactuados; e d)incentivos, positivos e negativos, materiais e simbólicos. Esta arquitetura do modelo está ilustrada na Figura 1.

Figura 1. Arquitetura do modelo de avaliação de experiências contratuais.

O modelo permite que se avaliem as condições consideradas necessárias à geração de boas experiências contratuais de forma conjunta com o desempenho alcançado. As variáveis “condições” estão agrupadas em quatro categorias: metas, meios, controle e incentivos. Estas variáveis encontram-se definidas no Quadro 1 de tal forma que se propõe categorizações de “boas condições” e “más condições” para cada variável. Tais categorizações devem ser consideradas recursos analíticos que não visam ao mero enquadramento rígido dos casos em uma ou outra qualificação, mas buscam estabelecer referenciais que permitam a avaliação de condições mais ou menos predominantes.

Todo modelo é uma forma limitada de representação da realidade a partir de aspectos que são considerados e outros que são negligenciados. Além desta limitação inerente, o modelo em questão não inclui fatores intervenientes, mas considera que estes afetam as experiências e os resultados de forma positiva ou negativa. Nesse sentido, boas condições e boas experiências contratuais são condições necessárias, porém não suficientes, para geração de resultados efetivos. Nesse sentido, a significância de variáveis intervenientes mostra-se clara na medida em que aplicações do modelo evidenciem a existência de boas condições associadas a resultados ruins, ou más condições associadas a bons resultados. Esses casos extremos indicam um simulacro de contrato ou a inviabilidade do modelo de avaliação.

Quadro 1. Modelo de avaliação de experiências contratuais – Definição das variáveis.

VARIÁVEIS BOAS CONDIÇÕES MÁS CONDIÇÕES

M ConvergênO contratante sabe o que quer alcançar e o O contratante não sabe o que quer alcançar E cia contrato espelha este posicionamento. As e o contrato não espelha este T metas estão consistentes com os objetivos de posicionamento. A relação metas-resultados A políticas públicas de política pública não é clara ou é S divergente

Ação x Há metas de desempenho, mediante Há apenas metas de ação (ou metas de Desempeindicadores que buscam mensurar de forma plano: “coisas a fazer”) com prazos e nho objetiva e abrangente o grau de eficiência, responsáveis. Os indicadores são grau de eficácia e efetividade dos processos implementação das ações previstas. organizacionais.

Realismo A relação meios-metas é clara; calculada em A relação meios-metas não é clara; não há função de um plano que permite o um plano de ação que permita o dimensionamento de ações necessárias ao dimensionamento de ações necessárias ao alcance dos padrões de desempenho alcance das metas pactuadas. estabelecidos.

Desafio O alcance das metas requer ações de O alcance das metas pactuadas não implica superação do padrão de desempenho anterior, em ganhos de produtividade/eficiência, até porque haverá presumivelmente melhores eficácia e efetividade, mantêm o padrão de condições para tal. desempenho anterior.

M Recursos A garantia de repasse dos recursos pactuados Não há mínimas garantias de cumprimento E Financeie/ou fontes alternativas de recursos do cronograma financeiro; rupturas no fluxo I ros (comerciais ou fomento) assegura fluxo de recursos inviabilizam o alcance das O contínuo de recursos e garantem o alcance metas forçando frequentes reprogramações S das metas.

Patrimônio Há quadros e instalações apropriadas; o Há dificuldades para formação do quadro & RH processo de cessão de patrimônio e de ideal de RH (próprios, terceirizrados etc.) e pessoal é rápido. de instalações apropriadas em função de dificuldades de aquisição, contratação, cessão etc.

FlexibilidaHá significativa expansão das flexibilidades: Não há ampliação significativa das de regras diferenciadas de gestão que permitem flexibilidades gerenciais; prevalece a conferida o desenvolvimento de sistemas próprios de submissão às regras-padrão da gestão. administração pública.

FlexibilidaA flexibilidade conferida é efetivamente A flexibilidade conferida não é plenamente de utilizada utilizada e reflete-se nos sistemas de gestão utilizada; há barreiras regulamentares, promovendo maior agilidade nos processos de legais e culturais a sua plena utilização. trabalho e no processo decisório.

C Relação A relação supervisor-contratado é baseada na A relação contratante-contratado é tutelar: a O com cobrança dos resultados pactuados no supervisão segue um padrão de N supervisor contrato. subordinação baseado na atribuição de T ações específicas e demandas paralelas ao R pactuado.

O Comitê de O comitê realiza o acompanhamento indicativo O comitê tem um caráter auditor e inquisitor; L acompanha do alcance das metas, apontando realiza um controle a posteriori em busca de E mento providências ou redirecionamentos ex ante. razões e responsáveis por metas descumpridas e procedimentos em desacordo.

Representa A representação do contratante em instâncias A representação do contratante em -ção no colegiadas do contratado cumpre uma função instâncias colegiadas do contratado provoca contratado de controle estratégico, definindo diretrizes e interferências nas decisões executivas, fiscalizando resultados. apontando ações e questões operacionais.

Controle Preocupação preponderante com os Preocupação predominante com a interno e resultados estabelecidos no contrato e com as conformidade legal dos atos e externo condições de sucesso das relações procedimentos; preocupação secundária ou contratuais. irrisória com os resultados.

TranspaA metas e seu acompanhamento (relatórios, A metas e seu acompanhamento (relatórios, rência e eventos, instrumentos, critérios etc.) são eventos, instrumentos, critérios etc.) não controle divulgadas interna e externamente de tal modo são divulgadas interna e/ou externamente. social que qualquer interessado possa saber o que e como está sendo avaliado.

I Erros Os erros (irregularidades, mal desempenho ou Os erros são encobertos ou ignorados e não N desvio de conduta) geram punições (demissão geram aprendizado. C ou afastamento de dirigentes, conselheiros ou E membros de comitês) e aprendizado. N T Acertos Acertos (desempenho pactuado, superação de Acertos são considerados mera obrigação. I metas, soluções inovadoras, solução de V problemas etc.) são premiados com bônus, O garantias e reconhecimento (imagem). S

DESEMPENHO O desempenho pactuado foi considerado O desempenho pactuado foi considerado insatisfatório, insuficiente ou houve satisfatório, suficiente ou houve pleno descumprimento do contrato. cumprimento do contrato.

2. APLICAÇÃO DO MODELO A presente aplicação se baseia em 11 casos. A seleção dos casos teve como critério básico a inclusão de experiências contratuais recentes, todas baseadas em contratos de gestão: sete organizações sociais-OS, uma agência executiva-AE e três agências reguladoras-AR (as três que possuem contratos de gestão).

Outras experiências contratuais em curso, tais como Organizações da Sociedade Civil de Interesse Público-OSCIP que firmam Termos de Parceria com o Poder Público, Organizações Militares Prestadoras de Serviços-OMP, Rede Sahra, convênios de desempenho com institutos de pesquisa do Ministério da Ciência e Tecnologia e programas do Plano Plurianual, não compuseram a amostra da presente aplicação por razões de acessibilidade.

As avaliações das condições se baseiam em inferências e apreciações fundamentadas na base de dados coletados mediante entrevistas e análise de documentos. A avaliação do desempenho se baseia nos relatórios referentes ao acompanhamento dos respectivos contratos de gestão. Outras análises variarão em função do tempo, dos vieses dos analistas e de novas evidências. Novas formas de operacionalização das variáveis poderão lançar mão de análises estatíticas multivariadas, contribuindo para uma maior objetivação das conclusões. Estas limitações não invalidam as considerações feitas a partir da presente aplicação, apenas indicam que outras análises devem ser procedidas afim de contrastá-las com a presente em busca da identificação de questões críticas. O Quadro 2 contém uma avaliação das condições e do desempenho das 11 experiências analisadas.

Quadro 2. Aplicação do modelo de avaliação de experiências contratuais em 11 casos.

VARIÁVEIS \ CASOS 1 2 3 4 5 6 7 8 9 10 11 Metas Convergência + ++ - + ++ ++ ++ ++ + + + Ação x Desempenho + ++ - ++ ++ ++ -- ++ - = - Realismo = + - = + + + - - = - Desafio - + - = = = - - - = - Meios Recursos Financeiros - + - + + + + - = = = Patrimônio & RH + + - + + + + - + = - Flexibilidade conferida ++ ++ ++ ++ ++ ++ ++ - - - - Flexibilidade utilizada + + ++ = ++ ++ - - - - - Controle Relação com supervisor -- + -- + + + + - - - - Comitê de acompanhamento -- + - + + + + + = = = Representação no contratado -- + - + + + + N N N N Controle interno e externo -- - - - - - - - - - - Transparência e controle social + + - + + + + + - - - Incentivos Erros - - -- - - - - - - - - Acertos - - -- - - - - - - - - Desempenho + + - + + N N + + + + Legenda: - predominam más condições -- péssimas condições + predominam boas condições ++ ótimas condições = boas e más condições = condições médias N= não se aplica ou não disponível.

3. QUESTÕES CRÍTICAS DA CONTRATUALIZAÇÃO: EM BUSCA DE UM ROTEIRO DE APRENDIZAGEM Foram realizados dois tipos de análise: a)horizontal, que busca investigar em que extensão as condições gerais se encontram mais ou menos satisfatórias nos modelos e/ou experiências; e b)vertical, que busca verificar a associação entre condições e desempenho de cada experiência. Há quatro principais grupos de conclusões apresentados a seguir.

Primeiramente, as condições estão fortemente associadas aos modelos institucionais (AE, OS e AR), sugerindo que os modelos são instrumentos necessários à promoção de boas experiências contratuais: modelos mais maduros ou consistentes promovem melhores condições e melhores experiências; modelos incipientes não promovem tais condições e produzem experiências problemáticas. Considerando-se os modelos separadamente, o modelo OS apresenta forte associação com más condições de controle interno e externo e incentivos reais. Com efeito, a discussão sobre o tratamento a ser dados às OS quando da prestação de contas é uma discussão relevante no âmbito do modelo e as possibilidades de bonificação por desempenho não foram até o momento implementadas. Há dentre as OS apenas um caso de más condições contratuais predominantes e desempenho considerado satisfatório, o que sugere, em relação a este caso, a precariedade do documento de contrato de gestão.

No que se refere ao modelo AE, este parece muito limitado, na medida em que não há associação positiva entre o modelo e as condições, sugerindo que o modelo falha em proporcionar as necessárias condições contratuais. Há evidências de que a avaliação positiva do desempenho do contrato esteja correlacionada ao perfil gerencial da organização e não ao modelo institucional.

No que se refere às AR há uma associação entre condições desfavoráveis e desempenhos satisfatórios indicando a existência de contratos precários ou simulacros de experiências contratuais. As condições desfavoráveis em questão estão relacionadas de forma preponderante mais aos meios, controles e incentivos e menos às metas. Esta questão se relaciona a outras pertinentes à própria natureza indefinida ou fluída do modelo de AR, ao foco e transparência de resultados e à estrutura de governança corporativa, questões estas que não cabe abordar no momento.

Em segundo lugar, as condições também apresentam associação relevante com áreas de atuação dos casos analisados, além de condições cuja alta variância dentre os casos sugere a condição de questão crítica, tais como relação com supervisor e metas desafiadoras. Sugere-se que os casos no âmbito do MCT apresentam melhores condições de implementação de experiências contratuais que os demais. Tal fato ampara-se em fatores analisados pelo modelo, tais como clareza da política pública, modelo de supervisão baseado em resultados e acompanhamento técnico de boa qualidade, que tendem a promover um padrão de supervisão mais efetivo e metas mais convergentes, realistas e desafiadoras. Porém, a correlação entre condições favoráveis e a área de supervisão do MCT também se ampara em variáveis intervenientes relevantes, tais como continuidade administrativa e postura empreendedora dos contratados e contratantes.

Em terceiro lugar, diferentes arranjos de condições apresentam associações significativas com experiências específicas, independentemente do modelo ou área em questão. Há pelo menos dois casos cuja flagrante ausência de condições favoráveis (e os seus diferentes impactos no desempenho) estão relacionadas a variáveis intervenientes pertinentes à gestão interna do contratante e contratado e a eventos desestabilizadores bem demarcáveis (crises, descontinuidades etc.).

Em quarto lugar, uma leitura horizontal sugere que há condições que se afiguram como desfavoráveis em praticamente todos os casos, tais como controle e incentivos. Controle e incentivos são claramente questões sistêmicas, na medida em que compõem arranjos institucionais complexos, quer formais (os sistemas de controle interno e externo), quer informais (a questão cultural, crenças e valores enraizados na cultura burocrática predominante).

Em relação aos sistemas de controle, a discussão de fundo é, com efeito, a questão da conformidade (compliance) versus desempenho (performance). Esta questão tem evoluído muito mais no sentido de incluir análises de performance nas avaliações das prestações de contas, que relacionar espécies de “concessões” de compliance (flexibilidades) em troca de uma melhor performance. Nesse sentido, a discussão sobre modelos contratuais, flexibilidade gerencial, centralização e padronização dos sistemas de gestão-meio (orçamento, finanças, recursos humanos, logística e tecnologia da informação etc.) é embrionária, com grande desvantagem para as experiências contratuais.

Em relação à falta de incentivos, a questão está relacionada ao forte predomínio de valores contrários à contratualização, dentre os quais destacamse a:

ƒ cultura da isonomia, que se opõe à meritocracia contratual (Barbosa, 1999), segundo a qual é preferível que todos ganhem o mesmo, que se diferenciem pelos resultados;

ƒ cultura da conformidade, ilustrada na figura anti-empreendedora do líder Caxias (Carbone, 2000), segundo a qual é necessário cumprir as regras acima de tudo sem nunca questioná-las, em absoluta desconsideração dos resultados em questão;

ƒ cultura do medo patrimonialista, uma variação paranóica da cultura da conformidade em função da qual, face a uma síndrome patrimonialista historicamente adquirida, prevalece o sentimento de que todos os agentes públicos são, em princípio e até prova em contrário, desonestos e qualquer brecha ou oportunidade discricionária para fins empreendedores será fatalmente utilizada para se promover interesses particularísticos em detrimento do interesse público;

ƒ prevalência do “código do fracasso”, que dispõe: “art. 1º: não pode; art. 2º: em caso de dúvida, abstenha-se; art. 3º: se é urgente, espere; art. 4º: sempre é mais prudente não fazer nada” (Dromi, 1995: 35).

O fundamental é que estes traços culturais não sejam tratados de forma fatalista. Ao contrário, a premissa é de que a experiência altera a cultura e o aprendizado aprimora a experiência. Logo, boas experiências contratuais promovem vitórias significaticas sobre este perverso estado de ânimo.

Em síntese, não cabe afirmar peremptoriamente se há ou não há condições para contratualização na administração pública brasileira contemporânea. Há obstáculos, experiências vigorosas e, sobretudo, um inequívoco processo de aprendizagem em curso, a exemplo de outras experiências contratuais em muitos países (destacadamente Estados Unidos, França, Grã Bretanha e Canadá).

É certamente o caso de se nutrir este processo de aprendizado, de tal forma que os erros e acertos possam permitir melhores resultados e condições futuras. Nesse sentido, as questões abaixo relacionadas representam um roteiro de aprendizagem, útil ao desenho e avaliação de políticas de gestão pública, que clama por atenção e ação imediatas por parte dos atores envolvidos:

ƒ questões relativas aos modelos contratuais e seus necessários aprimoramentos;

ƒ questões relativas à gestão de resultados no âmbito de áreas específicas de atuação, principalmente no que toca à relação supervisor-contratado e pertinência de metas;

ƒ questões relativas à gestão de experiências específicas, mediante assistência intensiva para saneamento de impasses e problemas; e ƒ o enfrentamento de questões relacionadas ao controle e incentivos no âmbito da administração federal como um todo.

Análises posteriores caso-a-caso poderão aprofundar a questão sobre em que extensão condições desfavoráveis estão associadas a outros problemas ou comportamento de contratados, contratantes, intervenientes ou gestores dos modelos.

REFERÊNCIAS BIBLIOGRÁFICAS Barbosa, Lívia. 1999. Meritocracia a la brasileña - ¿Qué es el desempeño en Brasil?. Revista Del CLAD, nº 14, junio/99.

Carbone, Pedro Paulo. 2000. Cultura organizacional do setor público brasileiro: desenvolvendo uma metodologia de gerenciamento da cultura. RAP, nº 2/2000.

Dromi, Roberto. 1995. Derecho administrativo. Buenos Aires.

Ostrom, Elinor. 1999. Institutional Rational Choice: an assessment of the institutional analysis and development framework. In: Sabatier, Paul (ed.), Theories of the policy process.Westview.

Referência Bibliográfica deste Trabalho (ABNT: NBR-6023/2000): MARTINS, Humberto Falcão. Cultura de Resultados e Avaliação Institucional: Avaliando Experiências Contratuais na Administração Pública Federal. Revista Eletrônica sobre a Reforma do Estado, Salvador, Instituto de Direito Público da Bahia, nº. 8, dezembro, 2006, janeiro, fevereiro, 2007. Disponível na Internet: <http://www.direitodoestado.com.br>. Acesso em: xx de xxxxxxxx de xxxx

Obs. Substituir x por dados da data de acesso ao site www.direitodoestado.com.br

Publicação Impressa: Informação não disponível