“A avaliação é uma pauta republicana: aprimora processos, economiza dinheiro”
Malu Delgado, jornalista política e especialista em Gestão Pública.
A Escola Nacional de Administração Pública (Enap) tem sido importante parceira do FGV EESP CLEAR na capacitação de servidores e gestores públicos e difusão da cultura da avaliação e tomada de decisão com base em evidências do Brasil. Em entrevista ao site do CLEAR, o cientista e antropólogo Guilherme Mansur Dias, assessor técnico da Coordenação Geral da Avaliação e Coordenação de Evidências da Diretoria de Altos Estudos da Enap aponta avanços nestes processos dentro da administração pública federal.
A institucionalização de um sistema de avaliação dentro do governo federal, com o Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP), afirma ele, foi um passo importante, mas desde 2004 o governo federal coleciona experiências robustas de avaliação. “A história da administração pública brasileira é um compilado de sucessos e fracassos que dialogam com diferentes momentos políticos do país.”
Um dos desafios para o ano de 2023, segundo ele, é estimular que cada ministério e autarquia federal tenham suas próprias áreas de avaliação, difundindo esta cultura dentro do governo. “A busca por evidências para informar o processo de política pública tem motivações heterogêneas. A evidência deve funcionar como um dos elementos que compõem a tomada de decisão, como disse, mas não é o único, não é bala de prata para resolver problemas públicos complexos, mas ajuda. Se o gestor tiver essa consciência, isso já é um belo passo.”
A seguir, os principais trechos da entrevista:
Houve avanços na disseminação da cultura de avaliação na administração federal nos últimos anos?
Houve esforços de institucionalização da avaliação nos últimos anos, mas a agenda de avaliação já é antiga no serviço público federal. Há experiências setoriais robustas de avaliação de políticas públicas desde pelo menos 2004, com a Secretaria de Avaliação e Gestão da Informação (SAGI), no então Ministério do Desenvolvimento Social (MDS). Determinadas iniciativas promovem camadas de experiência e expertise na administração pública, que sedimentam práticas e conhecimentos. Esse é o caso da avaliação. Sempre houve iniciativas setoriais, cursos e capacitações na área de avaliação, para chegarmos até aqui. O que ocorreu nos últimos anos foi a ênfase num conjunto de iniciativas de governança que buscaram trazer a avaliação para o centro de governo, com a criação dos Comitês de Avaliação de Gastos Diretos e Subsídios, depois transformados em Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP) do governo federal. Este processo convergiu com o aumento do interesse pelo tema por diferentes servidores e camadas da burocracia.
Então, cada vez mais profissionais buscam se especializar no tema da avaliação. A Enap vem buscando responder a esse impulso com uma oferta mais expressiva de cursos, treinamentos e assessorias na área. Nossa busca, portanto, é apoiar a promoção e ampliação da institucionalização da avaliação no âmbito da administração pública brasileira.
Poderia citar resultados concretos da parceria da Enap com o FGV EESP CLEAR?
Ao longo de toda a parceria com o CLEAR, foram cerca de 10 projetos de avaliação apoiados. Só em 2022 foram 4 ciclos avaliados (ProUni, Sistema de Avaliação da Educação Básica (Saeb), Política Nacional de Fomento em Tecnologia, Plano Nacional de Uso e Produção de Biodiesel).
Essas avaliações foram encomendadas diretamente pelo CMAP ou feitas junto a órgãos subnacionais (como foi o caso da 1ª edição da Janela Avaliação, em que a FGV apoiou a avaliação ex post do programa ICMS Esportivo, de Minas Gerais).
Destacaria ainda a ajuda do CLEAR na consolidação do método de avaliação participativo que estamos implementando, que consiste numa participação efetiva dos gestores do início ao fim do processo de avaliação. Em nossos encontros com o CLEAR, sempre debatemos a questão das experimentações metodológicas. Até na criação do método mais participativo, o CLEAR foi fundamental. A gente espera que siga sendo, queremos fazer um novo contrato.
Como enxerga o papel de assessorias técnicas em avaliação dentro do governo federal? Por que isso é tão necessário?
Esse formato participativo atende aos gestores, por envolver sua reflexão sobre desenho, diagnóstico, implementação e resultados das políticas. Nesse sentido, ele sedimenta o conhecimento de técnicas de avaliação nas estruturas dos Ministérios e Secretarias. Além disso, o método preconiza casos concretos, de políticas que precisam ser avaliadas. É diferente de um curso ou uma sala de aula convencional. Na assessoria, os participantes precisam avaliar com seriedade uma política na qual estão implicados. Agora, é preciso que haja sempre um grau de customização: a triagem sobre o tipo de avaliação que será útil para o Ministério A ou B é fundamental. Tão importantes quanto as respostas são as perguntas a serem feitas no âmbito das avaliações.
A assessoria pode não funcionar para todo tipo de demanda por avaliação. Algumas vezes o processo educativo se dá no âmbito da própria demanda: muitas vezes o gestor não vai ter tempo de aprender a realizar uma avaliação da maneira mais completa, mas pode aprender a demandá-la corretamente, além de aprender a utilizar melhor seus resultados. Portanto, na assessoria há um processo de aprendizagem organizacional: pensar sobre a política pública, sobre seus indicadores, sobre sua amplitude e foco.
O fato de a política de avaliação ter sido institucionalizada no Brasil, em 2019, via CMAP, deu mais robustez a essa cultura dentro do setor público? Quais os progressos que ocorreram nos últimos anos, na sua avaliação?
Na administração pública tem esforços e energia, e isso muda de patamar. Acontece isso na gestão pública. Na avaliação tivemos experiências antes do CMAP, desde 2004, como citei. Programas sociais foram avaliados, e por isso muito deles foram bem executados e implementados. Existe uma preocupação maior com o gasto público, mas isso também é positivo. Podemos usar isso para ir criando essa cultura da avaliação, que é um processo de longo prazo. Não se cria isso do dia para a noite.
Reitero que a avaliação no setor público não nasceu com o CMAP. Houve experiências setoriais exitosas feitas anteriormente. A história da administração pública brasileira é um compilado de sucessos e fracassos que dialogam com diferentes momentos políticos do país.
O que houve nos últimos anos foi a tentativa de trazer a avaliação para o centro de governo com a constitucionalização do tema através da emenda constitucional 109/2021, a produção e publicação de guias de referência, capitaneados pela Casa Civil. Mas já havia um acúmulo grande sobre o tema por experts e servidores públicos em diferentes instituições.
Ainda assim, é importante o esforço empreendido nos últimos anos no sentido de ampliar a institucionalização e criar uma cultura de avaliação na gestão pública brasileira. A avaliação é uma pauta republicana. Avaliar aprimora processos, economiza dinheiro e direciona adequadamente recursos que são escassos (humanos e financeiros).
Onde o Brasil ainda precisa avançar?
Na promoção da cultura avaliativa – a compreensão de que a avaliação é interessante e precisa ser realizada por tal motivo, como a geração de valor público. Também [precisamos avançar] na governança da avaliação, combinando institucionalização/enforcement com popularização do conhecimento sobre avaliação. Outro aspecto é a avaliação no dia-a-dia da política, reforçando a importância da avaliação na rotina de implementação de cada política pública.
É importante as pessoas saberem da importância da avaliação. Não necessariamente a avaliação é um conhecimento científico. É importante valorizar a ciência. Técnicas de avaliação, como o nome diz, são técnicas. Para o cidadão, para quem não está no Estado, é interessante chegar essa informação, de que avaliar uma política pública é uma forma de profissionalizar a gestão pública, deixando-a mais transparente, fornecendo uma informação mais qualificada.
Uma das coisas que a gente tem pensado para 2023 é sobre como podemos incidir mais nesta perspectiva da cultura avaliativa, como criar e estimular que cada ministério e autarquia tenham suas próprias áreas de avaliação. Queremos fazer a coisa de forma mais transversal. É interessante que isso esteja na rotina dos órgãos dos tomadores de decisão. Ter uma área que produz conhecimento é parte da difusão [de experiências] no âmbito governamental, e precisamos apostar nisso, em desenvolver essas áreas dentro dos ministérios.
Algumas áreas do governo já são mais sensíveis ao tema das evidências, como setores da economia, o Banco Central, a CVM, o setor da saúde. Essa política com base em evidências vem muito da área da saúde. São orçamentos grandes, que precisam ter efetividade
Acho que cada vez mais as instituições têm vindo atrás de qualificação sobre o tema da avaliação. Sou um otimista e vejo diferentes camadas da burocracia se aproximando de técnicas de avaliação.
Além de CMAP, tem um interesse que não é top down, é orgânico. As pessoas fazem cursos, querem saber sobre métodos, ferramentas. Não é só a normatização que vai resolver e garantir que a gente difunda a avaliação. Vejo interesse dos gestores públicos em acertar. Quem faz política pública tem pouco tempo para mostrar resultado. Quando você se apoia nisso [na avaliação], a chance de acertar é maior.
Gestores mais experientes usam a evidência como uma das pernas da tomada de decisão.
Mas a evidência não é a bala de prata. Às vezes, na administração pública, as politicas públicas se justificam por si só. Por exemplo: a alimentação escolar. Não adianta criar mil indicadores para ver se a alimentação vai melhorar o rendimento da criança. Estar alimentado é importante e ponto. Há valores que precedem a busca por evidências. Na decisão, no processo decisório, as evidências são um componente importante, mas não é só isso que define se a política adotada será A ou B.
O Evidência Express, criado pela Enap, tem comprovado a importância da coleta de evidências para desenhar, implementar e rever políticas públicas em andamento de maneira célere. Os tomadores de decisão e gestores públicos no país estão cientes da relevância de fazer política pública com base em evidências?
É difícil fazer generalizações neste sentido. Acho que alguns gestores sim, outros não. Diferentes camadas da burocracia procuram respostas diferentes. A busca por evidências para informar o processo de política pública tem motivações heterogêneas. A evidência deve funcionar como um dos elementos que compõem a tomada de decisão, como disse, mas não é o único. A evidência deve servir como um apoio à tomada de decisão, para informar /orientar sobre o processo de política pública, trazer clareza de critérios. Como disse, evidência não é bala de prata para resolver problemas públicos complexos, mas ajuda. Se o gestor tiver essa consciência, isso já é um belo passo.