A “alfaiataria” na construção de sistemas de avaliação – troca de experiências FGV EESP CLEAR e Moçambique

Construir um sistema de monitoramento e avaliação de políticas públicas dentro de um governo não é algo trivial. É um processo longo que exige várias etapas de aprendizagem, paciência, costuras políticas, capacidade de fazer os recortes apropriados de diferentes contextos, método, habilidade e treinamento. “Avaliação é quase uma alfaiataria, em que você tem que fazer sob encomenda. É muito artesanal o processo e envolve uma série de lições”, define Gabriela Lacerda, gerente executiva do Centro de Aprendizagem em Avaliação e Resultados para a África Lusófona e o Brasil (FGV EESP CLEAR), especialista em Sistemas de Monitoramento e Avaliação. Nos meses de maio e junho deste ano, a equipe do CLEAR recebeu, no Brasil, integrantes do governo de Moçambique para mais uma rodada de trocas. Esta parceria que ainda envolve o UNICEF de Moçambique, se iniciou em 2020, mesmo ano em que foi aprovada a lei que criou as normas do Sistema Nacional de Administração Financeira (SISTAFE) e o subsistema de monitoramento e avaliação das políticas do governo moçambicano.

Do lado de Moçambique, vieram ao Brasil, neste ano de 2023, 12 “alfaiates” experientes que se aprofundam em técnicas de confecção das avaliações – representantes da Direção Nacional de Monitorização e Avaliação (DNMA) do Ministério da Economia e Finanças (MEF), responsável pelo Sistema de Administração Financeira do Estado (SISTAFE), criado em 2020, e pelo Subsistema de Monitoria e Avaliação. Já o time da alfaiataria do CLEAR apresentou para essa troca de conhecimentos 10 pesquisadores, professores e especialistas em monitoramento e avaliação de políticas públicas. Meses antes, em março e abril, pesquisadores do CLEAR estiveram em Moçambique.

O FGV EESP CLEAR tem apoiado a capacitação do governo de Moçambique em Monitoramento e Avaliação (M&A) para fortalecer o modelo já institucionalizado naquele país, em que as políticas públicas devem sempre ser implementadas com base em evidências e avaliadas de maneira constante. Para que isso ocorra, o próprio governo de Moçambique determinou, por lei, que é necessário haver um “exame sistemático e objetivo de uma política, estratégia, programa, subprograma, projeto ou iniciativa em curso ou concluída, no concernente a sua concepção, implementação e resultados, com o objetivo de determinar a sua relevância, coerência, eficácia, eficiência, impacto e sustentabilidade” (MOÇAMBIQUE, 2021, artigo nº 111).

“Um novo figurino, uma nova roupagem” 

“O governo [de Moçambique] está no processo de reforma da administração pública, onde a monitoria e a avaliação agora aparecem com um novo figurino, uma nova roupagem”, afirmou Paulina Esmeralda Santana, técnica de monitoria e avaliação e funcionária do Ministério da Economia e Finanças, que participou do encontro com o CLEAR no Brasil. Indicada pelo governo de Moçambique como uma das articuladoras do Manual de Avaliação, que está sendo elaborado com auxílio dos especialistas do CLEAR, Paulina Santana considera importante conhecer diferentes processos de avaliação e experiências implementadas por outros governos.

O caminho para tecer sistemas de avaliação demanda planejamento e critério. Neste ano de 2023, a vinda das missões de Moçambique ao Brasil envolveu duas abordagens: num primeiro momento, o CLEAR organizou um treinamento em gestão pública baseada em evidências, com apresentações sobre sistemas, tipos e ferramentas de avaliação. Além do treinamento presencial, uma segunda etapa da missão incluiu uma visita dos representantes do governo de Moçambique a instituições governamentais federais e estaduais no Brasil. Além de conhecerem os órgãos federais que atuam com M&A, os integrantes do governo moçambicano também puderam acompanhar de perto experiências exitosas e institucionalizadas em governos locais do Brasil, como nos estados de Espírito Santo e Minas Gerais.

Jorge Sipanela, diretor nacional de Monitoramento e Avaliação do Ministério de Economia e Finanças de Moçambique

O diretor nacional de Monitoramento e Avaliação do Ministério de Economia e Finanças de Moçambique, Jorge Sipanela, tem destacado a importância do fortalecimento institucional do setor de monitoramento e avaliação. “Temos uma lei que define o que deve acontecer na área de monitorização e avaliação numa perspectiva mais ampla a todos os níveis de governação. E há também uma exigência, tanto dos parceiros como da sociedade em geral, de olhar para a governação numa perspectiva de transparência, com a necessidade de iniciar um processo de avaliação e implementação de políticas públicas, e de ver quais os impactos reais que elas estão a trazer para a melhoria da situação da vida da população”, compartilhou Jorge Sipanela em conferência organizada pela Global Evaluation Initiative (GEI), em junho de 2023.

Segundo o diretor, é preciso aumentar a capacitação de todos os quadros do governo de Moçambique para as práticas de M&A e conscientizar também a sociedade civil sobre a necessidade de cobrar que os governos adotem políticas com base em evidências. “Isso irá retroalimentar todo o sistema de planeamento do país e todo o processo de formulação de políticas públicas”, afirmou.

Paulina Santana, que trabalha com monitoramento e avaliação desde 2011, assegura que as trocas de experiência com pesquisadores do FGV EESP CLEAR trouxeram mudanças significativas. “Eu vejo muita evolução em mim, sobretudo no componente da avaliação. Porque monitoria nós já vínhamos fazendo, muito embora não algo assim tão desenvolvido. A avaliação é que é algo novo, e nisto concretamente sinto e vejo que há muita coisa evoluindo, não só meu desenvolvimento como técnica, mas também o da própria instituição”, declarou a técnica do governo de Moçambique.

Paulina Esmeralda do Ministério da Economia e Finanças em missão no FGV EESP CLEAR

A avaliação virou lei; e agora? O desafio é padronizar os processos

Deixar claro na lei que o monitoramento e as avaliações de políticas públicas precisam ser feitos com regularidade já é um enorme avanço em qualquer governo. O desafio maior, agora, admite Paulina Santana, é padronizar as práticas de M&A dentro do governo de Moçambique e expor argumentos a todas as lideranças políticas sobre a importância de aprimorar os sistemas de avaliação. “Dar esses passos que estamos dando é muito bom”, celebra Paulina.

O Manual de Avaliação, que está sendo elaborado pelo governo de Moçambique em parceria com o FGV EESP CLEAR e o UNICEF Moçambique, deve ser concluído no início de 2024. A ideia é que todos os ministérios sigam o mesmo processo de avaliação das políticas públicas implementadas no país, padronizando a coleta de dados, a metodologia utilizada e a linguagem. Os métodos, de acordo com a coordenadora do CLEAR, Gabriela Lacerda, precisam ser comparáveis, até para que o governo possa fazer as escolhas acertadas sobre os tipos de avaliação que precisam ser feitas internamente. “Esse Manual de Avaliação no governo vai estabelecer essa abordagem comum para avaliação de políticas e programas no governo de Moçambique.” Uma missão brasileira do CLEAR esteve em Moçambique, nos meses de março e abril, exatamente para apresentar e construir junto com os integrantes do governo uma primeira versão do Manual que será aplicado por todos os ministérios setoriais do governo.

A visita recente da equipe moçambicana ao Brasil foi um novo desdobramento desta parceria entre FGV EESP CLEAR e governo de Moçambique, iniciada em 2020: “Eles vieram ao Brasil nessa perspectiva de obter mais cursos de formação para se apropriarem de métodos,  ferramentas, conhecer as experiências no Brasil de avaliação, o que certamente os ajudará a implementar esse Manual”, explicou a coordenadora Gabriela Lacerda.

Manoel Gota, chefe de repartição de Monitoria e Avaliação dos órgãos locais e municipais do Ministério da Economia e Finanças, em atividade no FGV EESP CLEAR

“Depois de termos conhecido o FGV EESP CLEAR em 2020, isso nos trouxe uma nova dinâmica”, afirma Manoel Gota, chefe de repartição de Monitoria e Avaliação dos órgãos locais e municipais ligados ao Ministério da Economia e Finanças, a Direção Nacional do Monitoria e Avaliação. Gota destaca que o governo de Moçambique passou por várias transformações, como a reforma financeira, compreendendo, neste processo, a importância da monitoria e da avaliação de programas e políticas públicas. Ele enfatiza a importância do processo de capacitação de integrantes do governo de Moçambique conduzido em parceria com pesquisadores do CLEAR. Como estatístico, Gota diz que é crucial compreender quais as que diretrizes devem ser observadas na coleta de dados para se fazer avaliações padronizadas dentro do governo: “Como deve ser feito o tratamento de dados, a interpretação de informação, que informação buscar, que dados buscar para o processo de avaliação, que tipo de avaliação deve ser feita em cada caso”. A missão ao Brasil, destaca o funcionário do governo de Moçambique, foi crucial para preparar a equipe para a implementação de avaliações em diferentes áreas do governo num futuro bem próximo.

Miranda Amade Miguel, técnico na área de Monitoria e Avaliação na Direção Nacional de Monitoria e Avaliação do Ministério da Economia e Finanças de Moçambique, recorda que houve muita evolução desde que o governo de seu país decidiu implementar um setor nacional de planejamento que faria monitoramento e avaliação das políticas. A capacidade técnica sempre foi um desafio, destacou Miranda Miguel: “O FGV EESP CLEAR foi uma das instituições chamadas exatamente para dar este suporte técnico, de parcerias e de criação de capacidades […] A partir da reforma [do governo] em 2020, houve um novo paradigma, em que há um sistema de planificação e orçamentação, um subsistema de monitoria e avaliação. […] O grande desafio neste momento é a componente da avaliação, e o CLEAR está dando o maior suporte, com maior intensidade nos últimos três anos. Esta viagem que fizemos, a troca de experiência com setores do governo e a especialistas do nível do CLEAR, isso nos ajuda a termos inspiração para podermos montarmos um sistema de monitoria e avaliação mais robusto, que nos ajude primeiro a apoiarmos a nossa orçamentação, a nossa planificação, a nossa elaboração de políticas públicas, mas também para auxiliar os tomadores de decisão ao nível político.”

Miranda Amade Miguel, da Direção Nacional de Monitoria e Avaliação do Ministério da Economia e Finanças de Moçambique do Ministério da Economia e Finanças, no FGV EESP CLEAR

Escutar e aprender com governos que estão no mesmo caminho

Foram duas missões de funcionários do Ministério da Economia e Finanças de Moçambique, por meio da Direcção Nacional de Monitoria e Avaliação que vieram para o realizar formações presenciais em monitoramento e avaliação de políticas públicas na sede do FGV EESP CLEAR. Além das formações, eles puderam conhecer melhor as experiências de M&A implementadas pelos governos federal e estaduais. Assim, esse intercâmbio foi uma valiosa oportunidade para fortalecer os conhecimentos e capacidades administrativas. Em maio, os integrantes da primeira missão estiveram em Brasília, onde conheceram a estrutura de M&A do governo federal, visitando o Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP) e a Secretaria de Monitoramento e Avaliação de Políticas Públicas e Assuntos Econômicos, do Ministério do Planejamento e Orçamento.

Em junho, a equipe do governo de Moçambique que integrou a segunda missão teve a oportunidade de  ouvir Helger Marra Lopes, presidente da Fundação João Pinheiro. O Estado de Minas Gerais foi o segundo do Brasil a institucionalizar uma política de monitoramento e avaliação nos órgãos públicos – o primeiro foi o Espírito Santo. O Plano Anual de Monitoramento e Avaliação de Políticas Públicas de Minas Gerais foi criado e implementado em parceria com a Fundação João Pinheiro.

Helger Marra Lopes, presidente da FJP, em atividade com segunda missão de Moçambique no FGV EESP CLEAR

Helger Lopes falou aos integrantes do governo de Moçambique que o mais difícil é iniciar o programa de monitoramento e avaliação dentro dos governos. Uma vez que o processo é deflagrado e a burocracia do governo compreender os ganhos do processo, fica mais fácil implementar mudanças de gestão e dar continuidade às avaliações sistemáticas. Ele explicou, ainda, que em Minas Gerais a estrutura de monitoramento começou a funcionar num primeiro momento, mas a cultura de avaliação é algo mais complexo para os servidores assimilarem.

Para fazer avaliações, destacou o presidente da Fundação João Pinheiro, é preciso romper vários mitos – em especial sobre os custos e o tempo – e conseguir apoio dos líderes políticos e altas lideranças. “Não adianta eu entender a importância [de uma avaliação dentro do governo] e a alta liderança não entender. A gente precisa construir esse caminho e tem que conseguir chegar na alta liderança e mostrar o valor da avaliação.”

O suporte e apoio da alta liderança é crucial para que o processo de avaliação seja implementado, afirmou Helger, porque é um “rito” que precisa ser incorporado e aceito por todas as esferas dentro do governo. E quem sinaliza que esse rito será seguido é a alta liderança, no caso de um governo estadual, o governador.

“Como é que eu ganho patrocínio? Como é que eu coloco na cabeça do gestor que isso vai ajudar uma tomada de decisão, que com uma avaliação de política pública você vai poder tomar uma decisão melhor?”, questionou, na conversa com os moçambicanos. Somente muita conversa, sintonia, adesão do grupo à importância da avaliação e clareza de que haverá um ganho de valor permite abrir esse caminho.  “Isso é um pouco da nossa missão”, sentenciou.

Conhecer as experiências bem-sucedidas de Minas Gerais e do Espírito Santo foi uma experiência importante para os técnicos do governo de Moçambique, de acordo com Gabriela Lacerda, “para eles entenderem os gargalos de uma avaliação”. “Talvez a importância de uma avaliação não esteja tanto no resultado da avaliação em si, mas no processo de aprendizagem que essa avaliação está gerando.” Uma avaliação, complementa a coordenadora, carrega consigo muitos aprendizados: “Quantas pessoas eu preciso para essa avaliação? Quem vai fazer o quê dentro da avaliação? Quais são os perfis que eu preciso? Eu preciso de gente de fora [do governo]? São várias fases e uma série de lições. Tudo isso está trazendo maturidade para que a equipe do governo de Moçambique possa coordenar as suas futuras avaliações”.

A cada três anos, um comitê de governança vai estabelecer quais programas do governo de Moçambique serão avaliados.

Equipes do FGV EESP CLEAR e da primeira missão do governo de Moçambique

Equipes do FGV EESP CLEAR e da segunda missão do governo de Moçambique