O FGV EESP CLEAR na Semana de Avaliação gLOCAL 2023: Balanço de Encerramento

Chegou ao fim a Semana de Avaliação gLOCAL 2023! 

Entre 29 de maio e 2 de julho foram realizados mais de 300 eventos ao redor do mundo na Semana da Avaliação gLOCAL 2023. O Brasil foi o segundo país com maior número de eventos. Cabo Verde também organizou atividades. Com isso, atingimos 33 discussões em português. 

Alguns desses encontros estão disponíveis na playlist do nosso canal no YouTube.

O FGV EESP CLEAR NA GLOCAL 2023 promoveu quatro eventos. Você confere eles em mais detalhes abaixo!

O Papel do Controle Externo na Avaliação de Políticas Públicas é Tema de Evento Promovido pelo FGV EESP CLEAR 

O evento Avaliação De Políticas Públicas Em Órgãos De Controle discutiu o papel crucial que o controle externo pode representar no processo avaliativo das políticas públicas. Na abertura, Gabriela Lacerda, gerente executiva do FGV EESP CLEAR, explicou que a motivação para o debate surgiu de uma pesquisa em andamento no CLEAR, que visa compreender os diferentes graus de institucionalização da avaliação de políticas públicas no Brasil. Por meio de questionários aplicados a gestores públicos do Poder Executivo em níveis nacional e subnacional, foi possível identificar a frequente preocupação com a contribuição dos órgãos de controle para a avaliação e o aprimoramento das políticas públicas. 

A mesa de discussão contou com a participação de membros de órgãos de controle. Renata Carvalho, auditora de controle externo no Tribunal de Contas da União (TCU), e Rodrigo Fontenelle, Controlador-Geral do Estado de Minas Gerais. Lorena Mello e Figueiredo, pesquisadora do FGV EESP CLEAR e consultora em políticas e governança territorial, também se juntou à mesa. 

Durante sua apresentação, Renata Carvalho ressaltou a importância do trabalho em rede e do engajamento para o sucesso do controle externo das políticas públicas. Ela mencionou a Rede Integrar, uma iniciativa que reúne os Tribunais de Contas Estaduais do Brasil, além do TCU, como exemplo de colaboração coordenada, enfatizando que as auditorias operacionais são realizadas em parceria com os gestores. Ela afirmou que “as auditorias operacionais são uma forma de fiscalização dos tribunais de contas para entender como a gestão pública está funcionando e pode ser aprimorada. Esse trabalho funciona de maneira bastante integrada com o trabalho do gestor. As decisões são enviadas aos gestores para que eles possam avaliar a viabilidade das considerações levantadas pelos auditores. Portanto, antes mesmo de serem julgadas, as decisões passam por essa construção conjunta”. 

Já Rodrigo Fontenelle apresentou a experiência da Controladoria-Geral do Estado de Minas Gerais (CGE) e do Sistema de Monitoramento e Avaliação de Políticas Públicas (SAPP) do governo estadual mineiro. O SAPP, implementado em 2021, foi baseado no modelo do SIMAPP (Sistema de Monitoramento e Avaliação de Políticas Públicas do Espírito Santo) do Governo do Espírito Santo, e conta com um comitê estadual composto por cinco órgãos, incluindo a CGE. Recentemente, foram divulgados os resultados do primeiro ciclo de avaliação, que englobou oito políticas estaduais. Além de analisar os efeitos dessas políticas, foram feitas sugestões para aprimoramento dos programas. 

O controlador-geral mineiro ressaltou a importância de que as recomendações sejam implementadas e tenham sentido para os gestores responsáveis. “As recomendações que são colocadas, sejam pelo controle interno ou externo, elas só fazem sentido se elas realmente forem implementadas e fizer sentido para o gestor. Às vezes a gente tem noção do que deve ser melhorado, mas o gestor tem um entendimento melhor”, apontou Rodrigo Fontenelle. 

A CGE baseia suas avaliações no Guia de Avaliação Ex Post, do Governo Federal, cujo desenvolvimento contou com a colaboração do FGV EESP CLEAR. 

Na parte final do evento, Lorena Mello e Figueiredo trouxe questionamentos que foram completados com perguntas da audiência. Renata Carvalho ressaltou a importância de aproximar as avaliações da sociedade civil, a fim de incorporar diferentes perspectivas e reconheceu que, embora tenha havido progresso, ainda há muito a ser feito, enfatizando que “trabalhar em rede é onde encontramos mais benefícios, ao colaborar com a sociedade civil, temos uma escala enorme para alcançar, proporcionando um ambiente propício para essa colaboração”. Por sua vez, Rodrigo Fontenelle destacou que, em Minas Gerais, a sociedade civil participa através de consultas anuais para identificar as ações de controle que seriam prioritárias. 

A troca de experiências e o engajamento dos participantes evidenciaram que a avaliação é um poderoso instrumento para promover a transparência e a efetividade das ações governamentais. Assim, o evento reafirmou o compromisso de avançar na construção de políticas públicas mais eficientes e voltadas para as necessidades da população. 

Debate destaca os desafios e os avanços da cultura de M&A no Governo Federal 

“Onde está a sabedoria que perdemos no conhecimento? Onde está o conhecimento que perdemos na informação?” 

Durante o debate da gLOCAL 2023, Ricardo Paes de Barros retomou o questionamento do poeta inglês T.S. Eliot para retratar a situação das políticas públicas no Brasil. Segundo o pesquisador, apesar de produzirmos dados de qualidade e contarmos com pesquisadores de renome internacional na área de avaliação, ainda falhamos em conectar adequadamente esses conhecimentos com as políticas públicas.

Esse pensamento pode ser considerado um norteador do evento “Fortalecendo a cultura de Monitoramento e Avaliação no Governo Federal: troca de experiências”, organizado em parceria entre Secretaria de Monitoramento e Avaliação de Políticas Públicas e Assuntos Econômicos do Ministério do Planejamento e Orçamento e o FGV EESP CLEAR.  

Mediado por Lycia Lima, professora da FGV EESP e vice-diretora do FGV EESP CLEAR, e, além de Ricardo Paes de Barros, contou com a participação de representantes dos ministérios da Educação (MEC) e do Desenvolvimento Social (MDS), Isabel Chagas e Joana Costa, respectivamente. Ainda, a abertura do evento coube ao secretário Sérgio Firpo, da Secretaria de Monitoramento e Avaliação de Políticas Públicas e Assuntos Econômicos, e a Alexandre Gomide, diretor de Altos Estudos da ENAP. 

Em sua apresentação, Sergio Firpo ressaltou a importância do evento como um espaço de troca. A nova secretaria busca coordenar os esforços do governo federal, para que as avaliações resultem em benefícios para o público. Segundo o secretário, com esse evento busca-se aprender com as experiências de outros órgãos do governo. “Para que a gente consiga aperfeiçoar políticas é muito importante estar próxima dos gestores locais e dos departamentos que fazem M&A internamente. Portanto, esta experiência hoje é muito enriquecedora e marca esse movimento de enraizar a cultura de M&A”, afirmou o secretário. 

Já Alexandre Gomide apresentou a experiência da ENAP na promoção da cultura avaliativa no governo, mencionando cursos de curta duração, apoio ao CMAP e assessoria metodológica aos órgãos demandantes. 

As representantes dos ministérios apresentaram suas experiências setoriais. Isabel Chagas, Diretora de Monitoramento, Avaliação e Manutenção da Educação Básica da Secretaria de Educação Básica do MEC, discutiu as iniciativas, desafios e propostas da nova gestão ministério, que instituiu uma nova diretoria de M&A na Secretaria de Educação Básica. Já pelo MDS, Joana Costa, diretora do Departamento de Monitoramento e Avaliação, explicou que as avaliações são realizadas conjuntamente com as outras as secretarias. Ainda, como exemplo os vários tipos de avaliação do Programa Criança Feliz, que forneceu sugestões para sua melhoria, e reforçou a importância da avaliação de implementação desde o início do desenho da política pública. 

No encerramento, Lycia Lima comentou que a cultura de M&A vem se aprimorando no Brasil. Para ela, apesar de que avanços ainda precisam ser realizados, como os elencados durante o evento, o esforço do governo federal na criação dos guias Ex Ante e Ex Post e a diversidade de métodos adotados são exemplares desse amadurecimento na última década. Assim, a vice-diretora do FGV EESP CLEAR conclui que cada vez mais a avaliação é reconhecida como uma ferramenta de auxílio à gestão ao invés de uma prática punitiva. 

A trajetória e as perspectivas da ambiciosa avaliação experimental do Programa Primeira Infância Melhor (PIM) 

O Programa Primeira Infância Melhor (PIM) é uma das mais reconhecidas políticas públicas brasileiras voltadas ao desenvolvimento das crianças entre 0 e 6 anos. Com a presença de André Portela, professor da FGV EESP e diretor do FGV EESP CLEAR, Gabriel Weber Costa, pesquisador da FGV EESP CLEAR, e Gisele Mariuse da Silva, Coordenadora de Gestão de Informação, Pesquisa e Inovação da Atenção à Primeira Infância e do PIM. “Os Desafios da Avaliação Experimental de Políticas Públicas: Lições e Aprendizados do PIM” discutiu a trajetória e a nova fase da pesquisa experimental promovida pelo FGV EESP CLEAR, e que teve a sua primeira parte foi financiada pela Fundação Maria Cecilia Souto Vidigal, pelo Banco Interamericano de Desenvolvimento (BID), e pela Rede de Pesquisa e Conhecimento Aplicado da FGV. A mediação foi feita por Michel Szklo, também pesquisador do FGV EESP CLEAR, que agora coordena a nova fase da pesquisa experimental longitudinal realizada pelo CLEAR em parceria com a Secretaria de Saúde do Rio Grande do Sul.  

Representando a Secretaria de Saúde do RS, Gisele Mariuse da Silva dividiu sua fala em duas partes: na primeira, fez uma retrospectiva do PIM, partindo de evidências de programas estrangeiros que influenciaram a formulação do programa, passando pela metodologia formulada e os objetivos do PIM, até comentar os impactos nas políticas públicas para a primeira infância no Brasil. Na segunda parte, ela abordou especificamente a Avaliação Experimental Longitudinal pelo ponto de vista de quem atua com a política pública. Ainda, ela ressaltou que o PIM é uma política pública que já nasce a partir de evidências e que “estamos constantemente buscando saber se ela funciona, verificando se os recursos chegam a quem realmente precisa, com equidade”, ressaltou Gisele Mariuse da Silva. 

A avaliação do programa se utiliza de experimentos cuidadosamente desenhados e conduzidos, método de avaliação de políticas públicas reconhecido como o mais confiável para se identificar o impacto do programa sobre os beneficiários, a fim de gerar informações sólidas que contribuam para o aprimoramento do programa. A pesquisa experimental longitudinal foi apresentada primeiramente por André Portela, diretor do FGV EESP CLEAR. Ele destacou que essa pesquisa é resultado de uma construção conjunta, tanto dos pesquisadores da FGV, quanto da equipe do PIM. 

A primeira fase da pesquisa teve como o objetivo avaliar os impactos de curto prazo sobre os objetivos do programa (desenvolvimento infantil, parentalidade, acesso a serviços). 

Conheça os primeiros resultados da pesquisa do PIM no infográfico

Atualmente, a pesquisa foca no acompanhamento de médio prazo dos impactos e na inclusão de novos municípios na pesquisa. Esta nova fase já prevê uma nova coleta de dados para o próximo ano e o uso de dados administrativos.  

Gabriel Weber Costa, cuja avaliação do PIM foi tema de sua tese de doutorado, falou dos desafios e aprendizados do ponto de vista do pesquisador. Ao falar sobre o processo de coleta de dados, ele refletiu sobre as dificuldades enfrentadas no processo, como localizar os endereços, entrar em territórios específicos e abordar as famílias para um questionário sensível sobre a relação com o filho. Esses desafios só puderam ser superados por meio de um planejamento cuidadoso e uma ação coordenada com os municípios e os agentes locais. 

“Apesar de todos os desafios, conseguimos chegar a resultados que são úteis. Trazer evidências para informar a política pública, seja para mostrar o que está acontecendo de certo, seja para apontar possíveis melhorias”, conclui o pesquisador.

Para conhecer mais sobre o PIM

Leia a matéria em nosso blog: https://fgvclear.org/os-impactos-de-uma-politica-publica-no-desenvolvimento-infantil-e-na-parentalidade/

Ouça o episódio do DNA Evidência: https://fgvclear.org/os-impactos-do-programa-primeira-infancia-melhor-pim-07/

Quarta edição do workshop sobre M&A oferecido pelo FGV EESP CLEAR na gLOCAL 

Desde 2020, o FGV EESP CLEAR oferece na gLOCAL um workshop sobre M&A. Na gLOCAL 2023, ministrado pelas pesquisadoras do CLEAR Fernanda Caires, Marília Firmiano e Nicole Mourad, a quarta edição teve uma proposta mais compacta em relação às edições anteriores. 

Nos dias 31 de maio e 01 de julho, os participantes tiveram acesso a duas horas de conteúdo por encontro, em que foram abordados os principais aspectos e ferramentas de M&A. Esse novo formato foi pensado estrategicamente como uma abordagem prévia do conteúdo de M&A, contido de forma mais aprofundada no curso de formação “Monitoramento e Avaliação de Políticas Públicas”, disponível em formato online e oferecido gratuitamente pelo FGV EESP CLEAR, na plataforma de Educação Executiva da FGV. 

Marília Firmiano ressaltou a importância dessa iniciativa: “Neste ano, além de destacar a relevância da temática e da cultura de M&A, buscamos evidenciar a disponibilidade do curso online do CLEAR, que transmite o conteúdo abordado neste Workshop, aprofundando os conceitos e o repertório sobre o campo”. 

O workshop manteve a base de conteúdo das versões anteriores, proporcionando uma introdução do tema, abordando conceitos de M&A no ciclo de políticas públicas e os diferentes tipos de avaliação, conforme critérios reconhecidos internacionalmente, estabelecidos pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE).  

Além da parte expositiva, os participantes tiveram a oportunidade de se engajar em atividades em grupo, onde puderam construir a teoria da mudança, colocando em prática os conhecimentos adquiridos. Neste ano, foi proposto atividades práticas para elaboração da teoria da mudança e levantamento de indicadores para a área da saúde. A equipe do CLEAR se mostrou satisfeita com o engajamento e dedicação dos participantes, e reforça a importância da parte prática. “Vivenciar um exercício prático permite que o participante reflita sobre o conteúdo aprendido, tire dúvidas e troque com os demais participantes experiências e aprendizados”, explica Firmiano. 

O público foi diversificado, composto por estudantes e profissionais do governo e do terceiro setor. Enquanto alguns já estavam familiarizados com a temática de M&A, outros tiveram a oportunidade de ter seu primeiro contato com o assunto. Ao final da edição de 2023, dez participantes concluíram o curso. 

Para conhecer o curso online acesse: https://educacao-executiva.fgv.br/cursos/online/curta-media-duracao-online/monitoramento-e-avaliacao-de-politicas-publicas