Avaliação de Resultados: como verificar o cumprimento dos objetivos de uma política pública

Alei Fernandes, assistente de pesquisa do FGV EESP Clear, mestre em economia pela Universidade Federal da Bahia e doutorando em economia pela Fundação Getulio Vargas. 

Políticas públicas precisam ser avaliadas após sua implementação. Isso permite que seja possível observar, por exemplo, se ela está conseguindo endereçar os problemas para os quais foi criada e se o público-alvo está sendo atendido, entre outros pontos. Uma boa alternativa para verificar se os objetivos de uma política ou programa estão sendo cumpridos é a Avaliação de Resultados.

Quando se faz o desenho da teoria da mudança, definem-se os resultados e os impactos que se esperam da política. A avaliação de resultados é uma análise exploratória de indicadores relacionados a estes resultados e impactos. Esta avaliação busca trazer respostas, por exemplo, sobre os mecanismos pelos quais a intervenção gera o impacto desejado e as reações dos indivíduos ao serem submetidos à política. Uma das grandes diferenças entre a avaliação de impacto e a avaliação de resultados está no fato de que esta última não tenta dar uma resposta causal.

Partindo da teoria da mudança, o primeiro passo na avaliação de resultados é definir quais são as perguntas que se quer responder e quais dados são necessários para respondê-las. Geralmente, as perguntas são relacionadas aos resultados da política e a quais mecanismos fazem com que estes resultados aconteçam.

Para responder às perguntas, a primeira fonte de dados deve ser o próprio monitoramento da política. Além disso, caso existam hipóteses sobre o programa para as quais estes dados não consigam trazer evidências satisfatórias, existem duas maneiras de tentar responder estas perguntas: pode-se utilizar fontes de dados secundários como a Pesquisa Nacional por Amostra de Domicílios (PNAD) e a Pesquisa de Orçamento Familiar (POF); ou dados primários podem ser coletados. Caso se opte pela coleta de dados, também é preciso definir como esta será feita.

Depois, é necessário determinar se a avaliação de resultados será qualitativa, quantitativa ou ambas. A avaliação qualitativa permite fazer avaliações de questões contextuais mais complexas, porém a interpretação dos resultados é mais subjetiva e de difícil generalização. Já a quantitativa faz uma análise numérica, principalmente através de estatísticas descritivas e inferências, sendo mais fácil sumarizar, analisar e comparar dados.

Agora, com os dados em mãos e definido o método, é feita a análise dos resultados, tentando determinar se existem indícios de que os efeitos previstos estão de fato acontecendo e se existem efeitos não esperados. Geralmente essa parte da avaliação é feita a partir de estatísticas descritivas, correlações e algumas hipóteses sobre os dados. É possível então fazer recomendações de mudanças na implementação da política para que os resultados desejados se materializem enquanto efeitos não previstos e indesejáveis sejam evitados. Assim, um dos objetivos das avaliações de resultados é corrigir continuamente a política, sempre tentando melhorar o seu desenho.

Além disso, a avaliação de resultados pode ser utilizada como insumo quando se faz uma avaliação de impacto.  

Para exemplificar, vamos supor que queremos fazer uma avaliação de impacto de uma política como o Bolsa Família ou o Auxílio Brasil no desempenho escolar das crianças. Um resultado esperado (e mecanismo) é que o programa aumente a frequência escolar de crianças de famílias que recebem o benefício. Para realizar uma avaliação de resultados, é possível utilizar a PNAD para observar como se comporta a frequência escolar em domicílios que recebem o benefício e ver se existem indícios do resultado esperado. Como dito anteriormente, aqui não se está interessado em fazer afirmações causais.

Alunos da Escola Municipal Senador Corrêa, no Rio de Janeiro (RJ), na volta às aulas presenciais. Foto: Tânia Rêgo/Agência Brasil.

Com hipóteses adicionais sobre, por exemplo, o comportamento das famílias beneficiárias e não beneficiárias, é possível utilizar fontes de dados similares para realizar uma avaliação de impacto da política. Leia aqui o texto em nosso blog para entender o que é a Avaliação de Impacto.

Pode-se assumir, por exemplo, que a frequência das famílias beneficiadas e não beneficiadas teriam tido a mesma tendência na ausência da política (tendências paralelas) e utilizar o método das diferenças em diferenças para calcular o impacto. Também pode-se dizer que as famílias ao redor da renda limite para participação do Bolsa Família são parecidas (esta é uma boa hipótese neste caso?) e usar uma regressão com descontinuidade para estimar este mesmo impacto.

Assim, a realização da avaliação de resultado durante a implementação da política é importante para auxiliar na explicação dos mecanismos da política e revelar resultados inesperados e potencialmente indesejáveis que o programa pode estar tendo no público alvo, possibilitando assim correções de desenho para que os impactos previstos sejam alcançados.

Este artigo faz parte de uma série sobre Avaliações Ex Post publicada no blog do FGV EESP Clear. Acesse o primeiro, sobre Avaliação de Impacto e o o segundo, sobre Avaliação de Custo-efetividade e Cust0-benefício.