Avaliação de Impacto: caminho para conhecer os efeitos de uma política pública

Bruno Pantaleão de Oliveira, doutorando em Administração Pública e Governo na FGV EAESP e professor no curso de Relações Internacionais da FGV.

Caio de Souza Castro, doutorando em Economia na FGV EESP e pesquisador no FGV EESP CLEAR.

O principal objetivo de uma avaliação de impacto é quantificar o impacto  de uma política ou programa sobre um indicador de interesse (exemplos: renda familiar, aprendizagem, mortalidade infantil). Para fazer isso, é preciso isolar os efeitos da política de outros acontecimentos que possam afetar a vida dos usuários e beneficiários da política. Por exemplo, o estado nutricional de crianças em determinada região rural do Brasil pode ter melhorado não necessariamente devido a um programa de educação nutricional, mas devido a um aumento da renda da população da região.

Os métodos de avaliação quantitativa de impacto podem ser experimentais ou quase-experimentais. Esses métodos representam uma gama de alternativas para identificar, selecionar e utilizar grupos de comparação para mensurar os efeitos de uma política ou programa de forma precisa no grupo beneficiado.

Avaliações de impacto, portanto, permitem isolar os impactos da política ou programa sobre os indicadores de interesse, “retirando” da mensuração eventos externos que possam afetar positiva ou negativamente esses indicadores.

Para isso, o ideal é conduzir um processo experimental, planejado antes da implementação. Caso não seja possível planejar a avaliação experimental, existem algumas técnicas de avaliação que permitem mensurar o impacto mesmo sem planejamento prévio.

Esses métodos quase-experimentais permitem avaliar políticas já em funcionamento, contanto que haja dados disponíveis para os períodos antes e depois da implementação e algumas condições sejam respeitadas pela equipe responsável pela avaliação.

Os dados usados em avaliações de impacto podem vir de grandes fontes governamentais, como o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), o Ministério da Saúde e o seu Sistema “DataSUS”, a Relação Anual de Informações Sociais, a qual agrupa informações sobre o trabalho formal no Brasil, dentre outras.

Para a realização de avaliações, podem ser usadas bases de dados abertas ou informações disponíveis mediante a solicitação e requerimento aos órgãos responsáveis. Os dados podem também ser gerados por uma entidade de classe como um sindicato ou outra organização que tenha interesse em coletar dados sobre determinado tema. Por fim, também é possível que sejam utilizados dados primários – coletados para a realização das avaliações.

Abaixo, serão apresentadas mais informações sobre o método experimental e sua utilização na avaliação de impacto.

Além disso, após conduzir uma avaliação de impacto cuidadosa, governos podem realizar avaliações de custo-efetividade e de custo-benefício para calcular a relação entre o custo do programa e seus benefícios, o que tem potencial de apoiar os gestores na melhoria da qualidade do gasto. Publicamos em nosso blog um texto com maiores informações sobre as avaliações de custo-efetividade e de custo-benefício. Confira aqui.

Método experimental

O método experimental costuma ser planejado e implementado antes do lançamento da política, programa ou piloto. Ele pode também ser implementado em meio a processos de expansão da cobertura do programa. O método experimental implica que o grupo de comparação foi definido de maneira aleatória.

Suponhamos que o objetivo é avaliar o impacto de um programa social “Z”. Dentre as pessoas elegíveis, é realizado um sorteio para definir quais delas vão receber o programa e quais entrarão no grupo de comparação (também chamado na literatura econômica de grupo de controle). Como os grupos que receberam ou não o tratamento são estatisticamente iguais (em função do sorteio realizado entre a população elegível), podemos inferir que as diferenças detectadas entre eles (mensuradas no curto, médio ou longo prazo, a depender do foco da avaliação de impacto) foram causadas pela política ou programa em questão.

O método experimental em avaliação de políticas públicas é também conhecido como “experimentos de campo” e alguns de seus principais preponentes foram laureados com o Prêmio Nobel de Economia em 2019. A pesquisadora do FGV EESP Clear Priscilla Bacalhau escreveu a entrada no Glossário do Nexo Políticas Públicas sobre métodos de avaliação experimental. Clique aqui e saiba mais.

Abhijit Banerjee, Esther Duflo e Michael Kremer foram os laureados com o Prêmio Nobel de Economia em 2019. Ilustração de Niklas Elmehed/Prêmio Nobel.

São utilizadas fontes de dados que permitam mensurar os possíveis impactos da política. Os indicadores e informações nos quais a avaliação de impacto se baseia são referentes, tanto no grupo que recebeu a intervenção, quanto no grupo que ficou de fora. Destaca-se que no método experimental as informações utilizadas podem ser tanto das chamadas fontes primárias, isto é, coletadas pelas equipes de pesquisadores dos projetos de avaliação de impacto, como das fontes secundárias, que são bases de informações que não foram criadas especificamente em função do programa, mas que contém informações que podem auxiliar a sua avaliação. Alguns exemplos dessas bases são aquelas citadas na seção anterior.

Em alguns casos, após o fim do experimento e da coleta de dados necessários à avaliação experimental – e devidamente constatado o impacto positivo do programa –, o grupo de comparação passa a ser atendido pelo programa.

Métodos quase-experimentais

No caso dos métodos quase-experimentais, as avaliações costumam ser iniciadas após o programa ter sido implementado e ser possível visualizar alguns resultados potenciais nos dados disponíveis.  São alguns exemplos de métodos: regressões descontínuas, controle sintético, diferenças-em-diferenças, dentre outros.

Esses tipos de métodos consistem em identificar, usando algumas hipóteses, grupos de comparação que não tenham recebido o programa em questão, mas cujos indicadores de interesse sejam similares ao dos grupos tratadas no período pré-tratamento.

Vamos supor que queremos saber se a política educacional “X” teve efeito. Não podemos apenas comparar os resultados de uma escola antes e depois de receber a política “X”, pois os motivos da melhora (ou piora) que ocorreu naquele período podem não ter a ver com a política que foi implementada. A mudança observada pode ter sido motivada por tendências de longo prazo, por outras intervenções concomitantes ou por causas desconhecidas.

Para fazer uma comparação menos ingênua e mais robusta, é preciso encontrar um grupo de comparação pertinente.  Por exemplo: dentre um grupo de municípios similares, em termos de características observáveis como população, IDH, PIB per capita etc., é possível comparar as escolas que receberam a política “X” com escolas que apresentam estrutura física e composição estudantil similar e não foram contempladas na política, dando mais credibilidade à análise.

Ganhadores do Prêmio Nobel de Economia 2021. Divulgação/Prêmio Nobel.

O campo de estudos sobre métodos quase-experimentais é riquíssimo. Por sua contribuição aos métodos quantitativos quase-experimentais, um grupo de pesquisadores recebeu o Prêmio Nobel de Economia em 2021. Ouça aqui podcast da Escola de Economia de São Paulo com o diretor do  FGV EESP Clear, André Portela, sobre o prêmio e sua relevância.

Este artigo faz parte de uma série sobre Avaliações Ex Post publicada no blog do FGV EESP Clear. Acesse o segundo, sobre Avaliação de Custo-efetividade e Cust0-benefício e o terceiro, sobre Avaliação de Resultados.