De estudos de caso a mapeamento de sistemas: você conhece os tipos de avaliação ex post?

A avaliação ex post visa responder a várias perguntas avaliativas, e cada uma delas requer uma abordagem metodológica diferente. De natureza quantitativa, a avaliação de impacto experimental é uma delas. Seu objetivo é atribuir causalidade, identificando se o programa avaliado teve impacto nos resultados de interesse. Para isso, é necessário usar um grupo de comparação que precisa ser selecionado de forma aleatória.

Outras abordagens foram recentemente apresentadas na publicação “Evaluation of International Development Interventions” . Essas diferentes abordagens metodológicas ajudam a construir a avaliação ex post de maneira simples e didática. O material é altamente recomendado para quem se interessa pelo assunto e também para quem gosta de políticas públicas.

Vamos conhecer algumas dessas abordagens? Resumimos abaixo os principais pontos desse conteúdo e aproveitamos para usar como apoio definições do site Better Evaluation —outro ótimo recurso para um aprofundamento nesse tema.

Estudos de caso:

Análise detalhada de um ou mais casos (indivíduos, escolas, comunidades ou até países) de política pública. Essa abordagem é utilizada para compreender em profundidade como um programa foi implementado e como seus resultados foram alcançados. Os estudos de caso são, muitas vezes, usados junto com outras abordagens metodológicas, como a avaliação participativa e até mesmo a avaliação de impacto experimental.

Para saber mais, uma boa dica é o relatório Case study evaluations do Banco Mundial.

Rastreamento de processos:

Abordagem utilizada para descrever e analisar processos que fazem com que um programa ou uma política pública alcance seus resultados. Geralmente foca em um único caso e busca identificar e testar os mecanismos causais que conectam os diferentes elementos do programa a seus resultados. É particularmente útil em avaliações ex post que querem compreender as condições que possibilitam o sucesso de um programa e os mecanismos que contribuem para os resultados positivos.

Análise qualitativa comparada:

Método focado na análise de múltiplos casos que pretende identificar os elementos — sejam contextuais ou relacionados ao programa ou política pública analisada —que determinam os resultados. Essa abordagem possui um conjunto específico de algoritmos que são usados para analisar os dados coletados e, por isso, pode também ser classificada como uma metodologia de análise de dados.

Avaliação participativa:

Baseia-se no envolvimento dos stakeholders (partes interessadas) do programa no processo avaliativo — idealmente, nas suas diferentes etapas, do planejamento à coleta de dados e à análise dos resultados. Com esse envolvimento, pretende não só empoderar os stakeholders, mas também aumentar a relevância e a utilidade da avaliação. A avaliação participativa pode ser combinada com todas as outras abordagens.

Para saber mais, uma boa dica é o guia “Participatory Approaches” da Unicef em parceria com a Universidade RMIT, o International Initiative for Impact Evaluatione o Better Evaluation.

Outcome harvesting:

Baseia-se na coleta de informações com stakeholders(partes interessadas)do programa para identificar e formular seus resultados. O outcome harvesting não parte de um conjunto pré-definido de resultados; ao contrário, eles são identificados e descritos por meio de um processo participativo após a implementação do programa.

Essa abordagem é recomendada para avaliações de programas implementados em situações complexas e dinâmicas.

Para saber mais: “Outcome-Based Learning Field Guide”.

Mapeamento de sistemas:

Descrição dos componentes de um sistema e das relações entre esses componentes. Ao ser aplicado em uma avaliação ex post, o mapeamento de sistemas permite compreender o contexto em que um programa foi implementado e, então, analisar como esse contexto pode alterar o funcionamento do programa. Com isso, essa abordagem contribui para avaliações ex post que pretendam compreender o impacto de um programa.

Análise de redes sociais:

Descreve e analisa as relações entre elementos (indivíduos, organizações, grupos) que compõem uma determinada rede de relações sociais. Essa abordagem é baseada em uma análise sistemática dessa rede.