Critérios de Avaliação OCDE: definições, princípios e exemplos para avaliações no contexto global

Júlia Klein, assistente de pesquisa no FGV EESP Clear e estudante do curso de administração pública na FGV Eaesp 

Nicole Mourad, assistente de pesquisa FGV EESP Clear e mestranda em administração pública e governo na FGV Eaesp 

A Organização para a Cooperação e Desenvolvimento Econômico (OCDE) estabeleceu em 1991 cinco critérios para serem usados como referência em avaliações. Inicialmente, a lista incluía os critérios de relevância, efetividade, eficiência, impacto e sustentabilidade. Entre 2018 e 2019, eles foram revisados para refletir os Objetivos de Desenvolvimento Sustentável (ODS) da agenda 2030, sendo incluído na lista o critério de coerência. Também foram definidos dois princípios gerais de uso: aplicar os critérios de maneira cuidadosa na avaliação e escolher os critérios a depender do propósito da avaliação.

Segundo a própria OCDE, tais critérios de avaliação foram pensados para servirem como referência para a avaliação de projetos de desenvolvimento humanitários, programas e políticas públicas. Especificamente criados pelo Comitê de Ajuda ao Desenvolvimento (DAC, na sigla em inglês) da própria instituição, os critérios auxiliam a verificar qual o valor que a intervenção obteve – verificando a qualidade da intervenção e se essa trouxe efeitos positivos ou negativos. A OCDE possui um Manual para Aplicação dos Critérios disponível gratuitamente online. 

Quais são os seis critérios?  

Os seis critérios recomendados pela OCDE foram arquitetados para analisar diferentes níveis de uma política avaliada, de forma conjunta e complementar.  

• Relevância: Explicita a relação entre os objetivos, a implementação da política e seus beneficiários. Em suma, busca-se avaliar se o público-alvo entende a política como benéfica, importante e útil; 
• Coerência: Busca entender a compatibilidade da política analisada com as demais intervenções que ocorrem em um país, setor ou instituição. Pode-se observar este critério de dois pontos de vista: do interno, busca-se compreender a sinergia e interrelação da política avaliada com outras políticas geridas pela mesma instituição; do externo, olha-se para a harmonização e coordenação com demais intervenções de outros atores, mas dentro do mesmo contexto;  
• Efetividade: Visa responder se a intervenção está atingindo seus objetivos. Ou seja, a análise de efetividade avalia o quanto a política atingiu ou é esperado que atinja seus objetivos e resultados; 

• Eficiência: Refere-se a como a intervenção está entregando seus resultados, em um sentido econômico e dentro de um determinado espaço de tempo. No sentido econômico, visa observar o “custo-efetivo” da conversão de insumos, tais como recursos financeiros, humanos e naturais, em produtos e impactos. E na dimensão temporal, busca analisar se uma intervenção está entregando dentro de um cronograma planejado ou se até mesmo dentro de um período de tempo razoável ajustado à realidade do contexto; 
• Impacto: Considera os efeitos da intervenção, sejam eles positivos ou negativos, intencionais ou não. Este critério explicita o potencial transformativo da intervenção ao identificar seus efeitos sociais, econômicos e até mesmo ambientais dentro de uma perspectiva mais de longo prazo e de mudança estrutural (como mudanças no bem-estar populacional, direitos humanos e equidade de gênero); 
• Sustentabilidade: Identifica como os benefícios advindos da política perduram. Dentro do escopo deste critério, faz-se uma análise multidimensional dos sistemas necessários para a sustentação da política: examinam-se as capacidades financeiras, econômicas, sociais, ambientais e institucionais destes sistemas.  

E quais são os princípios para a utilização dos critérios?  

O Manual citado na primeira seção deste post indica para uso dos critérios dois princípios que auxiliam na condução da aplicação por parte dos atores e stakeholders envolvidos no processo de avaliação. Vale ressaltar que esses dois princípios foram criados no sentido de estimular o pensamento crítico no momento de aplicação dos critérios de avaliação fazendo com que o processo não seja algo mecânico.

O primeiro princípio indica que os critérios devem ser contextualizados, alinhados com o propósito da avaliação e aplicados em um ambiente no qual os atores e stakeholders envolvidos são plenamente identificados. Outros pontos também devem estar claros no momento de aplicação dos critérios: o tipo e o escopo da avaliação, se a avaliação é factível e o momento no qual essa avaliação será realizada dentro do ciclo da política pública.  

Já o segundo princípio preconiza que o uso dos critérios depende do propósito de avaliação. Em outras palavras, a aplicação dos critérios deve ser feita de forma crítica (ou seja, não automática) e de acordo com as necessidades da própria avaliação e dos atores envolvidos. Esse princípio alinha-se com a adaptabilidade dos critérios, no sentido de que nem todas avaliações precisam da aplicação de todos os critérios.  

Como aplicar os critérios da OCDE: um exemplo prático 

Como forma de compartilhar e contribuir no desenvolvimento e condução de avaliações, o DAC mantém um repositório online: o Centro de Recursos de Avaliação do DAC (em inglês, DEReC), onde é possível encontrar relatórios de avaliação desenvolvidos por países membros ligados às agências de desenvolvimento. De modo a explicitar como os critérios podem ser incorporados na avaliação, analisamos um dos relatórios exibidos no site.

Desenvolvido pela Nova School of Business & Economics, o relatório de avaliação em questão, analisou os impactos decorrentes das seguintes infraestruturas: (1) a construção das Barragens de Saquinho e Figueira Gorda, na Ilha de Santiago, em Cabo Verde, a (2) construção da Central Fotovoltaica na Ilha do Sal, e as (3) melhorias feitas nos portos de Praia, na Ilha de Santiago, e de Porto Novo, na Ilha de Santo Antão. Todos os projetos foram financiados por meio de linhas de Crédito do Governo Português.

Para realizar a análise de impacto das construções e melhorias, foram utilizados os métodos de levantamento documental, entrevistas e visitas de campo. Por meio disso, foram descritos os achados gerais e achados específicos, que analisavam o impacto destas infraestruturas na região em que foram construídas e/ou melhoradas. 

A partir dos achados descritos no documento, houve a incorporação dos seguintes critérios de avaliação OCDE: relevância, efetividade, eficiência, impacto e sustentabilidade. Ao final da caracterização contextual de cada projeto, foram analisados e discutidos os resultados sobre cada uma das infraestruturas, a partir dos critérios previamente elencados e o que esses preveem em sua definição – ou seja, assim como descrito no próprio documento, os resultados da análise do relatório foram pensados à luz dos critérios da OCDE.  

*Este artigo é uma versão reduzida e simplificada do texto preparado para o “Guia FGV EESP Clear de Políticas Públicas com base em Evidência” (FGV EESP Clear, no prelo).