A experiência canadense na “avaliação da avaliação” de políticas públicas

Íris Ramos Dantas é pesquisadora bolsista do FGV CLEAR e graduanda em Relações Internacionais pela Universidade Federal do Rio de Janeiro (UFRJ)

Lorena Figueiredo é pesquisadora do FGV CLEAR, doutoranda em direito pela Universidade de São Paulo (USP), mestre em políticas públicas urbanas pela Sciences-Po (Paris) e graduada em direito pela Universidade Federal de Minas Gerais (UFMG)

O que acontece quando uma política de avaliação é avaliada? No Canadá, país com uma das tradições mais longas e robustas em avaliação de políticas públicas, essa experiência se tornou realidade. Os resultados dessa avaliação provocaram importantes transformações na gestão pública, consolidando ainda mais o pioneirismo do país no campo. 

Entre 2013 e 2014, o governo canadense conduziu uma avaliação da Política sobre Avaliação (Policy on Evaluation, em inglês), cumprindo os imperativos de revisão periódica dos programas governamentais.  

Essa política havia sido estabelecida em 2009 pelo Conselho do Tesouro, instituição responsável pela auditoria interna, análise de resultados, supervisão ministerial e promoção de uma cultura de avaliação e de decisões informadas por evidências. 

Dentre seus principais pontos, a política estabeleceu que os Chefes de cada Ministério seriam responsáveis por gerenciar a capacidade de avaliação de seus respectivos departamentos. Para isso, deveriam atender a três exigências principais: 

• Designar um Chefe de avaliação, o principal responsável por esse tema dentro do Ministério, e um comitê de avaliação

• Aprovar os relatórios de avaliação, disponibilizá-los à população e usar seus achados para tomar decisões sobre os programas, políticas e uso dos recursos 

• Aprovar um Plano de Avaliação do Ministério para ser submetido ao Conselho do Tesouro 

A Política sobre Avaliação também requisitava que as avaliações examinassem as seguintes questões: relevância, que se dividia entre a) necessidade contínua do programa, b) alinhamento com as prioridades do governo e 3) alinhamento com as responsabilidades federais; 4) alcance de resultados esperados; e 5) demonstração de eficiência e economia na utilização dos recursos. Ela ainda era acompanhada pela Diretiva sobre a Função de Avaliação, que versava acerca dos papéis dos Chefes de Avaliação e demais envolvidos nas iniciativas de avaliação, e pelo Padrão sobre Avaliação, que determinava os critérios de qualidade, neutralidade, planejamento e execução das avaliações. 

A avaliação finalizada em 2014 trouxe conclusões a serem consideradas para a próxima política sobre avaliação, dentre as quais destacamos: 

• Houve uma mudança cultural no governo em direção a uma maior valorização das avaliações em prol da melhoria dos programas e políticas: elas se tornaram mais disponíveis e seu uso aumentou

• A frequência estipulada para realização das avaliações dos programas (a cada cinco anos) apresentou vantagens e desvantagens, a depender da natureza de cada programa e particularidades das unidades responsáveis pela avaliação

• As questões que as avaliações deveriam examinar cobriam aspectos importantes e permitiam comparabilidade, mas os seus níveis de pertinência variavam em cada Ministério

A nova política estabelecida em 2016, com o nome de Política sobre Resultados (Policy on Results, em inglês), substituiu a normativa anterior sobre avaliação. Além disso, substituiu também uma política de 2010 que instituía regras para a gestão de performance do governo canadense, com ênfase no aspecto financeiro. Essa área foi formalmente reconhecida e unida à avaliação, com a criação de seu próprio cargo de chefia para cada Ministério e sua incorporação nos Comitês de Avaliação. 

Veja a comparação entre as duas políticas de avaliação do Canadá, a de 2009 e a válida atualmente: 

Sob a nova política, os Ministérios têm mais autonomia para decidir a periodicidade de condução de avaliações e quais questões seriam abordadas. As questões centrais também foram simplificadas, agora definidas apenas como relevância, eficácia e eficiência, permitindo que cada Ministério decida qual receberá maior foco.

Cada departamento do governo ainda precisa enviar um Plano de Avaliação ao Conselho do Tesouro, que defina as avaliações executadas nos próximos cinco anos, com a liberdade de decidir e justificar quais programas não serão incluídos.  

A Política sobre Resultados é acompanhada pela Diretiva sobre Resultados, que atualizou os procedimentos e padrões esperados para as avaliações. Criou-se uma nova estrutura de organização e divulgação da performance ministerial, o Modelo de Resultados Departamentais. Por fim, questões relacionadas à gênero e línguas oficiais do Canadá passaram a ser consideradas como elementos que devem ser levados em conta nas avaliações, visando reconhecer a diversidade do país.

Desde sua publicação, as orientações da Política sobre Resultados têm sido incorporadas em grande parte dos Ministérios. Atualmente, encontra-se em curso no Conselho do Tesouro uma avaliação desta política. Iniciada em 2022, a avaliação da Política sobre Resultados será concluída em 2025, quando suas recomendações serão divulgadas. 

A avaliação e revisão de políticas de avaliação evidenciam o pioneirismo do Canadá no campo da avaliação. Esse caso ilustra como a própria capacidade avaliativa de um país pode ser mobilizada em prol da construção de novas políticas de avaliação, contribuindo para uma gestão pública mais eficaz e transparente. 

Fontes 

CANADÁ. Directive on Results. 2016. Disponível em: <https://www.tbs-sct.canada.ca/pol/doc-eng.aspx?id=31306>. 

________. Directive on the Evaluation Function. 2009. Disponível em: <https://www.tbs-sct.canada.ca/pol/doc-eng.aspx?id=15681>. 

________. Evaluation of the 2009 Policy on Evaluation. 2015. Disponível em: <https://publications.gc.ca/collections/collection_2018/sct-tbs/BT22-206-2015-eng.pdf>. 

________. Policy on Evaluation. 2009. Disponível em: <https://www.tbs-sct.canada.ca/pol/doc-eng.aspx?id=15024>. 

________. Policy on Results. 2016. Disponível em: <https://www.tbs-sct.canada.ca/pol/doc-eng.aspx?id=31300>. 

________. Review of the Treasury Board’s 2016 Policy on Results Discussion Paper. 2023. Disponível em: <https://evaluationcanada.ca/files/PoR-Review-Discussion-202302.pdf >. 

________. Standard on Evaluation. 2009. Disponível em: <https://www.tbs-sct.canada.ca/pol/doc-eng.aspx?id=15688>. 

________. Treasury Board of Canada Secretariat 2023–24 Departmental Results Report. 2024. Disponível em: <https://www.canada.ca/en/treasury-board-secretariat/corporate/reports/treasury-board-canada-secretariat-2023-24-departmental-results-report-at-glance/treasury-board-canada-secretariat-2023-24-departmental-results-report.html >. 

OCDE. Evaluation Framework and Practices: A comparative analysis of five OECD countries. Paris: OECD Publishing, 2022.