Conduzir avaliações em tempos de COVID-19 (Coronavírus)

Conduzir avaliações em tempos de COVID-19 (Coronavírus)

As circunstâncias atuais nos levam a repensar a forma como trabalhamos para enfrentar os desafios éticos, conceituais e metodológicos que afetarão nossa capacidade de conduzir avaliações.

Jos Vaessen e Estelle Raimondocovid-19-coronavirus-quarantine-protection-disease-test

[Original: https://ieg.worldbankgroup.org/blog/conducting-evaluations-times-covid-19-coronavirus]

Nestes tempos de incerteza, quando uma pandemia está afetando nossas vidas profissionais e pessoais, somos confrontados com muitos fatores desconhecidos. Existem riscos e relações causais que ainda nem chegamos a imaginar, muito menos materializar. No entanto, decisões importantes devem ser tomadas agora, com informações imperfeitas. É um espaço desconfortável para se estar. É especialmente desconfortável para aqueles de nós que trabalham em funções de avaliação na área do desenvolvimento internacional – onde normalmente temos o luxo do tempo, operamos dentro de teorias da mudança claras e trabalhamos da melhor forma quando podemos misturar métodos, usar múltiplas fontes de dados e realizar entrevistas em profundidade com diversos atores envolvidos. Essas circunstâncias nos levam a repensar como realizar nosso trabalho avaliativo. Nesta postagem, discutimos três desafios principais – ético, conceitual e metodológico – que afetarão nossa capacidade de realizar avaliações. Em um post subsequente, discutiremos mais detalhadamente algumas opções metodológicas que podemos considerar.

Essa discussão foca no contexto das funções de avaliação (independentes) estabelecidas em organizações internacionais ou ministérios nacionais, que trabalham majoritariamente em avaliações programáticas mais abrangentes de programas setoriais, temáticos ou nacionais. Não levamos em consideração as intervenções relacionadas à COVID-19 que estão sendo formuladas, priorizadas e implementadas no momento – nossos colegas que trabalham com avaliação nas áreas da assistência humanitária e de respostas a emergências estão em melhor posição para discursar sobre esse tópico do que nós (recursos úteis para esse tópico estão disponíveis, por exemplo, através da biblioteca de recursos da ALNAP sobre avaliação, aprendizado e desempenho humanitários [em inglês]). Também não nos concentramos no trabalho avaliativo, inerente a projetos, que é relativamente “próximo ao chão” no sentido de coleta de dados em comunidades. A comunidade de avaliação de impacto tem sido bastante proativa em discutir os desafios éticos e metodológicos de realizar trabalhos de campo no âmbito de avaliações de impacto de intervenções específicas nos tempos da COVID-19 (consulte, por exemplo, recomendações sobre esse assunto de alguns de nossos colegas no Banco Mundial [em inglês]). As avaliações programáticas enfrentam diferentes tipos de desafios, pois coletam dados principalmente no nível institucional, por exemplo, em ministérios, órgãos de governos subnacionais ou parceiros de desenvolvimento.

Do ponto de vista ético, os planos de trabalho de avaliação inevitavelmente precisarão de ajustes. A consideração cuidadosa da relação risco-recompensa das atividades de avaliação se tornará mais determinante que o habitual. Em primeiro lugar, nos casos em que a avaliação é um componente essencial para determinar se e como as intervenções de saúde pública e outras intervenções prioritárias (por exemplo, redes de proteção social e segurança social para cidadãos (pobres)) funcionam, os avaliadores precisam estar na linha de frente não apenas para poder coletar os melhores dados possíveis e realizar as melhores avaliações possíveis para informar os tomadores de decisão durante a crise, mas também para substanciar debates cruciais que ocorrerão quando a crise estiver acabando. Devemos também lembrar que em vários países onde nossas organizações operam, especialmente em regiões fragilizadas e afetadas por conflitos, a COVID-19 é apenas um dos muitos desafios críticos enfrentados. Portanto, o trabalho operacional e avaliativo essencial também deve continuar. Vale a pena considerar expandir o arcabouço do Programme Criticality Framework da Organização das Nações Unidas [em inglês] para nossos processos de priorização de avaliações. Evidentemente, se as equipes de avaliação precisarem sair a campo e coletar dados, devem ser tomadas as precauções necessárias para proteger a equipe e os entrevistados.

Para outros setores e outros tipos de trabalho avaliativo (a maioria das avaliações programáticas se enquadram nessa categoria), os avaliadores devem, em primeiro lugar, preocupar-se em não exercer pressão desnecessária sobre um sistema público já sobressaturado. A melhor abordagem seria, portanto, reduzir (e priorizar) as interações diretas com colegas que trabalham operacionalmente em setores relacionados à crise, ao mesmo tempo em que se intensificam os esforços para realizar trabalhos avaliativos de maneiras diferentes, dadas as restrições. Uma consideração ética mais sutil é perguntar se as condições necessárias podem ser atendidas para que as avaliações sejam úteis – e utilizadas. Podemos esperar que nosso público-alvo escute? Os avaliadores devem estar atentos a todo o contexto, e não apenas contar com os mecanismos institucionais que regulam a produção de avaliações para preservar os “negócios como de costume”.

Seguindo em frente com planos de trabalho e desenho de avaliações, uma mudança conceitual precisa ocorrer. Em uma pandemia global das proporções que estamos enfrentando atualmente, os efeitos repercutem muito além do setor de saúde pública e dos efeitos (in)diretos da COVID-19 na saúde dos cidadãos. A pandemia global, as medidas de contenção impostas pelo governo e as mudanças comportamentais de empresas e cidadãos durante a crise podem ter efeitos significativos e duradouros em toda uma gama de questões de importância social e bem-estar dos cidadãos, incluindo o tamanho e estrutura da economia, taxas de emprego, segurança alimentar, níveis de pobreza e assim por diante. Agora e no futuro próximo, os avaliadores terão de refletir e levar em consideração os efeitos causais diretos e indiretos da pandemia sobre qualquer área ou questão temática que esteja sujeita a avaliações planejadas (e em andamento). Além disso, como muitos recursos públicos estão sendo direcionados para a crise, intervenções em andamento podem não ser implementadas conforme o planejado, pois parte dos recursos pode ser realocada para atender às necessidades relacionadas à crise. Isso tem implicações em como os avaliadores devem considerar essas intervenções.

De uma perspectiva metodológica, identificamos quatro principais desafios para os avaliadores.

O primeiro desafio diz respeito às restrições atuais à coleta de dados empíricos no nível institucional. Devido a restrições de viagem, mudanças nas prioridades institucionais e acesso institucional (como resultado das condições impostas de “lockdown”), alguns dos principais atores não estão disponíveis para entrevistas. Como resultado, os avaliadores podem recorrer à amostragem por conveniência, estando propensos ao viés de seleção.

Segundo, qualquer exercício de avaliação será significativamente restringido devido à incapacidade de realizar coleta de dados no campo. Os avaliadores terão dificuldade para desenvolver uma perspectiva rica e contextualizada do objeto avaliado. Estratégias de coleta de dados como observação não intrusiva, construção de relacionamento com as partes interessadas (observação de costumes locais e normas culturais), bem como todo tipo de questionamento indutivo (incluindo amostragem local de entrevistados em bola de neve) não serão possíveis. A entrevista remota (por telefone, teleconferência) constitui apenas uma solução parcial para esse desafio. Ela apenas alivia parcialmente o problema de acesso e é propensa a vieses (especialmente quando as entrevistas abordam tópicos complexos ou sensíveis).

O terceiro desafio está intimamente relacionado aos dois primeiros – é justo dizer que, mesmo antes da COVID-19, algumas avaliações programáticas poderiam estar sujeitas a algum tipo de “viés do governo central” em sua coleta de dados. Dependendo da natureza da avaliação, é provável que muitas entrevistas envolvam atores do governo nacional diretamente envolvidos no planejamento, financiamento e implementação de intervenções. As entrevistas com as partes interessadas nos níveis mais baixos do governo (por exemplo, subnacional) e especialmente nas áreas rurais podem ser mais difíceis de planejar nas circunstâncias atuais, reforçando o viés mencionado.

Finalmente, um quarto desafio diz respeito a utilizar o potencial completo de revisões e análises executivas. Os avaliadores são cada vez mais revisores e sintetizadores de conhecimentos e dados existentes. Revisões de portfólio, revisões de estratégia, revisões estruturadas de literatura acadêmica e institucional (e assim por diante), na medida do possível, podem ser antecipadas e conduzidas de maneiras mais rigorosas e inteligentes. Isso também vale para a análise de dados existentes, tanto convencionais (por exemplo, dados corporativos, dados de pesquisas) quanto dados “grandes” (por exemplo, dados de imagens, dados de redes sociais). Um exemplo deste último é à área da análise de texto em combinação com as técnicas de aprendizado de máquina (não) supervisionadas, que oferecem novas maneiras de conduzir análises avaliativas de conteúdos textuais existentes em documentos e na internet.

Em nossa próxima postagem, discutiremos alguns desses aspectos em mais detalhes e ofereceremos uma estrutura que pode ajudar os avaliadores a considerar mais profundamente essas questões metodológicas ao projetar e conduzir avaliações nas circunstâncias atuais.

Comentários