Daniel Cerqueira: monitoramento e avaliação funcionam como uma vela no escuro para as políticas públicas

Denise Neumann, jornalista e concluinte do mestrado profissional em gestão e políticas públicas da FGV Eaesp

O Estado do Espírito Santo foi pioneiro em formalizar e colocar em lei um processo de monitoramento e avaliação (M&A) de políticas públicas. E agora, seguindo sua própria máxima de que em políticas públicas, ao contrário do futebol, o gestor mexe em time que está ganhando, o diretor-presidente do Instituto Jones dos Santos Neves (IJSN), Daniel Cerqueira, traça novos desafios para o Estado: ampliar parcerias com a academia e institutos externos para avançar em avaliações de impacto; disseminar a cultura de avaliação entre os municípios capixabas; e começar a integrar bases de dados diversas como as de saúde, segurança e educação, criando uma espécie de censo estadual a partir dos registros administrativos do Estado.

O IJSN é, por lei, o coordenador técnico do plano capixaba de avaliação de políticas públicas. Desde 2018 já foram três ciclos completos e mais de oito políticas públicas avaliadas no detalhe. Em 2021, está em execução o quarto ciclo. Economista, Cerqueira assumiu o Instituo em 2020, e conta que teve um choque positivo. Ao contrário do que viu acontecer a nível federal — ele é pesquisador de carreira do Instituto de Pesquisa Econômica Aplicada (Ipea) —, no Estado as secretarias querem ser avaliadas. “Com nosso quadro muito restrito de pessoal, cada vez que algum secretário chega na reunião, já fico tremendo de medo, porque eu já sei que ele quer que a gente avalie tudo”, conta.

O Sistema de Monitoramento e Avaliação de Políticas Públicas (Simapp) do Estado do Espírito Santo foi instituído por meio da Lei Estadual 10.744 de 5 de outubro de 2017. Seu modelo de funcionamento foi desenhado ao longo de quase três anos de estudos e articulações dentro do governo, coordenados pelo IJSN, a partir de experiências internacionais e esforços brasileiros. Contou com apoio técnico do FGV EESP Clear, Insper e Instituto Ayrton Senna. No modelo há um núcleo estratégico que define que as políticas serão avaliadas; no núcleo técnico, coordenado pelo IJSN, está institucionalizada a participação dos órgãos finalísticos, a quem cabe executar as políticas públicas e implementar as mudanças sugeridas a partir das avaliações.

A seguir os principais trechos da entrevista concedida por Daniel Cerqueira, onde ele discute os aprendizados da experiência capixaba e os desafios para fazer avançar a agenda de monitoramento e avaliação de políticas públicas.

Por que é importante monitorar e avaliar políticas públicas?

A avaliação e o monitoramento de políticas públicas funcionam como uma vela no escuro. Em um mundo complexo, o governo tendo que tomar decisões sobre onde alocar recursos, tem que decidir: o que é que funciona? Será que eu vou investir meus recursos em comprar cloroquina ou em vacina? O que vai dizer qual é a resposta é exatamente a ciência, saber o que funciona, o que não funciona. E para saber isso, o que é eficaz, o que é efetivo, tem que haver exatamente a avaliação, avaliação de eficácia, avaliação de impacto. As políticas baseadas em evidências são exatamente essas ferramentas que permitem ao gestor fazer a alocação mais eficiente dos recursos públicos no sentido de gerar bem-estar para a sociedade. Sem avaliação, é como andar no escuro.

O Espírito Santo foi pioneiro na institucionalização de uma política de M&A e está no quarto ciclo. Quais foram os principais aprendizados nessa trajetória?

É um processo. Desde 2012, o Espírito Santo é um Estado nota A, em termos de capacidade de pagamento da Secretaria de Tesouro Nacional. Houve um processo de ordenação das contas públicas, da boa gestão. O passo seguinte era exatamente aprimorar isso e fazer avaliação e monitoramento. Nós estamos ainda em processo de aprendizado. No primeiro momento, em 2017, foi instituído o Simapp por uma lei que criou sua arquitetura institucional em três níveis: estratégico, tático e operacional. A partir daí, a cada ano tinha que ser feito um ciclo de avaliação e monitoramento, estabelecido a partir de definições do governador e discutido pelo núcleo estratégico. Esse plano de avaliação anual é explicitado por um decreto a cada mês de março. Começamos em 2018, já foram três ciclos e estamos no de 2021.

Nesses ciclos há algum tipo de avaliação prioritária?

As avaliações são de quatro naturezas. A primeira é de avaliações ex ante, basicamente para ver se aquela ação de política pública está conectada, em termos de consistência, verificar qual é o problema, quais as causas do problema, se os remédios são adequados, se a arquitetura institucional da política é adequada. Fazemos também uma avaliação de monitoramento, propriamente dita, que é o seguinte: a gente tem um plano e aí tem que implementar o plano, mas será que o plano está sendo implementado da forma como a gente queria anteriormente? Será que existem alguns desvios? Será que existe algum problema que a gente pode imediatamente tentar reordenar, consertar aquele pequeno problema? E existem as avaliações que a gente considera a cereja do bolo, que são as avaliações de impacto, as avaliações ex post. Nelas, a gente não quer simplesmente olhar se houve um resultado ou não. Quando você faz uma política, por exemplo, para diminuir o desemprego, e o desemprego diminui, você não sabe se o desemprego diminuiu por conta da política ou em função de outras razões, de natureza macroeconômica ou ainda de outros motivos que a gente nem consegue imaginar. Para saber se a política teve efetividade ou não, tem uma técnica científica utilizada para avaliar esse impacto. Além disso, a gente faz pequenas avaliações que a gente chama de executivas. A partir dos dados que existem, com o programa já em andamento, a gente procura avaliar se as coisas estão vindo a contento, se há alguma sugestão para melhorar uma ação que está sendo implementada. Ao longo desses três ciclos já avaliamos oito programas nas áreas da educação, segurança pública, assistência social, cultura, entre outros.

Já que o Simapp precisa avaliar políticas de áreas muito diferentes, como vocês fazem para capacitar as equipes? Fazem parcerias?

Eu vou falar do que aconteceu e do que a gente vê daqui para frente. Basicamente, a partir de uma definição do núcleo estratégico do governo, a gente se organiza para conseguir que a nossa pequena equipe, junto com parceiros, execute aquela avaliação. Até o momento, a maioria das avaliações que fizemos foram ex ante, de monitoramento ou executiva. Estamos caminhando cada vez mais para conseguir fazer avaliações de impacto, cuja natureza metodológica é mais complexa. Até o momento, as avaliações foram feitas pela prata da casa, por pesquisadores aqui do Instituto Jones, mas eu considero que um sistema de avaliação de políticas públicas deva ser um sistema misto, que não pode ser um encargo apenas de um órgão de Estado. Isso por duas questões principais: a primeira é que por mais organizado, por mais pessoal que um instituto de pesquisa tenha, ele não tem capacidade para avaliar tantas políticas. Falta braço. No IJSN nós estamos em uma situação muito difícil porque as pessoas foram saindo ao longo do tempo e hoje estamos com algo como menos de 30% da nossa capacidade de pessoal, segundo a lei. Tanto é que a gente conseguiu com o governador fazer um concurso público. Somos a única organização, fora das polícias e da Fazenda, que vai fazer concurso público em 2021. A segunda razão é que o órgão público não pode, sozinho, ficar fazendo todas essas avaliações; é fundamental que ele conte com uma parceria da academia para haver uma troca de conhecimento, uma oxigenação. Além disso, é fundamental do ponto de vista de conferir uma maior credibilidade. Há sempre aquele risco, por mais sério que você faça o seu trabalho, de as pessoas pensarem: ‘Isso é chapa branca, falou bem do governo’. E nossa intenção, aqui no Instituto Jones, é exatamente, nesse sentido: estamos fortalecendo a capacidade técnica do instituto, mas ao mesmo tempo queremos avançar nesse processo de fazer parcerias cada vez mais intensivas com universidades e outras entidades, como o FGV EESP Clear.

E como sido reação e a participação do gestor que está sendo avaliado, do órgão finalístico? Teve resistência no começo? Eles entendiam como um julgamento? Como é que vocês trabalharam isso para que eles entendessem o M&A como uma contribuição para a melhoria da política pública?

Esse é um aspecto muito interessante. Eu sou pesquisador do Ipea desde 1996 e também contribuí no processo de criação do CMAP [Comitê de Monitoramento e Avaliação de Políticas Públicas], do governo federal. E o que a gente via nesse cenário era o medo dos gestores. Uma coisa muito delicada era escolher qual era a política que ia ser avaliada, era uma questão que gerava conflito, gerava até crise política. Quando eu cheguei aqui, no Espírito Santo, eu tive um choque positivo. Aqui é exatamente o inverso. As secretarias entram em contato com o Instituto porque querem ser avaliadas. É uma coisa de louco. Com nosso quadro muito restrito de pessoal, cada vez que algum secretário chega na reunião já fico tremendo de medo, porque eu já sei que ele quer que a gente avalie tudo. Só para dar um exemplo: a gente fez uma reunião com a Secretaria de Agricultura e ele falou: ‘Olha, nós temos o programa A, B, C, D… queremos que vocês avaliem tudo’. Eram quarenta programas! Eu fiquei perplexo com aquilo! A imagem que eu tinha na cabeça era daquela pequena aldeia gaulesa invadindo os romanos.

Então já havia uma cultura…

Têm vários aspectos positivos aqui que contribuem na direção de promover essa cultura de avaliação. Primeiro é a organização de governo. Aqui existe um governo muito organizado e, pelo que eu vejo, pessoas extremamente comprometidas e abertas com essa ideia de M&A. Quando a gente fala ou faz, a partir de alguma pesquisa, alguma crítica: ‘Olha, ali pode melhorar, podia ser por ali’… isso é muito bem recebido. Tem um exemplo muito bom: a gente fez uma avaliação do Fundo de Cultura, que dá financiamento para vários projetos de natureza bastante diferentes no campo da cultura no Estado. Isso nunca tinha sido alvo de avaliação, não se sabia exatamente quais eram as linhas que existiam, como é que isso era feito, qual era o processo que acontecia. Foi um trabalho intenso do IJSN, em parceria com a Secretaria de Cultura, afinal eram muitos documentos e na época eram documentos em papel, não era nem digital. Foi preciso organizar a base de dados, um trabalho antropológico, de ir lá pegar os papéis, organizar, digitar. Quando se organizou e se fez a análise desse processo, descobriu-se várias coisas que poderiam ser melhoradas, e imediatamente o secretário de Cultura assimilou e já mudou. A pesquisa não foi nem publicada e já gerou mudanças nos processos da Secretaria de Cultura.

E você acha que a Emenda Constitucional 109 pode ajudar a expandir essa percepção da importância de M&A para outros Estados e também municípios?

Minha opinião é o seguinte: o processo de produzir cultura da avaliação é muito mais do que uma lei. Uma lei é importante, cristaliza o arcabouço legal, mas eu acho que há a necessidade de um intenso trabalho do governo de colocar recursos nessa direção. Por exemplo, ali se fala, salvo engano, de levar essa avaliação para as unidades federativas, inclusive o município. Como é que vai fazer isso? Ainda são poucos Estados que pensam em avaliação, muito menos os que têm um sistema como o nosso. E para municípios, isso é uma linguagem alienígena. Eu acho que a lei é uma coisa importante, mas sozinha ela pode ser uma letra morta, se não houver recursos efetivos, a partir de uma estratégia de planejamento do governo federal articulado com os governos estaduais, chamando, eventualmente, os municípios, as capitais. Dentro desse processo, eu acho que precisa ter, primeiro, um plano, e a partir desse plano precisa ter uma articulação. Não é só pensar a lei, mas pensar um plano. Daqui a 20 anos a gente quer um Brasil com cultura de avaliação, então o que que a gente precisa fazer?

E o que é preciso fazer para expandir essa cultura?

Ao pensar no futuro, a gente precisa fazer uma engenharia reversa. O que a gente precisa fazer a cada ano para trilhar essa trajetória e plantar esse futuro? Eu não sei se isso foi feito, não vejo sendo feito. Aqui no Espírito Santo, a gente tem uma ideia sobre isso.Para o futuro, em termos de avaliação, a gente não apenas quer qualificar o nível técnico interno do instituto, mas aprofundar a parceria com as universidades e outros institutos externos, e por outro lado levar essa ideia da cultura da avaliação para essa última fronteira, que são os municípios. Já dando esse pontapé inicial, e aproveitando que houve uma eleição e entraram novos gestores, a gente criou um negócio que a gente chamou de Academia de Gestão Municipal, a AGM.

Como funciona essa AGM?

A gente percebe a dificuldade, muitas vezes, dos gestores municipais em executar determinadas políticas; às vezes o prefeito, a prefeita entra ali e não sabe muito bem como é que a banda toca, o que é preciso fazer. A gente também sabe que a qualidade da capacidade de gestão municipal é um dos elementos do desenvolvimento. Pensando nesse quadro, bolamos um curso para prefeitos, secretários e gestores municipais do Estado do Espírito Santo, que ficou mais fácil com a videoconferência. Tínhamos uma ideia de ter uns duzentos inscritos pois são 78 municípios, mas em três dias chegamos a 1.079 inscritos e tivemos que fechar as inscrições por limite de capacidade técnica. Temos prefeitos, secretários e gestores de 73 municípios. É um curso de seis meses, com vários pontos, desde captação, questões finalísticas de várias áreas, sobre o que funciona, não funciona. E imerso em toda essa grade tem essa ideia de política pública baseada em evidências, de avaliação. Assim a gente está levando essa cultura para os municípios. Obviamente isso não é suficiente. Como é que eles vão fazer? Eu acho que a gente tem um papel de ajudar, como instituto de pesquisa estadual, a fazer uma rede, entrar no meio de campo, tanto ajudando o município como fazendo uma ponte com a academia. Enfim, ainda temos que pensar nisso tudo.

Como a experiência de M&A do Espírito Santo foi utilizada na estratégia do Estado de combate à pandemia de covid-19?

Tem uma característica muito própria do governador, que é um total comprometimento com a vida. Ele ficou muito focado nessa questão e imediatamente reuniu vários setores do governo e criou um núcleo interinstitucional, um núcleo de epidemiologia, em que foram convidados professores da Universidade Federal do Espírito Santos [Ufes]. Criou-se o grupo de gestão e enfrentamento da pandemia. E esse grupo se reúne toda semana. São pesquisadores da Ufes, técnicos da Defesa Civil, do Corpo de Bombeiros, da Secretaria de Saúde. E é tudo feito a partir de uma matriz de risco, que enquadra os municípios em risco baixo, médio, alto. Toda semana esse risco é avaliado e à medida que o município evolui de um grau de risco para o outro, aumenta o risco ou diminui, as ações que têm que ser implementadas naquele município mudam.

Você costuma falar que em política pública, ao contrário do futebol, é preciso mexer em time que está ganhando. O que isso significa em políticas públicas?

Vamos imaginar que a gente queira fazer uma política social para reduzir a pobreza. E que a gente fez um plano muito bem feito, baseado nas melhores práticas internacionais. O plano deu tão certo que acabou com a pobreza e, portanto, não é mais necessário. Ou, de outra forma, no futuro, aquele plano, por mais bem feito que seja, tem que mudar porque os problemas estão mudando, eles não ficam estáticos, os desafios vão mudando.

Algum exemplo do Espírito Santo?

O Estado Presente [política pública de segurança capixaba]. O Espírito Santo chegou a uma taxa de homicídio de quase sessenta por cem mil habitantes. Naquele momento, se verificou que em alguns polígonos territoriais havia mais violência. Identificou-se quais eram as questões ali, foram feitas intervenções no plano policial e também de cuidado social e se conseguiu diminuir os homicídios no Estado de forma paulatina ao longo dos anos. Só que vai chegando um momento em que o problema muda de figura. E como que a gente faz para diminuir ainda mais o nível de homicídios? Os instrumentos e os planos que foram feitos antes já não dão conta desses novos desafios. Tem que aprofundar, usar outros meios, como ferramentas de inteligência artificial para identificar grupos de criminosos; tem que melhorar a integração de base de dados para que você possa fazer uma política social, não só focalizada, como diria o PB [economista Ricardo Paes de Barros], mas uma política customizada. Se a gente quer, por exemplo, fazer uma política que perdure, não só para um, dois, mas dez, 20 anos, a gente tem que pensar nas nossas crianças, na primeira infância. Isso significa dizer o seguinte: quem são essas crianças vulneráveis? Onde é que nós vamos achá-las? Não tem nenhum cadastro disso, se a gente fosse no censo, a gente estaria perdido, porque o censo já tem mais de dez anos, não serve para nada e não vai ter censo agora. Como a gente vai achar essas crianças? Essas crianças existem e elas estão presentes nos registros administrativos do Estado, elas nasceram, existe geralmente uma certidão de nascimento. Elas frequentaram o serviço de saúde, o Saúde da Família foi lá, entrevistou aquelas famílias. Depois, a criança eventualmente entrou no sistema educacional; então, o Estado tem muitas informações que estão perdidas, em silos separados de informação.

E como fazer essa integração de informações do Estado?

Esse é outro assunto bastante complexo para o qual estamos voltados. A gente fez uma conversa com o governador e ele concorda com isso. Nossa estratégia que é a seguinte: pensar grande no futuro e agir pequeno no curto prazo. Se pegarmos os países nórdicos, a Holanda, eles não fazem mais censos como os do IBGE [Instituto Brasileiro de Geografia e Estatística] desde os anos 1980. O que eles perceberam? Que fazer o censo era caríssimo e essas informações já estavam no interior do estado. Faltava integrar. Eles demoraram dez anos para integrar as bases de dados e foram cruzando e integrando diferentes registros administrativos. Ao final desse processo, quando eles conseguiram comparar o resultado do censo com o resultado de cálculos feitos a partir dos registros administrativos, eles chegaram à conclusão que os resultados estavam equivalentes, e disseram: ‘Olha, nosso sistema está tão bom que a gente não precisa mais de censo. Então, a gente pode caminhar com o sistema administrativo, que é um décimo do preço do censo’. E eles fazem isso desde os anos 1980, não tem novidade. Só que o Brasil está muito atrasado nisso por problemas de várias naturezas.

É uma questão cultural?

Sim, a primeira questão é de natureza cultural. Muita gente que ainda resguarda o seu quinhão de poder das informações. Temos que quebrar isso. O outro ponto é que o Estado, não só o brasileiro, é organizado de forma burocrática, weberiana, setorialmente. Nesse modelo, informação é um elemento para dar andamento a um processo. O cara que está lá na saúde, na educação, preenche uma ficha porque precisa levar adiante um processo, ele não está muito preocupado se a qualidade e acurácia da informação para fins estatísticos está correta ou incorreta, sabe? Ele quer resolver o problema. E muitas vezes aquela informação como necessária para resolver um processo dele fica guardada numa ilha, ou num silo isolado de informações, mas não é vista como uma mina de ouro para fazer políticas públicas. E como o Estado foi organizado dessa forma setorial ele tem, muitas vezes, a obrigatoriedade do sigilo daquela informação. Uma parte do governo não pode dar informação para outra parte porque tem que manter sigilo. Aí a gente não consegue fazer política pública analisando com mais profundidade os dados que já dispomos, mas que estão dispersos e não disponíveis.

E os outros obstáculos?

É preciso um marco legal que preserve a segurança dos gestores, dos produtores de informação. Tem que ter algum órgão que centralize essas informações e um protocolo de segurança: quem tem que dar cada informação, quem pode ler aquela informação e como ela vai ser usada. Mas essa ideia do sigilo, do não poder compartilhar informação, muitas vezes também é usada como uma desculpa. Então, tem que vencer primeiro o obstáculo cultural; segundo, o obstáculo legal; e terceiro, tem obstáculos técnicos. Para você fazer um processo de integração de dados não é simples. Por quê? Porque os dados muitas vezes foram produzidos de forma muito ruim, muitas vezes os dados não tão bons estão em papel, às vezes ele está em um computador perdido em alguma sala por aí, então você tem que pensar em uma forma de integrar. A forma que nós estamos pensando em fazer no Espírito Santo, como eu comecei no início dessa resposta, é pensando grande. Onde a gente quer chegar daqui a dez anos? O Espírito Santo quer ser o primeiro Estado a ter uma base de informações sociais a partir de registros administrativos integrados para a gente poder pensar em fazer políticas públicas customizadas, coisa para daqui quinze anos, dez anos. Como é que a gente vai chegar lá? Não adianta pensar em fazer um grande sistema que vai congregar todas as informações, isso não dá certo. Vamos começar a integrar poucas bases. Quando você começa a integrar duas bases, percebe vários problemas ali e começa a entender porque os problemas estão acontecendo e você já melhora, qualifica o dado. Aí, você consegue integrar, aí você junta mais uma, e vai juntando as bases de dados.

Como numa corrente…

Eu acredito que são quatro pilares que são fundamentais para gente poder integrar essas bases. Uma são as pessoas e as famílias; o segundo são os domicílios, onde eles estão; o terceiro são as empresas; e o quarto é o território, então tem famílias, domicílios e empresas que estão sediadas no território. Você tem um conjunto de informações em uma base já georreferenciada. Cada um desses pilares é um desafio enorme. E estamos começando no primeiro, olhando as pessoas.  E estamos começando com poucos eventos que geram um registro ativo. E porque eu trabalho com segurança, a gente começou com a morte. A gente está integrando o básico do sistema de informação de mortalidade do Ministério da Saúde com os dados da polícia, depois a gente quer integrar outras bases da saúde nisso, de violência, de internação hospitalar. Uma certamente vai ser mais rica, mas vai dar mais trabalho, vamos ter que pensar em uma estratégia inclusive de chamar os municípios. A gente tem que ir caminhando aos poucos, vai juntando, vai integrando aquelas bases. É com esse princípio que sabemos onde queremos chegar daqui a dez, 15 anos.