Sorteio de beneficiários para Avaliação de Impacto: O caso do Programa Novotec

Caio de Souza Castro, doutorando em Economia na FGV EESP e pesquisador no FGV EESP CLEAR.

Publicamos recentemente no blog do FGV EESP Clear um post explorando o que é a Avaliação de Impacto e o modelo experimental, que é considerado por muitos avaliadores como o padrão ouro desse tipo de avaliação. Entretanto, um dos grandes problemas de realizar avaliações experimentais consiste no fato de que ela requer obrigatoriamente que os beneficiários tenham sido selecionados de forma aleatória, o que não condiz com a realidade de muitos programas e políticas públicas. 

Alguns programas são focalizados em grupos muito específicos (e com razão), como por exemplo os programas da assistência social, ou de direitos humanos. Há outros programas que, mesmo universais (saneamento, serviços de saúde, oferta de educação, por exemplo), possuem uma focalização “implícita”, na medida em que alguns grupos necessitam deles com mais urgência. Além disso, mesmo quando a oferta é universal, nada impede que alguns fatores externos de desigualdade tornem o acesso mais difícil para alguns beneficiários. 

O campo das políticas públicas carece de casos nos quais os beneficiários de um programa são selecionados de forma aleatória. Essa é a forma de seleção utilizada no caso do Novotec, programa da Secretaria de Desenvolvimento Econômico do Estado de São Paulo (SDE), no Brasil, e que o FGV EESP Clear está avaliando. Essa avaliação só foi possível porque a SDE e o Clear firmaram um Acordo de Cooperação. 

O que é o Novotec? 

O objetivo do Novotec é ampliar a oferta de ensino técnico e profissionalizante no estado. O programa oferece cursos técnicos e profissionalizantes gratuitos, orientação profissional e oportunidades de estágio para jovens do Estado de São Paulo.  

Estudantes de escola estadual de São Carlos, no interior de São Paulo. Foto: Divulgação/Governo de São Paulo.

Uma de suas modalidades é o NOVOTEC Integrado. Nesse modelo específico da política, o aluno faz o curso técnico integrado às suas turmas e disciplinas do Ensino Médio em uma escola da Secretaria de Educação do Estado de São Paulo (Seduc). Isso é feito no mesmo período em que estuda (manhã ou tarde), durante os três anos desta fase escolar. Ao final, ele sai com diploma técnico e certificado de conclusão do ensino médio, sem aumento da carga horária. Atualmente, essa modalidade oferece os seguintes cursos: administração, contabilidade, comércio exterior, desenvolvimento de sistemas, técnico em finanças, guia turístico, informática com foco na internet, logística, marketing, recursos humanos, serviços jurídicos e serviços públicos.  

Como as vagas são distribuídas? 

Em 2021, o processo seletivo de alunos Novotec Integrado foi realizado por sorteios. As inscrições aconteceram no portal online da Seduc, onde todos os alunos concluintes do Ensino Fundamental em 2020 se inscreveram para o Ensino Médio no ano seguinte. O sistema permitiu então que cada aluno manifestasse interesse em participar do Novotec Integrado, escolhendo uma escola e curso de preferência. 

Algum tempo depois, devido ao excesso de demanda pelo programa, a SDE alocou vagas entre os alunos cadastrados no portal online da Seduc por meio de sorteio.  No processo de alocação das vagas, as turmas foram definidas a partir da combinação de um curso e escola. Os inscritos em cada turma foram então separados de acordo com o sexo, formando então dois estratos por classe. Para cada turma, metade das vagas foram reservadas para meninos e metade para meninas. Efetivamente, o sorteio acontecia sempre que havia excesso de demanda em um determinado estrato (por exemplo, mais meninos matriculados naquela turma do que o total de vagas dividido por dois). 

Nos estratos em que é identificado excesso de demanda, os alunos foram sorteados aleatoriamente, recebendo um número. Esse número foi utilizado para ordenar os alunos, respeitando o critério de gênero, como já mencionado, e um critério de distância: foi dada prioridade para alunos que estavam localizados em um raio de até dois quilômetros entre a escola atual onde o aluno estava matriculado quando fez a inscrição no portal da Seduc e a escola onde o curso do Novotec seria ministrado. Os primeiros da lista receberam então a oferta de uma vaga e puderam se inscrever. No caso em que as vagas não são preenchidas por aqueles sorteados inicialmente, é anunciada uma segunda chamada para os indivíduos na lista. Isso é repetido até que todos os assentos sejam ocupados.

Para ilustrar o procedimento, apresentaremos um exemplo. Cada retângulo representa um aluno. As cores representam o gênero: roxo para meninas e azul para meninos. O contorno representa o raio da distância: as linhas pontilhadas representam uma distância maior que dois quilômetros. Primeiro, geramos um número aleatório para cada aluno.

Em seguida, ordenamos os candidatos seguindo o número aleatório, respeitando: (i) gênero; (ii) distância.

Supondo que essa turma tenha seis vagas (três para cada gênero): entre as meninas, Valentina, Manuela e Laura recebem a oferta de matrícula. Entre os meninos Gabriel, Matheus e Bernardo recebem oferta de matrícula.

O Caso Novotec como uma oportunidade para avaliação de impacto

O sorteio do Novotec apresenta uma oportunidade para os gestores públicos: estudar o programa a partir da seleção realizada através de sorteios permitirá obter resultados mais robustos no que diz respeitos aos efeitos causados pelo programa.

O desenho de avaliação de impacto experimental vai possibilitar estimar a existência e magnitude dos impactos do Novotec Integrado sobre indicadores de resultados educacionais e de mercado de trabalho dos estudantes, por exemplo, e gerar evidências importantes para o debate acerca de programas de educação técnica.

O uso de sorteios é útil quando falamos de avaliações de impacto pois permite a criação de grupos comparáveis: aqueles que são tratados e não tratados foram decididos de forma aleatória, o que faz com que a diferença entre eles, caso a aleatorização seja feita de forma correta, seja dada pela intervenção analisada.

Além disso, no caso específico do Novotec Integrado, o sorteio é utilizado apenas nas situações em que há excesso de demanda por parte dos alunos para determinado curso. No mundo ideal, todos os alunos fariam o curso de sua opção, o que, por questões de infraestrutura disponível, não é possível. Sendo assim, o sorteio seria uma forma mais justa de alocar as vagas do que outro mecanismo arbitrário.

Confira as dicas a seguir para saber mais sobre o tema:

FGV EESP Clear – Avaliação de Impacto: caminho para conhecer os efeitos de uma política pública

Nexo Jornal – Glossário – Avaliação de Impacto Experimental

Nexo Jornal – Avaliação e uso de evidências em educação

Agradecimento a Gustavo Costa, residente no FGV EESP Clear do Programa de Aprendizagem Prática para Jovens Avaliadores da GEI, pela leitura e sugestões.