O “ranking do ENEM” às vésperas da primeira década

Imprimir

Índice deste artigo

“Ranquificando” o mundo

Erros comuns quando falamos do ENEM

Inovações recentes enriquecem os dados

Indicadores do contexto da escola, incluídos nos últimos dois anos

Para além dos rankings

Futuras melhorias?

Como avaliar as escolas?

Há três anos defendi tese de doutorado mostrando como a forma de publicação dos resultados do ENEM por escola informava mal a sociedade brasileira, especialmente levando em conta as diferenças entre as condições de trabalho de cada escola. Embora fosse esperada uma alta influência das condições externas à escola, o que espantou muita gente foi a estimativa de que quase 80% da média da escola poderia ser explicada por fatores sobre os quais os educadores não podem intervir. Veja bem, estamos falando da “nota da escola” e não da nota do aluno, que são coisas diferentes, assim como o todo nem sempre é a soma das partes.

Quando critiquei a publicação do ranking, recebi de volta algumas críticas de pais que defendiam seu direito à informação. Críticas legitimas, a sociedade tem direito a se informar sobre a qualidade dos serviços disponíveis. O problema é que não basta ter informação, é preciso ter informação confiável, completa. E que tipo de informação nos dá o ranking de escolas do ENEM, já que 80% dele é determinado por fatores fora do controle da escola?

Que informação é esta, quando boa parte das escolas no topo do ranking nem são propriamente escolas? Segundo matéria do G1, "metade no 'top 20' do Enem recebe maioria dos alunos no ano da prova”. Ou seja, não participaram de nenhum dos outros 11 anos de escolaridade básica, mas levam todo o mérito. Uma outra matéria, do Estadão, afirma que “a primeira colocada no ENEM não é uma escola, é uma artimanha jurídica que faz com que os alunos tenham suas notas computadas em duas listas diferentes”. Um detalhe importante: as duas matérias se baseiam nos novos dados divulgados pelo INEP, o que mostra a importância de se usar as informações disponíveis, limitadas porém ricas, para ir além dos rankings.

Erros comuns quando falamos do ENEM

- Existe uma única média da escola no ENEM? Não. Hoje o INEP divulga cinco médias independentes por escola. É a imprensa que calcula uma média (incluindo ou excluindo a redação) por escola. É bom lembrar que o SISU permite às universidades usarem as cinco notas do ENEM como quiserem. E, portanto, a média por escola pode não significar exatamente a probabilidade de admissão em algumas faculdades. O principal fator diferencial, aqui, é incluir ou não a redação.

- Se aproximadamente 80% da nota da escola é explicado por fatores socioeconômicos, os alunos mais pobres estão praticamente fora do ensino superior? Não. Este percentual se refere à escola, não ao aluno. Para o aluno, os fatores socioeconômicos podem explicar entre 15% e 30% de sua nota no ENEM.

- As notas de uma pessoa em dois anos diferentes são comparáveis? Sim. Ao menos desde 2009, quando o INEP começou a utilizar a Teoria da Resposta ao Item (TRI) no ENEM.

- As notas de um grupo de pessoas em dois anos diferentes são comparáveis? Não. Por exemplo, se a nota de Ciências Naturais piorou na cidade de São Paulo entre 2011 e 2014, isso não significa necessariamente que São Paulo como um todo piorou. Porque as pessoas que fazem o ENEM não representam todas as pessoas da cidade – em “estatistiquês”, não são uma boa amostra. O perfil dos candidatos pode mudar de um ano para o outro, alterando a nota para cima ou para baixo.

Nesse sentido, é preciso reconhecer que, mesmo com deficit de técnicos e profissionais (segundo notícia do UOL), o INEP vem se aprimorando ano a ano. E é gratificante perceber que, dois anos passados da minha defesa, algumas ações do INEP se alinharam com certas críticas presentes na tese (como a inclusão de novos indicadores sobre a escola – ver Box 2). Isso permitiu análises mais aprofundadas, que agora coabitam os meios de comunicação, juntamente com as seleções de “piores” e “melhores” que estão por aí desde 2006, quando começou o ranking. Afinal, há algum instinto ancestral do Homo Sapiens que o leva a criar e adorar rankings.

“Ranquificando” o mundo

Poucas destas 20 melhores são de fato escolas – talvez sejam cursinhos de elite, talvez bolhas de excelência ou simplesmente vitrines bonitas – mas isso não interessa: o “instinto do ranking” é mais forte. Vou dar um exemplo. No dia 5 de agosto deste ano foram divulgadas as médias por escola do ENEM 2014. Um detalhe é que o INEP não divulgou uma única média por escola, mas sim cinco médias independentes, além de diversos outros indicadores para cada escola. Como disse o presidente do Instituto, Francisco Soares, as informações permitem que se faça diversas comparações entre semelhantes, o problema é achar que existe um único ranking possível. E soma-se a isso o problema da supervalorização deste ranking que nem foi feito pelo INEP.

Para se ter uma ideia do nível de “rankificância”, passada uma semana da publicação das médias, no dia 12 de agosto, fiz uma pequena comparação com a ferramenta de notícias do Google. Havia mais de 120 notícias citando o trio de palavras “enem”, “escola” e “ranking”. E apenas 5 notícias, trocando a palavra “ranking” por “resultado”.

Não se trata aqui de criticar o INEP, que faz seu trabalho de produção e divulgação de informações estatísticas sobre a educação, tampouco de criticar a grande mídia, que responde aos anseios e curiosidades do grande público. Trata-se apenas de constatar esta limitação, cerebral ou cultural ou ambos, que nos faz valorizar mais o primeiro lugar do que o terceiro, desde a corrida de saco até os resultados do PISA. Isso até parece divertido no mundo dos jogos, mas pode ser perigoso na avaliação de escolas, especialmente quando supervalorizado. Pode criar, por exemplo, o conhecido efeito: “o de cima sobe e o de baixo desce”.

O valor mercadológico do “ranking do ENEM” é inquestionável, até porque o mercado sabe o real valor de um exame de admissão para universidades boas e gratuitas num país como o Brasil. Mas o valor “científico” destes dados, por outro lado, é bastante limitado. Não se pode, por exemplo, afirmar coisas básicas como “a nota de São Paulo melhorou no ENEM e portanto São Paulo melhorou”. Um tipo de erro que tem sido bem comum, aliás. No Pós Doutorado que acabo de terminar, não usamos os dados do ENEM para comparar escolas, exatamente porque notamos muitas limitações. Acabamos usando os dados da Prova Brasil (também do INEP), mais confiáveis para esta finalidade.

É preciso, portanto, ter consciência das limitações dos resultados do ENEM, relativizar todo o apelo mercadológico que eles acabam representando. Os resultados se aplicam aos indivíduos e só nesse nível tem alguma “garantia científica”. O todo e as partes são coisas diferentes. Além disso, é preciso ter em mente que o mundo real, aquele que importa, vai muito além dos rankings e vitrines.

Inovações recentes enriquecem os dados

Pois bem, tendo claro certas limitações técnicas e o apelo de marketing, vale a pena reconhecer os avanços recentes na publicação dos resultados do ENEM. No dois últimos anos, por exemplo, foram criados diversos novos indicadores, relativos ao contexto de cada escola.

Indicadores do contexto da escola, incluídos nos últimos dois anos

  1. Tamanho da escola

  2. Nível Socioeconômico: criado a partir de informações sobre capital cultural e econômico da família

  3. Formação Docente: percentual de disciplinas lecionadas por professores com formação adequada

  4. Permanência na Escola: percentual de participantes que estão na mesma escola desde o começo do ensino médio

  5. Taxas de Rendimento Escolar: taxas de aprovação, reprovação e abandono (as três somam 100% para cada escola)

Além desses indicadores contextuais, criados nos últimos dois anos, o INEP publica também, para cada uma das cinco competências: uma média, uma nota dos 30 melhores alunos, além de cinco números relativos à distribuição de notas. São informações que podem ser usadas para diversas finalidades, inclusive a construção de diferentes rankings, como assinalou o MEC e o INEP. A nota dos 30 melhores alunos, por exemplo, busca contornar o problema das pequenas escolas altamente seletivas, que acabam tendo médias melhores do que escolas grandes e boas, porém diversificadas.

Para além dos rankings

Usando os dados recém divulgados pelo INEP é possível, por exemplo, identificar escolas que apresentam alto desempenho, porém baixo índice de permanência dos alunos. É provável que boa parte destas escolas mantenha o alto padrão nas médias excluindo alunos ao longo do Ensino Médio. Por algum motivo, que vai do mérito pedagógico ao golpe de marketing, estas escolas devem conseguir repor com facilidade os alunos excluídos, ou seja, têm boa reputação, têm seu mérito. Mas não atuam no sentido de melhorar a educação brasileira como um todo, apenas criam, na melhor das hipóteses, pequenos guetos protegidos de excelência. Ou apenas ajudam a aumentar certas montanhas de lucro.

O Ministro da Educação Renato Janine disse há algumas semanas, na ocasião da divulgação do ENEM por escola: “damos os dados todos do ENEM mas queremos mostrar que esses dados não são absolutos, eles podem ser interpretados de diferentes maneiras”. Este é o espírito.

Aproveitando a deixa, outro exemplo interessante da complexidade do assunto “qualidade da escola” se refere ao tamanho da escola. Como também observou o Ministro, as escolas maiores costumam ter piores notas no ENEM – o que não significa que não tenham sua importância. Mas mesmo nesta questão numérica tão simples já são possíveis múltiplas interpretações. Vou dar um exemplo. Sabendo que boa parte do resultado das escolas é determinado pelo nível socioeconômico, é possível que esta relação (entre nível socioeconômico e resultado) esteja “contaminando” a outra relação (entre resultado e tamanho). E quando olhamos os dados divulgados pelo INEP esse ano, isso de fato acontece. Em outras palavras: levando em conta apenas os dois fatores (tamanho e resultado), um tamanho grande atrapalha o resultado. Porém, ao incluir um terceiro fator que sabemos ser importante (o nível socioeconômico), o tamanho da escola passa a ajudar seu resultado. Pior ainda, quando incluímos mais fatores, o tamanho deixa de ser importante! Vale lembrar que as afirmações acima sobre “resultado” se referem à prova de Linguagens e Códigos do ENEM 2014: para as outras três provas ou para a redação as coisas podem ser diferentes.

O que significa tudo isso, afinal? Em primeiro lugar, que muitas interpretações são possíveis e que já podemos ir além do ranking único com os dados disponíveis. Em segundo lugar, que os efeitos do tamanho da escola são polêmicos e complexos, há muita literatura sobre isso. No caso dos dados divulgados este mês, há pelo menos essas três leituras (o tamanho pode ajudar, atrapalhar ou ser irrelevante para o resultado) que são possíveis graças aos novos dados divulgados. Qual delas é a leitura correta? Depende do tipo de problema que leva a querer uma leitura.

Futuras melhorias?

Há sempre o que melhorar, em especial na educação. Em relação aos resultados do ENEM por escola, há algumas linhas de aprimoramento importantes.

Uma delas é continuar a criar indicadores e enriquecer o diagnóstico. Talvez algum indicador relacionado à seletividade da escola possa ser útil, embora difícil de implementar. Mas penso que seria importante uma espécie de “margem de erro” para o ranking do ENEM. Dizendo em “estatistiquês”, falta o intervalo de confiança para as médias das escolas. Ou algo que o valha. Afinal, precisamos saber quando as escolas estariam “tecnicamente empatadas”, como se diz nas eleições.

Outra linha de aprimoramento, aí estamos falando de educação com “E” maiúsculo, seria no retorno dos resultados para as escolas, para os professores especialmente. Afinal, são eles que fazem a coisa toda acontecer. O “boletim escolar” que as escolas recebem é muito pobre hoje em dia, perto da informação disponível. Uma interpretação mais pedagógica, por exemplo, seria de grande valia. Algumas medidas psicométricas poderiam ser bastante informativas e, inclusive, educativas para os professores. Assim como mecanismos de comparação entre escolas semelhantes, onde se escolhe critérios de forma intuitiva. E por que não a possibilidade de que eles criem provas com itens do ENEM? Curiosamente, quase tudo isso será feito pelo INEP, mas com os dados do SAEB, não do ENEM. O que, inclusive, faz muito sentido. Talvez no futuro incluam também dados do ENEM. No momento, temos apenas um portal chamado “Devolutivas Pedagógicas” com a estrutura pronta para ser preenchida com conteúdo. Segundo o vídeo explicativo, poderá ser bastante útil aos professores e interessados. Aguardemos os próximos capítulos.

Por fim, uma terceira linha de aprimoramento dependeria de uma mudança no SISU. Atualmente, o candidato pode visualizar os critérios de cada faculdade (pesos para cada uma das cinco notas do ENEM) quando está navegando pelo sistema como usuário (“logado”), mas não há um lugar que sistematize publicamente os critérios de todas as faculdades. Isso ajudaria a diversificar os rankings e fornecer informações mais precisas à comunidade escolar.

Como avaliar as escolas?

Em relação ao problema que havia me proposto depois do Doutorado, descobri que há muitas formas de se avaliar escolas e algumas são tecnicamente aceitáveis, embora geralmente imprecisas. Precisamos ter clareza do objetivo de cada avaliação, dos pressupostos teóricos, dos recursos disponíveis, para escolhermos com sabedoria entre as diversas opções disponíveis.

Por exemplo, quando queremos saber o efeito da escola sobre aluno, o ideal é que tenhamos diversas medidas comparáveis desse aluno (no caso, provas) ao longo do tempo: ao menos uma no início e outra no final da permanência na escola. Isso não é fácil de implementar na prática, pode ter “efeitos colaterais”, mas tem grandes vantagens do ponto de vista da avaliação.

Um segundo aspecto importante: uma boa escola deve não apenas ser eficiente como um todo, mas também reduzir as desigualdades educacionais existentes inicialmente entre os alunos. A escola precisa proporcionar igualdade de oportunidades, mesmo entre os diferentes. Isso se chama equidade. Escolas que geram equidade não costumam estar no “topo do ENEM”, mas são fundamentais para a educação como um todo, ou seja, para o país. Afinal, um país menos violento não será alcançado se apenas aumentarmos o número de gênios (o que aumentaria nossa média). É preciso que a educação, aqui novamente com “E” maiúsculo, esteja distribuída por todas as regiões, todas as classes, todas as cores, para que possamos enfim nos deleitar com as benesses da modernidade.

E um terceiro aspecto: que tipo de resultados consideramos como válidos? Se apenas os exames externos forem considerados resultados válidos, para bonificação de professor por exemplo, é praticamente inevitável que o sistema todo se especialize em torno destes exames. Este tipo de política foi implantado nos EUA há mais de dez anos e, uma década depois, uma das principais responsáveis por isso voltou atrás. Como disse Diane Ravitch, o pagamento por mérito “pode melhorar ou não as notas, mas definitivamente não melhora a educação”. Para agravar o problema, toda uma atividade lucrativa foi criada em torno dos exames, tornando cada vez mais difícil voltar atrás.

Felizmente, a Constituição brasileira garante (no Art. 205) que a educação deve visar à formação integral, ou melhor dizendo, o “pleno desenvolvimento da pessoa” – além do “preparo para o exercício da cidadania”, necessário para o bom funcionamento do Estado, e a “qualificação para o trabalho”, necessária para o bom funcionamento do mercado. Isso significa, dentre outras coisas, que a escola deve ser um espaço capaz de contemplar múltiplos objetivos para seus alunos. Em teoria não parece tão complicado. Na prática, há o grande desafio de criar indicadores que possam rivalizar minimamente com a praticidade e “objetividade” dos testes.

Pois bem, em suma, essas são três características que eu esperaria encontrar em uma boa escola:

1- valor adicionado (a escola ensina: tem um impacto positivo no aprendizado dos alunos)

2- equidade (a escola consegue ensinar igualmente bem a diferentes tipos de aluno)

3- desenvolvimento integral (a escola ensina diferentes tipos de inteligências e habilidades)

Além de outras características mais gerais das instituições de finalidade pública, como transparência, controle social e gestão democrática.

Acredito que, para quem quer discutir qualidade escolar em uma perspectiva mais "quantitativa", a paisagem mais ampla começa por aí. Um sistema complexo tão importante não pode ser reduzido a uma competição de Fórmula 1, que inclusive favorece aqueles com melhor carro. Sinto que, pouco a pouco, o nível do debate está melhorando, especialmente entre educadores e jornalistas. Mas é importante que as informações não fiquem apenas disponíveis, mas sejam de fácil acesso. Isso talvez estimule as pessoas a se informar de outras maneiras, para além do ranking único e ilusório, tão atrativo ao olhar incauto.

 


 

Nota: Agradeço ao CNPq (Conselho Nacional de Desenvolvimento Científico e Tecnológico) pelo apoio aos estudos de Pós Doutorado em Portugal que acabo de terminar. O presente texto é uma espécie de “retorno à sociedade” destes estudos, onde tentei traduzir informações técnicas em linguagem mais acessível e, com isso, contribuir para o enriquecimento do debate público sobre qualidade escolar.

 

Última atualização em Ter, 24 de Novembro de 2015 17:41  


Para que serve a educação?
 

Selecione uma palavra-chave

Artigos mais lidos desta categoria

Veja a nova grade curricular de São Paulo (2012)

Políticas públicas de educação
A grade curricular do estado de São Paulo sofreu algumas alterações para o ano de 2012. A última mudança havia sido feita em 2008. Só pra ressaltar, esta grade é obrigatória apenas para as esc...(59544)

Lei do bônus para professores em São Paulo (texto completo da lei complementar 1078/08)

Políticas públicas de educação
Há poucos dias Serra sancionou a chamada "lei do bônus". Antes de qualquer análise ou comentário, vamos disponibilizar o texto todo da lei. Encontrá-lo na rede não é tão fácil quanto deveria s...(44282)

Grade curricular 2009: a secretaria de Educação de São Paulo publica resolução que fere autonomia das escolas e professores, diz APEOESP

Políticas públicas de educação
A análise da resolução está no site da apeoesp (Sindicato dos Professores do Ensino Oficial do Estado de São Paulo), e foi colada mais abaixo. Fiz um índice para agilizar a consulta. OBSERV...(39404)

Plano Nacional de Educação 2011-2020 (texto completo com índice de metas)

Políticas públicas de educação
O novo Plano Nacional de Educação foi apresentado hoje (15/12) pelo ministro da Educação Fernando Haddad ao presidente Lula. O projeto de lei descreve, dentre outras coisas, as 20 metas para a...(34935)

Projeto de lei limita número de alunos por sala de aula

Políticas públicas de educação
DEU NA AGÊNCIA BRASIL:CCJ da Câmara aprova projeto que limita número de alunos em sala Amanda Cieglinski "Brasília - Um projeto que limita o número de alunos por sala de aula nas escolas púb...(22900)