análise crítica

O "sistema anti-chute" do novo ENEM funciona mesmo?
Polêmicas
Sex, 04 de Setembro de 2009 22:21, Escrito por Rodrigo Travitzki

Quando escutei que o novo ENEM teria um sistema anti-chutes, achei ótimo. Sempre achei estas provas de múltipla escolha um tanto rudimentares. Meus alunos, diferentemente, não gostaram da mudança. Não porque sejam afeitos ao ato de chutar, mas por serem os principais envolvidos num jogo com regras mutantes. E porque será inevitável dar uma leve chutadinha na maratona ENEM 2009 (haja neurônio e chocolate). Mas afinal, chutar ou não chutar no novo ENEM? Será melhor deixar em branco ou jogar a moeda? Resolvi, então, ler mais um pouco sobre o assunto.

Leia mais...
O novo ENEM está melhor? O que mudou?
Políticas públicas de educação
Ter, 30 de Junho de 2009 15:22, Escrito por Rodrigo Travitzki

Este é um ano de mudanças significativas no sistema de ensino brasileiro. O ENEM está de cara nova, a Fuvest também, o vestibular deixou de ser obrigatório para as universidades federais. A primeira reação, quase instintiva, costuma ser de rejeição, crítica. Principalmente para quem trabalha com educação. Ou melhor, para quem está dentro da sala de aula. Tal repulsão é fácil de entender. Imagine-se um jogador de futebol ouvindo o juiz dizer, no meio do jogo, que as regras mudaram. Aparecem mais algumas traves no meio do campo, alguns bandeirinhas extras, o time aumenta e o próprio campo também. E nisso você jogando.

Leia mais...
Professor nota zero foi 4 vezes pior que o "chute" - veja o cálculo
Políticas públicas de educação
Ter, 17 de Fevereiro de 2009 18:06, Escrito por Rodrigo Travitzki

Segundo as informações de Dimenstein (afinal ainda não saiu estatística oficial da secretaria com os resultados), dos 214 mil professores que participaram da prova, 3 mil tiraram zero. Isso espantou a todos. Alguns disseram que era um número muito alto, estatísticamente improvável. Será mesmo?

Resolvi verificar esta hipótese com um cálculo simples. A conclusão foi: se todos os professores chutassem todas as questões, seria esperado que 808 deles tirassem zero. O que é quase um quarto de 3 mil. Ou seja, é bastante improvável que tantos professores (ou seres humanos jogando dados) tenham tirado zero na prova.

Leia mais...
Análise da prova para professores temporários (biologia) e questões comentadas
Como ensinar biologia?
Seg, 16 de Fevereiro de 2009 21:32, Escrito por Rodrigo Travitzki

A fim de aprofundar a discussão sobre a prova para professores temporários, resolvi analisar o exame propriamente dito. As provas foram bem feitas? Estavam difíceis? O que significa tirar zero nessa prova?

Resumo da análise (prova de biologia):

Leia mais...
Análise crítica do ENEM 2008: estamos no rumo certo?
Políticas públicas de educação
Qua, 03 de Setembro de 2008 00:04, Escrito por Rodrigo Travitzki

Estudantes e profissionais de todo o Brasil realizaram mais uma vez o esforço coletivo chamado ENEM. Numa rápida busca pela rede, os formadores de opinião parecem estar satisfeitos com o processo como um todo. Alguns dizendo que a prova está mais difícil, outros que está igual, a maioria concordando que era cansativa e teve maior número de gráficos e tabelas. Já começam a aparecer estatísticas sobre o exame, pressupondo que ele é uma boa fonte de informação sobre qualidade de ensino. Mas quase não se vê alguém avaliando a qualidade do que foi feito, no sentido mais amplo da palavra.

Leia mais...
A precisão matemática da mídia e as entrelinhas do aumento salarial
Cidadania
Ter, 12 de Agosto de 2008 01:32, Escrito por Rodrigo Travitzki
Acabei de ver a notícia Professores de São Paulo recebem 12,2% de aumento

Lendo o título temos a impressão de receber uma informação precisa, com vírgula e tudo. Se tirarmos desse número a inflação oficial, de sei lá quanto, provavelmente ficaremos felizes pela valorização financeira do professor no estado de São Paulo. Mas lendo a reportagem com um pouquinho de atenção, depois notamos uma sutil modificação do título:

"Professores da rede estadual de São Paulo receberam nesta quinta-feira o aumento de até 12,2% no salário-base aprovado pelo governo."

Leia mais...
Educação pode ser mais complexa do que Estatística - crítica a artigo da Folha de São Paulo
Cidadania
Qua, 02 de Abril de 2008 16:15, Escrito por Rodrigo Travitzki
Escrevi o texto abaixo numa noite dessas qualquer, motivado pela frase de Tom Zé “Veja que beleza, a burrice está na mesa”. Mandei por email para todo mundo que eu achava que deveria receber. Para minha surpresa e felicidade, ele acabou sendo publicado numa das instituições mais sérias da mídia brasileira – o Observatório da Imprensa. Coloco abaixo a edição feita por eles.

 

Educação pode ser mais complexa do que estatística

5/6/2007

A capa do caderno "Cotidiano" da Folha de S. Paulo (28/5/2007) deixa um pobre professor inquieto. Ele gosta de dar aulas, de aprender, duvida muitas vezes de seu ofício, de seu bolso, das instituições, mas ao menos uma certeza o move durante seu cotidiano quixotesco. Estudar é bom.

Mas então lê o subtítulo da capa:

"Estudo de economista da USP mostra que criança que sempre recebe ajuda dos pais nos estudos tem desempenho inferior".

Isto lhe soa estranho. Imagine uma mãe adicionando mais uma tarefa em seu atribulado cotidiano: fazer a lição de casa para o filho. Será que ela não sabe que estudar é bom? Ou será que deseja o mal ao sangue do seu sangue? Talvez seja uma questão de ignorância, de falta de educação... São muitas as possibilidades...

O economista é Naércio Menezes Filho, que fez o estudo, a pedido da Folha, com "regressões econométricas a partir do Saeb". As regressões são instrumentos matemáticos que nos permitem encontrar correlações sutis entre variáveis. Elas são úteis quando tentamos observar e quantificar coisas muito complicadas como ecossistemas ou relações humanas.

Uma estranha equação

Uma correlação, por sua vez, é algo do tipo "sempre que A muda, B tende a mudar também". Dito desta forma, parece que a mudança de A causou algo em B. Mas a idéia de correlação não diferencia A de B, a causa da conseqüência. Ou seja, pode ser que B tenha causado A. Ou que ambos sejam conseqüência de C etc. As correlações entre os fatos podem ser interpretadas de diversas formas...

Voltemos, então, à reportagem de Antonio Gois sobre as conclusões de Menezes:

"...o auxílio dos pais nem sempre é benéfico, pois alunos que sempre recebem essa ajuda têm médias menores que os demais".

Neste exemplo, quais seriam as duas variáveis correlacionadas?

A: ajuda dos pais

B: médias nos boletins

Assim, quando A aumenta, B diminui, ou seja:

Frase 1: quando os pais ajudam mais, as médias diminuem.

É realmente uma estranha equação. Para Menezes, ainda segundo a reportagem, "esses dados podem estar mostrando que os pais, em vez de orientar, estão fazendo a lição de casa pelo filho".

Esta é uma interpretação. Haveria outras dignas de menção?

Significados alternativos

Vamos, então inverter A e B, já que se trata de uma correlação.

A frase 2 seria: quando as médias diminuem, os pais ajudam mais.

Não sei para vocês, mas para mim soou bem melhor ao cérebro.

Parece algo mais próximo do que se entende por uma relação entre pais e filhos. Alguns poderiam contra-argumentar dizendo que nas condições precárias do Brasil as relações familiares estão desta ou daquela forma destruídas etc. Mas, segundo a reportagem, Menezes encontrou esta correlação mais intensa nas escolas particulares. É ali que os pais, mais escolarizados, estariam supostamente estudando para os filhos e, com isto, piorando suas médias...

São muitas as interpretações possíveis de um mesmo grupo de fatos. É preciso apontar os significados alternativos nos estudos estatísticos, visto que são tomados como algo "verdadeiro", "provado cientificamente".

O que pensaria uma mãe, afinal, ao ler o subtítulo daquela reportagem?

Informações limitadas

Um professor talvez se sentisse triste. Talvez chegasse a estas mesmas conclusões descritas acima. Ou, quem sabe, perceberia que as questões não são desse economista, desse jornal, ou daquele professor. Elas envolvem a todos nós. E ele escreveria alguma coisa aos seus amigos.

Observações metodológicas:

1. A análise feita aqui é simples como pareceu, e está sujeita a "detalhes da vida"... por isto, foram enviadas cópias a Menezes e à Folha.

2. Uma forma de detectar causa e efeito é inserir o tempo na equação. Talvez isto tenha sido feito. Seria o caso de perguntar a Menezes, então, o grau de consistência dos dados amostrais do Inep, para que pudessem ser decompostos em "fatias" ao longo do ano.

3. Chegamos, com isto, ao terceiro ponto. Os questionários distribuídos para os alunos no Saeb são realmente bastante detalhados, enfocando diversos aspectos familiares relacionados à educação. São questões de múltipla escolha, é bom lembrar. Não sabemos também, ao certo, como foram passados aos alunos.

Segundo o Inep, é recomendada a aplicação dirigida, até porque o analfabetismo funcional é grande:

"Os baixos níveis de desempenho em leitura revelados pelo levantamento anterior apontaram para a necessidade de se adotar a aplicação dirigida dos questionários."

Quanto poderíamos confiar nesses questionários? Ainda no site do INEP encontramos um texto que diz, no último parágrafo:

"Algumas informações sobre o núcleo familiar dos alunos são coletadas nos questionários por eles respondidos, e isso limita a qualidade e a quantidade das informações obtidas."

Aqui parece haver um curioso pressuposto:

Dados provenientes unicamente de questionários respondidos por alunos apresentam informações limitadas em qualidade e quantidade. Isto nos levaria a entender que os dados utilizados por Menezes são limitados. O grau deste limite permanece incerto, ao menos para leigos.