O Saeb passado a limpo

Confesso que sempre admirei o trabalho da presidente do Inep, Maria Helena Guimarães de Castro, e os estatísticos responsáveis pela seleção da amostra de escolas participantes do Saeb/99. Sob a coordenação de Maria Helena, o Inep se transformou numa instituição respeitável.

Entretanto, não poderia deixar de responder a carta enviada ao Aprendiz por Maria Helena e os estatísticos em contestação ao último artigo que escrevi interpretando os resultados do Saeb.

Reafirmo tudo o que disse no artigo anterior. Se as escolas participantes do Saeb não foram escolhidas a dedo, como a presidente do Inep refuta indignadamente na resposta publicada no Aprendiz, que se divulgue então a relação completa com o nome e o local das escolas. Cidade por cidade. Por que a relação de escolas é mantida em segredo? Se estiver errado, terei a humildade de reconhecer.

Queda pode estar relacionada a problemas na amostra

Mas eu insisto - e isso não é uma provocação irresponsável de um jornalista teimoso: uma das razões da queda generalizada na qualidade do ensino pode estar ligada a problemas na amostragem.

Ao contrário do que Maria Helena e os estatísticos que selecionaram as escolas avaliadas pelo Saeb afirmam, do alto do pedestal e do seu iluminismo técnico, nenhuma amostra é perfeita. Se as amostras fossem 100% confiáveis, os institutos de pesquisas não errariam tanto como erraram nas últimas eleições municipais. Falhar é humano ensina o sábio ditado popular.

Avaliação censitária é melhor

As escolas públicas e privadas não se sentem representadas no Saeb. Muitos menos as redes de ensino. Porque a avaliação por amostragem não mostra a realidade de cada uma tal como ela é. Isso é tão verdadeiro que vários estados ignoram os resultados da avaliação amostral do Saeb e estão optando pela realização de avaliações censitárias. Minas Gerais, Paraná, Pernambuco e São Paulo já aderiram a esse novo método de avaliação.

Nesta semana, a secretaria estadual de Educação de Pernambuco avaliou todos os alunos da segunda série do ensino fundamental das escolas da rede pública. A avaliação serve para detectar as deficiências de aprendizagem no início da trajetória escolar, quando ainda há tempo para corrigí-las.

O Saeb é um instrumento importante para medir como anda a qualidade do ensino no País. Mas do jeito que vem sendo realizado, sem que seus resultados tenham utilidade para resolver os problemas específicos de cada escola e redes de ensino, como diz o jornalista Élio Gaspari, ele tem uma única finalidade: mostrar, de dois em dois anos, que choveu. Que o ensino é uma droga e por aí vai. Convenhamos: isso está mais para exercício de sadomasoquismo.

O Saeb poderia muito bem ser aplicado de quatro em quatro anos, pois sabemos que o tempo da educação é longo e não se produz mágica de um ano para outro.

Saeb mudou, o que pode ter influenciado os resultados

Avaliação educacional é uma experiência recente no Brasil. Não dominamos essa técnica como as regras de um jogo de futebol. Tanto que edição após edição do Saeb, o número de escolas que são submetidas à avaliação vem crescendo. A metodologia já passou por diversas modificações. Novos itens de prova foram testados e incorporados ao banco. As matrizes curriculares também foram aperfeiçoadas, alargando o espectro da avaliação.

É natural que apresente resultados às vezes inexplicáveis, como ocorreu agora. Até porque, em 1997, houve um número bem menor de escolas participando do Saeb em comparação com 1999. As duas amostras são diferentes, portanto, os resultados não poderiam ser comparáveis. Para que isso fosse feito, seria necessária uma engenharia matemática complicada e discutível.

Calibragem das provas: outro fator de risco

Um eventual desajuste na calibragem das provas seria outra razão que justificaria a queda generalizada das médias nas escalas de proficiência do Saeb. É quase unânime entre os professores e secretários de educação que as provas aplicadas no Saeb/99 apresentaram um grau de dificuldade maior em relação ao Saeb anterior.

Embora os itens tenham sido cuidadosamente testados para garantir a comparabilidade das duas provas, as questões foram respondidas em momentos diferentes, por alunos diferentes e em quantidades diferentes.

PCNs, uma maravilha para inglês ver

O Saeb/99 foi realizado sob a influência dos já anunciados PCNs, os Parâmetros Curriculares Nacionais. Os PCNs são, por enquanto, uma maravilha para inglês ver. O professor que batalha no dia-a-dia ainda não assimilou as referências contidas naqueles catataus, escritas sem nenhuma preocupação didática. Fato é que o Ministério da Educação foi obrigado a elaborar uma cartilha sobre os PCNs na tentativa de levá-los a ser melhor compreendidos pelos professores.

Aqui, abro um parêntese para fazer uma crítica que está absolutamente ausente no debate educacional brasileiro, que é a própria idéia de parâmetros curriculares nacionais, testes nacionais e dos também chamados standards nacionais. Alguns estudiosos da Educação, nos Estados Unidos e na Europa, por exemplo, são ferozes críticos destas políticas, que, segundo eles, se enquadrariam no receituário conservador-neoliberal. No entanto, tais temas são defendidos com paixão pela turma do Ministério da Educação.

Expectativa não correspondida

Como estava dizendo, o frisson gerado com o lançamento dos PCNs contribuiu para criar uma expectativa muito grande - e falsa - em relação aos sistemas de ensino. Diferentemente do que pensavam os elaboradores das provas, a concepção de ensino dos PCNs não foi absorvida pelos docentes com um simples gole de água. Tampouco pelos alunos. Vai demorar anos para que a escola pública brasileira, e também os estabelecimentos privados, ensinem o que está preconizado nesses documentos.

Antes do lançamento dos PCNs, o Ministério da Educação deveria ter se preocupado com as diretrizes e as medidas práticas para melhorar a formação dos professores. A grande reforma, aquela que vai melhorar a qualidade da educação de verdade, passa primeiramente pela formação e valorização dos professores e a melhoria das condições de funcionamento das escolas. E ela ainda não foi feita. Querer que os professores ensinem algo que não saibam é colocar a carroça na frente dos bois. É dar o peixe e não ensinar como se pesca. Não se muda de um dia para outro uma filosofia, uma cultura de ensinar com uma chuva de conceitos, digamos assim, heréticos.

Na verdade, o Saeb/99 cobrou o que os especialistas contratados pelo Ministério da Educação esperavam que os professores estivessem ensinando e os alunos aprendendo. A opinião não é minha. É do presidente do Consed (Conselho Nacional dos Secretários Estaduais de Educação), Éfrem Maranhão. Como a distância entre a realidade e a ficção foi muito grande, os resultados do Saeb estão aí, como um enigma a ser decifrado.

Bater cabeça e apelar ao achômetro não resolve

Por isso, não adianta bater cabeça e inventar explicações absurdas, apelando ao achômetro, para tentar justificar o que aconteceu com a qualidade do ensino. É possível que ela tenha, de fato, caído (se é que ela ainda pode cair e que se possa cavar outro fundo dentro do poço), e que todos os argumentos expostos acima por esse colunista teimoso (irresponsável, segundo os dirigentes do Ministério da Educação), estejam furados.

Porém, diante dessa hipótese pouco provável - e eu não sou o único a acreditar nela - restariam poucos argumentos para atribuir a queda na qualidade do ensino, ocorrida (que coincidência!) em todas as séries, disciplinas, estados e redes de ensino: a implantação apressada e imposta dos ciclos, o ingresso dos alunos pobres coitados na escola e a péssima qualificação dos professores.

Esses argumentos, contudo, não se sustentam. Onde estavam os alunos pobres que não puxaram o desempenho do Saeb para baixo em 1997? O crescimento da matrícula no ensino fundamental, de lá para cá, foi vegetativo.

Alguém já avaliou o impacto dos ciclos sobre a aprendizagem dos alunos e sobre a qualidade do ensino? Sim, não?

Os professores capacitados nos cursos de formação a distância e continuada (que estão fazendo a fortuna de algumas empresas e consultorias e de secretários corruptos, mas com eficácia duvidosa) desaprenderam até o que já sabiam? A melhoria da qualificação dos docentes apontada pelo Censo Escolar não teria exercido impacto algum sobre a qualidade do ensino?

No artigo anterior, esqueci de mencionar a coragem (isso não é puxa-saquismo, não!) do ministro da Educação, Paulo Renato Souza, ao divulgar resultados tão negativos para a educação brasileira e mais negativos ainda para as suas pretensões políticas.

Não se pode negar que o ministro foi transparente ao admitir que a qualidade do ensino caiu. Palmas que ele merece! Em seu lugar, outro colega da Esplanada teria escondido a notícia, embora a equipe de Paulo Renato tenha se esforçado ao cubo, nesta fase em que o ministro anda "candidatável", para fazer valer a máxima ricuperiana de revelar apenas o que é bom e esconder ou abafar tudo de ruim que possa surgir.

Divulgação incompleta confunde interpretação

O próprio ministro reconheceu, em entrevista ao repórter Antônio Gois, do jornal Folha de São Paulo, que não se preparou para divulgar os resultados do Saeb. Nem o ministro, nem o Inep. Passado um ano após a aplicação do Saeb, o Inep divulgou apenas resultados parciais das disciplinas de língua portuguesa e matemática. Não encontrou tempo para fechar as tabulações envolvendo as disciplinas de ciências, geografia e história dos alunos da 4ª e da 8ª séries do ensino fundamental muito menos das disciplinas de biologia, física, geografia, história e química para a 3ª série do ensino médio.

A margem de erro não conta?

Na pressa de apresentar os resultados, o Inep esqueceu ainda de indicar os percentuais da margem de erro da avaliação por série, disciplina, região, estado e redes de ensino. Não explicou se a margem de erro do Saeb/97 era maior ou menor que a do Saeb/99.

Aqui reside um ponto-chave, questionado a posteriori pelo próprio ministro em sua entrevista à Folha. Considerando que amostra do Saeb/99 foi maior, teremos obviamente uma margem de erro menor em relação ao Saeb/97, cujo número de escolas e de alunos participantes foi amplamente inferior. Os resultados, em vez de cair, poderiam estar no mesmo nível.

Você confia?

Diante do exposto, pergunto: como, então, confiar de olhos fechados nos resultados e na interpretação dos números do Saeb como desejam a presidente do Inep e o ministro da Educação? Confusões assim são o indicativo que alguma coisa não está correta. E precisamos saber qual é.

É por isso que não adianta o MEC me pressionar, ameaçando-me com interpelação judicial e criticando minha integridade ética. Só devo satisfações à minha consciência e aos leitores desta coluna. Aprendi, desde os tempos de estudante de jornalismo, a desconfiar sempre do que dizem os donos do poder. E o que tenho feito aqui neste espaço não é outra coisa senão exercitar o meu sagrado direito de desconfiar da versão oficial.

Notas

A continuidade é boa ou ruim para o ensino?

A divulgação dos resultados do Saeb/99 deixou o secretário de educação do Ceará, Antenor Naspolini, entristecido. Afinal, reina entre os educadores a máxima que a continuidade das políticas educacionais é um dos principais fatores que influenciam as condições do ensino.

Se os resultados do Saeb estiverem certos e este colunista equivocado, o mito da continuidade caiu por terra. Naspolini está no cargo há mais de 12 anos e não vê motivos para a queda nas médias dos alunos cearenses. A continuidade das políticas educacionais implantadas por Walfrido Mares Guia em Minas Gerais também foi colocada em xeque.

Plantação inexplicável

Lembro-me muito bem que após a divulgação dos resultados do Saeb/97, no auge da campanha eleitoral de 1998, os partidários do atual governador Joaquim Roriz (PMDB) criticaram o então governador Cristovam Buarque pela pequena queda das médias de proficiência do Saeb no Distrito Federal.

Roriz, orientado por Duda Mendonça, explorou isso contra o petista em seus programas no horário eleitoral. Não acredito que a política educacional do governo Cristovam, do Bolsa-Escola e da Escola Candanga, estivesse equivocada. Cristovam estava há dois anos e meio no governo quando foi aplicado o Saeb/97. É um tempo curto.

Todo mundo do meio educacional já está cansado de saber que não se consegue produzir impacto no rendimento escolar a curtíssimo prazo. O tempo escolar e o tempo político seguem dinâmicas diferentes.

Mesmo sabendo disso, assessores do ministro Paulo Renato, tão logo souberam dos resultados preliminares do Saeb/99, correram aos colunistas para plantar nota contra o secretário de educação de Minas Gerais, o ex-ministro Murilio Hingel. Fazia apenas seis meses que Hingel havia assumido a secretaria quando houve a avaliação. Não poderia ser responsabilizado pelo desempenho dos alunos mineiros na avaliação. Se alguém deveria ser responsabilizado era Walfrido Mares Guia.

Pegou mal. Esperteza demais é bobagem. Os assessores do ministro quiseram explorar uma informação sem o menor nexo para desgastar um secretário de educação que faz oposição às políticas do MEC.

Quem é o chato da história?

No plano federal, a administração do ministro Paulo Renato já dura seis anos. É um dos ministros mais longevos da história, depois de Gustavo Capanema. Dizem que ele quer fazer história no Ministério da Educação. Ao que consta não só no que se refere ao tempo de permanência no cargo.

Portanto, é natural que haja uma grande expectativa de que os resultados comecem a aparecer. Porém, o que Paulo Renato fez quando, depois de criar uma série de políticas e de incentivos aos sistemas de ensino, recebeu a notícia que os resultados do Saeb pioraram?

Uma boa desculpa esfarrapada talvez seja a que o ministro escolheu ao dizer que as crianças pobres são responsáveis por puxar o desempenho dos sistemas de ensino para baixo e ao taxar a escola privada de "chata".

O ministro que quer ser candidato

O ministro Paulo Renato Souza, de uns tempos para cá, dizem que só pensa em sua carreira política, apesar de estar meio indeciso (ora diz que será candidato ao Senado por São Paulo, ora coloca seu nome à disposição do PSDB para concorrer à sucessão do governador Mário Covas, ora alimenta o sonho de vir a ocupar a cadeira de Presidente da República).

Mandou até tirar sua agenda diária da página do MEC na Internet pois ela se parece muito mais com agenda de candidato que de ministro de Estado. Sonhar não custa nada. O site do Mendonça de Barros, o www.primeiraleitura.com.br chegou a sugerir que, depois das revelações do Saeb, o ministro deve disputar mesmo é uma cadeira na Câmara dos Deputados.

Nos Estados Unidos, onde o Departamento de Educação não tem a importância do Ministério da Educação brasileiro, a tal ponto que há alguns anos os republicanos chegaram a propor a sua extinção, um resultado negativo na educação arruinaria a carreira política de qualquer pretendente a cargo público, sobretudo de governador de Estado.

Aliás, durante os oito anos do governo Clinton, o secretário de educação foi o mesmo e fez um trabalho tão reconhecido que esvaziou a proposta dos republicanos de extinguir o departamento. Ao contrário, tanto Bush quanto Al Gore propuseram aumentar o papel do Governo Federal na educação.

Richard Riley, que tem sido o secretário de educação do governo Clinton, deixou o governo do Estado da Carolina do Sul para assumir o cargo, justamente depois de ter ganho destaque nacional pelos resultados alcançados na educação.

O antecessor, no Governo Bush, foi Lamar Alexander, igualmente ex-governador de Estado (Tennessee). Hoje, para ter aspirações políticas nos Estados e galgar posições no cenário nacional, o portifólio educacional do candidato é considerado decisivo. Nos Estados Unidos, educação decide eleição. Se a moda pegar no Brasil, Paulo Renato pode esquecer. Será sempre apresentado com o carimbo do ministro que conseguiu piorar a qualidade do ensino.

Avaliação por si só já cansou

Há quem diga que o Ministério da Educação está sendo vítima do próprio veneno que criou: não há como atender a expectativa gerada em torno das avaliações educacionais, pois o Saeb não vai indicar melhorias significativas há cada dois anos, nem o Provão vai gerar fatos positivos todo ano.

Para que as manchetes não sejam sempre repetitivas, já que não existem fatos novos, criam-se interpretações macambúzias. Ou, apela-se para explorações panfletárias sobre o fracasso da escola publica. Cá entre nós: é dar munição de graça ao inimigo. Ou melhor: atirar no próprio pé.

Muita gente já disse isso, mas não custa repetir. Existe um tempo escolar e outro tempo político. Eles não caminham no mesmo ritmo e nem sempre na mesma direção. A paciência da sociedade, por sua vez, pode estar em desacordo com os dois. Nem tolera a vagarosidade com que a educação vem apresentando sinais de melhora, nem aceita como verdadeiros os avanços decantados em verso e prosa pelo governo.

O fato é que temos, sim, uma tragédia no ensino brasileiro. O governo e a oposição precisam se dar conta de que não vai levar a lugar nenhum essa disputa sobre quem veio antes, se o ovo ou a galinha. É hora de o Ministério da Educação deixar de ser o Ministério da Avaliação e partir para o trabalho, tomando medidas concretas para resolver os graves problemas educacionais que nos afligem. É hora do ministro peitar a área econômica e garantir mais recursos para a educação.

Todos, governo, oposição e sociedade, devem assumir suas responsabilidades, arregaçar as mangas, e com o apoio do empresariado e das nossas universidades, traçar um projeto educacional para os próximos anos e as próximas gerações. O primeiro passo seria aprovando o PNE (Plano Nacional de Educação), que define as metas da educação brasileira para a próxima década. O PNE está tramitando no Congresso Nacional, sem entendimento entre as partes, há três anos. Ninguém quer que a próxima década seja uma década perdida para a educação. Portanto, mãos à obra, ministro!

Entenda a polêmica do Saeb:

- Artigo de Gilberto Nascimento

- Artigo atual de Gilmar Piolla

- Artigo anterior de Gilmar Piolla

- Resposta de Maria Helena Guimarães de Castro, presidente do INEP, ao artigo de Piolla

- Artigo de Fernando Rossetti

- Reportagem da Folha de S. Paulo