Direito
de resposta da sra. Maria Helena Guimarães de Castro, presidente
do Inep, ao texto "MEC culpa crianças pobres, do colunista
Gilmar Piolla.
Causou-nos indignação
e revolta o artigo intitulado MEC culpa crianças
pobres pela queda na qualidade do ensino, do colunista Gilmar Piolla,
divulgado na edição eletrônica do "Aprendiz"
de sábado, 25 de novembro de 2000.
Não imaginávamos
que o Senhor Piolla, consultor do Instituto Nacional
de Estudos e Pesquisas Educacionais - INEP até 9 de abril do corrente
e, portanto, conhecedor da lisura e imparcialidade com que esta Instituição
sempre tratou a avaliação, a pesquisa e as estatísticas
educacionais, fosse cometer a leviandade de fornecer informações
falsas e fazer acusações infundadas para dar sustentação
ao seu argumento.
A reputação
que o INEP conquistou nacional e internacionalmente como órgão
produtor de informações educacionais da mais alta qualidade
foi construída com base em um trabalho pautado pelos mais rigorosos
critérios técnicos.
Essa credibilidade
é a maior distinção a que uma instituição
de pesquisa pode almejar, e seria pouco inteligente e até insano
comprometê-la procurando manipular a amostra do SAEB para produzir
resultados incertos à busca de dividendos políticos.
Afirmar que "as
escolas que participaram da avaliação foram escolhidas a
dedo", que "quase todas as boas escolas públicas e privadas
entraram na dita amostra aleatória" e que "as escolas
privadas ganharam um peso desproporcional ao seu tamanho" é
rigorosamente falso. Até porque sequer existe, no Brasil, um ranking
de escolas públicas ou privadas de ensino fundamental e médio.
Para que a verdade dos fatos não sucumba à calúnia,
travestida de denúncia e formulada por quem, pretensamente, tem
conhecimento de causa por haver trabalhado no INEP, os leitores de 'Aprendiz'
precisam ser esclarecidos sobre o método utilizado na definição
da amostra do SAEB.
É inusitado,
aliás, que as supostas denúncias de manipulação
sejam
feitas justamente na edição do SAEB em que o desempenho
dos alunos
apresentou queda, na maioria dos estados. O argumento das denúncias
seria, então, que o INEP "intuiu" que os resultados iriam
piorar e,
maquiavelicamente, manipulou a amostra para torná-los menos ruins?
Convenhamos, senhor
editor e senhores leitores do "Aprendiz," que aí
entraremos no terreno do mais puro delírio.
O "acusador",
inclusive, era consultor do INEP, no período de
realização do SAEB anterior, que foi a campo em 1997 e foi
analisado em 1998. Participou de todas as reuniões, teve amplo
acesso a todas as etapas do trabalho e total liberdade para conversar
com os técnicos e demais consultores do INEP.
Nos três anos
em que trabalhou conosco, o sr. Gilmar Piolla jamais
questionou ou pediu informações adicionais sobre o trabalho,
embora tivesse plena liberdade para fazê-lo. Conclui-se que, ou
não tinha motivo para isso, ou tendo e na condição
de autor dos relatórios do SAEB para divulgação à
imprensa, preferiu omitir-se e compactuar com a suposta manipulação
que agora vem denunciar. Vamos, então, à descrição
dos procedimentos.
O Sistema Nacional
de Avaliação da Educação Básica - SAEB
utiliza,
desde 1990, amostras probabilísticas para medir o desempenho dos
alunos brasileiros, nas séries e disciplinas avaliadas. A população
de referência do SAEB/99, cujos dados foram obtidos a partir do
Censo Escolar, é:
- 4ª série
do Ensino Fundamental: todos os alunos de turmas
regulares em escolas urbanas; e alunos de escolas rurais, nos estados
do Nordeste, Minas Gerais e Mato Grosso do Sul, menos os alunos da rede
federal;
- - 8ª série
do Ensino Fundamental e 3ª série do Ensino Médio:
todos os alunos de turmas regulares em escolas urbanas, menos os alunos
da rede federal.
Essa composição
do universo de referência foi discutida e aprovada
pelos secretários estaduais de educação, em reunião
do CONSED - Conselho Nacional de Secretários Estaduais de Educação,
realizada em agosto de 1998, em Teresina, Piauí.
Dada a complexidade
de que se reveste o processo de seleção da
amostra, o INEP conferiu a tarefa a três dos mais renomados e respeitados
estatísticos brasileiros. São eles: Wilton de Oliveira Bussab
(Matemático, Doutor em Estatística, Professor da FGV/SP
e ex-consultor da Fundação Seade; Pedro Luís do Nascimento
Silva (Estatístico, Doutor em Estatística, diretor de técnicas
de pesquisa do IBGE; e Dalton Fonseca Andrade (Doutor em Estatística,
Professor da Universidade Federal do Ceará - UFC).
O processo de seleção
da amostra obedeceu aos seguintes passos e
características:
1. NÃO É
NEM INEP NEM O MEC QUE FAZ A ESCOLHA DAS ESCOLAS DA AMOSTRA;
2. O INEP tem um cadastro
de todas as escolas, resultante do
Censo Escolar realizado anualmente;
3. Cada escola recebe
um código - E NÃO O SEU NOME - neste
cadastro;
4. O INEP apenas participou,
em conjunto com os três
especialistas, da definição da população de
referência da pesquisa,
identificando os estratos a serem contemplados, tais como: rural/urbano,
redes estaduais, municipais e privadas, modalidades de ensino. As amostras
foram obtidas, de maneira independente, para cada série.
5. A partir daí,
os três estatísticos, FORA DO MEC E DO INEP e
de posse do cadastro do Instituto, alimentaram um programa de computador,
específico para trabalhos estatísticos, com os códigos
de todas as escolas e os critérios previamente definidos (itens
4 e 5). Esse programa fez a seleção. As escolas foram selecionadas
por amostragem aleatória com probabilidades proporcionais ao tamanho,
medido segundo seu número de turmas, em cada série avaliada.
6. Utilizando amostragem
aleatória simples, foram selecionadas
as turmas de cada escola;
7. Os estatísticos
encaminharam ao INEP a relação com as
escolas e, dentro destas, as turmas a serem pesquisadas. O INEP enviou,
então, a cada Secretaria Estadual de Educação, a
relação das escolas e turmas do respectivo estado;
8. Finalmente, as
Secretarias Estaduais comunicaram às escolas
que elas haviam sido selecionadas para a pesquisa;
9. Feitas as provas
pelos alunos, os estatísticos calcularam os
pesos amostrais.
Segundo expressa manifestação
dos referidos especialistas, em nota
que redigiram e que foi anexada a este texto, em repúdio às
afirmações do Senhor Gilmar Piolla, "o planejamento,
seleção e tratamento da amostra do SAEB de 1999 foram operações
realizadas com o maior cuidado e honestidade profissionais,"... "seguindo
a melhor prática internacional no assunto."...
"Nunca foram
feitas pelo MEC solicitações que pudessem levar à
orientação da amostra, a favorecer qualquer grupo de escolas
ou que pudessem pretender influenciar os resultados, numa ou noutra direção."
Assim sendo, chocam
e agridem as supostas "denúncias" do Sr. Piolla, que
por desinformação ou má-fé, e contrariando
o que se poderia esperar de um profissional do jornalismo, não
consultou nenhum dos responsáveis pelo trabalho, nem tampouco a
farta documentação existente sobre o assunto, que é
pública, e portanto, encontra-se aberta ao exame dos interessados.
Sem qualquer indício de prova que seja, o Sr. Piolla agrediu moralmente
três especialistas renomados e respeitados, bem como o INEP, e atacou
a integridade profissional, intelectual e a credibilidade de todos.
A prática de
publicar denúncias sem a mínima investigação
do fatos é
indevida, indigna, e não pode prevalecer num Estado de Direito,
nem
encontrar acolhida nos meios de comunicação sérios.
Atenciosamente,
MARIA HELENA GUIMARÃES DE CASTRO
Presidente do INEP
Nota técnica sobre o comentário
de Gilmar Piolla quanto à amostra do SAEB 99 Rio
de Janeiro, São Paulo e Ceará, 27 de novembro de 2000.
Por:
- Wilton de Oliveira
Bussab (Matemático, PhD em Estatística, Professor da FGV_SP
e Consultor Independente do MEC)
- Pedro Luis
do Nascimento Silva (Estatístico, PhD em Estatística, Consultor
Independente do MEC)
- Dalton Andrade
(PhD em Estatística, Professor da UFC, Consultor Independente do
MEC)
Em matéria "publicada" em 25/11/2000, o Sr. Gilmar Piolla
afirma que "O mais curioso é que tudo foi feito para se alcançar
um resultado positivo. As escolas que participaram da avaliação
foram escolhidas a dedo. O MEC diz que a amostragem foi aleatória
e representativa dos sistemas de ensino. A história não
é bem assim. Quase todas as boas escolas públicas e privadas
entraram na dita amostra aleatória. E mais: as escolas privadas
ganharam um peso desproporcional ao seu tamanho, para puxar o desempenho
geral para cima. Nada disso funcionou."
Vimos repudiar as
afirmações levianas e sem fundamentação do
Sr. Piolla. O planejamento, seleção e tratamento da amostra
do SAEB de 1999 foram operações realizadas com o maior cuidado
e honestidade profissional. Nunca foram feitas pelo MEC solicitações
que pudessem levar à orientação da amostra a favorecer
qualquer grupo de escolas ou que pudessem pretender influenciar os resultados,
numa ou noutra direção.
O plano amostral usado
no SAEB99 considerou a população de alunos dividida em três
universos (que poderiam ser vistos como três estratos), segundo
a série em que estão matriculados: 4a e 8a séries
do Ensino Fundamental e a 3a série do Ensino Médio. Foi
adotado um esquema com três etapas para seleção dos
alunos a serem testados. Na primeira etapa foram selecionadas "escolas",
definidas como as partes das escolas correspondentes ao conjunto de turmas
e alunos de cada uma das séries consideradas na avaliação.
Na segunda etapa foram elecionadas turmas dentro das escolas selecionadas
na primeira etapa em cada uma das séries. Uma vez selecionada uma
turma para participar da avaliação, todos os alunos da turma
foram testados, embora em diferentes disciplinas. As escolas de cada série
(unidades primárias de amostragem no planejamento amostral adotado
no SAEB99) foram estratificadas segundo o estado onde se localizam, a
rede de ensino a que estão vinculadas, e o tamanho (em número
de turmas da série em questão).
Foram selecionadas
por amostragem aleatória com probabilidades proporcionais ao tamanho,
medido segundo seu número de turmas em cada série avaliada.
Em escolas com até duas turmas na série, foi selecionada
por amostragem aleatória simples uma turma para avaliação.
Em escolas com três ou mais turmas (em cada série), foram
selecionadas por amostragem aleatória simples duas turmas para
avaliação. Os pesos amostrais empregados na obtenção
dos resultados permitem estimar sem vício e com boa precisão
para o total da população de alunos, escolas e turmas coberta
no cadastro de seleção. Permitem também estimar corretamente
para os estratos de interesse definidos por estado e rede de ensino, tanto
pública como particular.
Do ponto de vista
técnico, todas as etapas do trabalho, do planejamento, passando
pela montagem de cadastros, seleção da amostra, coleta dos
dados, ponderação, e estimação dos resultados,
tudo foi feito com transparência, rigor técnico, e seguindo
a melhor prática internacional no assunto. Para detalhes, consultar
a farta documentação existente no MEC.
Chocam e agridem as
afirmações do Sr. Piolla, pois contrariando o que se poderia
esperar de um profissional do jornalismo, não consultou nenhum
dos responsáveis pelo trabalho, nem tampouco a documentação
existente sobre o assunto. Além disso, faz afirmações
sobre tendências de resultados obtidos a partir de uma amostra de
cerca de 7.000 escolas sem ter examinado os dados!
A prática de
publicar denúncias sem a mínima investigação
dos FATOS é indevida, indigna, e não pode prevalecer num
regime democrático.
Por estas razões,
exigimos retratação IMEDIATA do Sr. Piolla.
Aos interessados no
esclarecimento completo da questão, estamos prontos a debater tecnicamente
qualquer aspecto do trabalho de amostragem realizado para o SAEB99, bem
como a esclarecer em quaisquer aspectos que porventura não se achem
suficientemente esclarecidos com a documentação referida.
Maria
Helena Guimarães de Castro é presidente
do Inep (Instituto Nacional de Estudos e Pesquisas Educacionais).