Direito de resposta da sra. Maria Helena Guimarães de Castro, presidente do Inep, ao texto "MEC culpa crianças pobres, do colunista Gilmar Piolla.

Causou-nos indignação e revolta o artigo intitulado MEC culpa crianças
pobres pela queda na qualidade do ensino, do colunista Gilmar Piolla,
divulgado na edição eletrônica do "Aprendiz" de sábado, 25 de novembro de 2000.

Não imaginávamos que o Senhor Piolla, consultor do Instituto Nacional
de Estudos e Pesquisas Educacionais - INEP até 9 de abril do corrente e, portanto, conhecedor da lisura e imparcialidade com que esta Instituição sempre tratou a avaliação, a pesquisa e as estatísticas educacionais, fosse cometer a leviandade de fornecer informações falsas e fazer acusações infundadas para dar sustentação ao seu argumento.

A reputação que o INEP conquistou nacional e internacionalmente como órgão produtor de informações educacionais da mais alta qualidade foi construída com base em um trabalho pautado pelos mais rigorosos critérios técnicos.

Essa credibilidade é a maior distinção a que uma instituição de pesquisa pode almejar, e seria pouco inteligente e até insano comprometê-la procurando manipular a amostra do SAEB para produzir resultados incertos à busca de dividendos políticos.

Afirmar que "as escolas que participaram da avaliação foram escolhidas a dedo", que "quase todas as boas escolas públicas e privadas entraram na dita amostra aleatória" e que "as escolas privadas ganharam um peso desproporcional ao seu tamanho" é rigorosamente falso. Até porque sequer existe, no Brasil, um ranking de escolas públicas ou privadas de ensino fundamental e médio. Para que a verdade dos fatos não sucumba à calúnia, travestida de denúncia e formulada por quem, pretensamente, tem conhecimento de causa por haver trabalhado no INEP, os leitores de 'Aprendiz' precisam ser esclarecidos sobre o método utilizado na definição da amostra do SAEB.

É inusitado, aliás, que as supostas denúncias de manipulação sejam
feitas justamente na edição do SAEB em que o desempenho dos alunos
apresentou queda, na maioria dos estados. O argumento das denúncias seria, então, que o INEP "intuiu" que os resultados iriam piorar e,
maquiavelicamente, manipulou a amostra para torná-los menos ruins?

Convenhamos, senhor editor e senhores leitores do "Aprendiz," que aí
entraremos no terreno do mais puro delírio.

O "acusador", inclusive, era consultor do INEP, no período de
realização do SAEB anterior, que foi a campo em 1997 e foi analisado em 1998. Participou de todas as reuniões, teve amplo acesso a todas as etapas do trabalho e total liberdade para conversar com os técnicos e demais consultores do INEP.

Nos três anos em que trabalhou conosco, o sr. Gilmar Piolla jamais
questionou ou pediu informações adicionais sobre o trabalho, embora tivesse plena liberdade para fazê-lo. Conclui-se que, ou não tinha motivo para isso, ou tendo e na condição de autor dos relatórios do SAEB para divulgação à imprensa, preferiu omitir-se e compactuar com a suposta manipulação que agora vem denunciar. Vamos, então, à descrição dos procedimentos.

O Sistema Nacional de Avaliação da Educação Básica - SAEB utiliza,
desde 1990, amostras probabilísticas para medir o desempenho dos alunos brasileiros, nas séries e disciplinas avaliadas. A população de referência do SAEB/99, cujos dados foram obtidos a partir do Censo Escolar, é:

- 4ª série do Ensino Fundamental: todos os alunos de turmas
regulares em escolas urbanas; e alunos de escolas rurais, nos estados do Nordeste, Minas Gerais e Mato Grosso do Sul, menos os alunos da rede federal;

- - 8ª série do Ensino Fundamental e 3ª série do Ensino Médio:
todos os alunos de turmas regulares em escolas urbanas, menos os alunos da rede federal.

Essa composição do universo de referência foi discutida e aprovada
pelos secretários estaduais de educação, em reunião do CONSED - Conselho Nacional de Secretários Estaduais de Educação, realizada em agosto de 1998, em Teresina, Piauí.

Dada a complexidade de que se reveste o processo de seleção da
amostra, o INEP conferiu a tarefa a três dos mais renomados e respeitados estatísticos brasileiros. São eles: Wilton de Oliveira Bussab (Matemático, Doutor em Estatística, Professor da FGV/SP e ex-consultor da Fundação Seade; Pedro Luís do Nascimento Silva (Estatístico, Doutor em Estatística, diretor de técnicas de pesquisa do IBGE; e Dalton Fonseca Andrade (Doutor em Estatística, Professor da Universidade Federal do Ceará - UFC).

O processo de seleção da amostra obedeceu aos seguintes passos e
características:

1. NÃO É NEM INEP NEM O MEC QUE FAZ A ESCOLHA DAS ESCOLAS DA AMOSTRA;

2. O INEP tem um cadastro de todas as escolas, resultante do
Censo Escolar realizado anualmente;

3. Cada escola recebe um código - E NÃO O SEU NOME - neste
cadastro;

4. O INEP apenas participou, em conjunto com os três
especialistas, da definição da população de referência da pesquisa,
identificando os estratos a serem contemplados, tais como: rural/urbano, redes estaduais, municipais e privadas, modalidades de ensino. As amostras foram obtidas, de maneira independente, para cada série.

5. A partir daí, os três estatísticos, FORA DO MEC E DO INEP e
de posse do cadastro do Instituto, alimentaram um programa de computador, específico para trabalhos estatísticos, com os códigos de todas as escolas e os critérios previamente definidos (itens 4 e 5). Esse programa fez a seleção. As escolas foram selecionadas por amostragem aleatória com probabilidades proporcionais ao tamanho, medido segundo seu número de turmas, em cada série avaliada.

6. Utilizando amostragem aleatória simples, foram selecionadas
as turmas de cada escola;

7. Os estatísticos encaminharam ao INEP a relação com as
escolas e, dentro destas, as turmas a serem pesquisadas. O INEP enviou, então, a cada Secretaria Estadual de Educação, a relação das escolas e turmas do respectivo estado;

8. Finalmente, as Secretarias Estaduais comunicaram às escolas
que elas haviam sido selecionadas para a pesquisa;

9. Feitas as provas pelos alunos, os estatísticos calcularam os
pesos amostrais.

Segundo expressa manifestação dos referidos especialistas, em nota
que redigiram e que foi anexada a este texto, em repúdio às afirmações do Senhor Gilmar Piolla, "o planejamento, seleção e tratamento da amostra do SAEB de 1999 foram operações realizadas com o maior cuidado e honestidade profissionais,"... "seguindo a melhor prática internacional no assunto."...

"Nunca foram feitas pelo MEC solicitações que pudessem levar à orientação da amostra, a favorecer qualquer grupo de escolas ou que pudessem pretender influenciar os resultados, numa ou noutra direção."

Assim sendo, chocam e agridem as supostas "denúncias" do Sr. Piolla, que por desinformação ou má-fé, e contrariando o que se poderia esperar de um profissional do jornalismo, não consultou nenhum dos responsáveis pelo trabalho, nem tampouco a farta documentação existente sobre o assunto, que é pública, e portanto, encontra-se aberta ao exame dos interessados. Sem qualquer indício de prova que seja, o Sr. Piolla agrediu moralmente três especialistas renomados e respeitados, bem como o INEP, e atacou a integridade profissional, intelectual e a credibilidade de todos.

A prática de publicar denúncias sem a mínima investigação do fatos é
indevida, indigna, e não pode prevalecer num Estado de Direito, nem
encontrar acolhida nos meios de comunicação sérios.

Atenciosamente,
MARIA HELENA GUIMARÃES DE CASTRO
Presidente do INEP

Nota técnica sobre o comentário de Gilmar Piolla quanto à amostra do SAEB 99
Rio de Janeiro, São Paulo e Ceará, 27 de novembro de 2000.

Por:

- Wilton de Oliveira Bussab (Matemático, PhD em Estatística, Professor da FGV_SP e Consultor Independente do MEC)
- Pedro Luis do Nascimento Silva (Estatístico, PhD em Estatística, Consultor Independente do MEC)
- Dalton Andrade (PhD em Estatística, Professor da UFC, Consultor Independente do MEC)

Em matéria "publicada" em 25/11/2000, o Sr. Gilmar Piolla afirma que "O mais curioso é que tudo foi feito para se alcançar um resultado positivo. As escolas que participaram da avaliação foram escolhidas a dedo. O MEC diz que a amostragem foi aleatória e representativa dos sistemas de ensino. A história não é bem assim. Quase todas as boas escolas públicas e privadas entraram na dita amostra aleatória. E mais: as escolas privadas ganharam um peso desproporcional ao seu tamanho, para puxar o desempenho geral para cima. Nada disso funcionou."

Vimos repudiar as afirmações levianas e sem fundamentação do Sr. Piolla. O planejamento, seleção e tratamento da amostra do SAEB de 1999 foram operações realizadas com o maior cuidado e honestidade profissional. Nunca foram feitas pelo MEC solicitações que pudessem levar à orientação da amostra a favorecer qualquer grupo de escolas ou que pudessem pretender influenciar os resultados, numa ou noutra direção.

O plano amostral usado no SAEB99 considerou a população de alunos dividida em três universos (que poderiam ser vistos como três estratos), segundo a série em que estão matriculados: 4a e 8a séries do Ensino Fundamental e a 3a série do Ensino Médio. Foi adotado um esquema com três etapas para seleção dos alunos a serem testados. Na primeira etapa foram selecionadas "escolas", definidas como as partes das escolas correspondentes ao conjunto de turmas e alunos de cada uma das séries consideradas na avaliação. Na segunda etapa foram elecionadas turmas dentro das escolas selecionadas na primeira etapa em cada uma das séries. Uma vez selecionada uma turma para participar da avaliação, todos os alunos da turma foram testados, embora em diferentes disciplinas. As escolas de cada série (unidades primárias de amostragem no planejamento amostral adotado no SAEB99) foram estratificadas segundo o estado onde se localizam, a rede de ensino a que estão vinculadas, e o tamanho (em número de turmas da série em questão).

Foram selecionadas por amostragem aleatória com probabilidades proporcionais ao tamanho, medido segundo seu número de turmas em cada série avaliada. Em escolas com até duas turmas na série, foi selecionada por amostragem aleatória simples uma turma para avaliação. Em escolas com três ou mais turmas (em cada série), foram selecionadas por amostragem aleatória simples duas turmas para avaliação. Os pesos amostrais empregados na obtenção dos resultados permitem estimar sem vício e com boa precisão para o total da população de alunos, escolas e turmas coberta no cadastro de seleção. Permitem também estimar corretamente para os estratos de interesse definidos por estado e rede de ensino, tanto pública como particular.

Do ponto de vista técnico, todas as etapas do trabalho, do planejamento, passando pela montagem de cadastros, seleção da amostra, coleta dos dados, ponderação, e estimação dos resultados, tudo foi feito com transparência, rigor técnico, e seguindo a melhor prática internacional no assunto. Para detalhes, consultar a farta documentação existente no MEC.

Chocam e agridem as afirmações do Sr. Piolla, pois contrariando o que se poderia esperar de um profissional do jornalismo, não consultou nenhum dos responsáveis pelo trabalho, nem tampouco a documentação existente sobre o assunto. Além disso, faz afirmações sobre tendências de resultados obtidos a partir de uma amostra de cerca de 7.000 escolas sem ter examinado os dados!

A prática de publicar denúncias sem a mínima investigação dos FATOS é indevida, indigna, e não pode prevalecer num regime democrático.

Por estas razões, exigimos retratação IMEDIATA do Sr. Piolla.

Aos interessados no esclarecimento completo da questão, estamos prontos a debater tecnicamente qualquer aspecto do trabalho de amostragem realizado para o SAEB99, bem como a esclarecer em quaisquer aspectos que porventura não se achem suficientemente esclarecidos com a documentação referida.