A sangue frio

Ranking da revista Veja São Paulo reduz escolas a meros números e recebe críticas quase unânimes, mas reabre debate sobre como se avalia uma instituição de ensino

Leia mais
- Avalie o avaliador

A revista Veja São Paulo publicou no início de outubro um trabalho que deixou perplexos vários profissionais de Educação. Um ranking das 50 melhores escolas particulares da cidade foi elaborado a partir de um questionário respondido por 324 estabelecimentos. Todos eles oferecem ensinos fundamental e médio e foram procurados pelo Instituto Ipsos-Marplan, encarregado da aplicação da pesquisa, que consumiu 10 meses de trabalho. Ao final, tamanho esforço, que poderia ter contribuído para "traçar uma radiografia das melhores escolas da cidade" (nas palavras do redator- chefe de Veja, Eduardo Oinegue), resultou em uma lista fria, implacável. Dezenas de projetos pedagógicos, décadas de trabalho, centenas de professores e milhares de alunos foram reduzidos a números inexoráveis - e discutíveis -, em que casas decimais infligiram, perante a opinião pública, um julgamento sobre quem é melhor no complexo ofício de educar.

Em resposta por escrito à revista Educação, Ariel Kostman - jornalista "escalado para comandar tal empreitada" (conforme texto da Carta ao Leitor da Veja São Paulo em que circulou o ranking) - jacta-se em nome da equipe que fez a reportagem: "Veja realizou um trabalho jamais feito no país." Convencido da grandeza de sua obra, vangloria-se: "A revista prestou um serviço inestimável aos pais, dando a eles um instrumento a mais para escolher a escola onde vai estudar o seu filho." (A resposta de Veja, em detalhes, está na página 44)

O debate provocado sobre o ranking de escolas se alastrou. O tema ganhou proporções justas entre educadores, pais, alunos e sociedade em geral. Além de São Paulo, a edição regional de Veja no Rio de Janeiro fez o mesmo trabalho em sua cidade. Em ambos os casos, a repercussão foi contaminada, em vários momentos, como era de se esperar, por rancores dos que se acreditavam merecedores de melhor colocação. O corporativismo de alguns proprietários de colégios ficou evidente em determinadas reações contra a revista. Mas a discussão deve superar os argumentos passionais para ir ao cerne da questão. Enfim, por que o resultado da pesquisa causou tamanha perplexidade entre profissionais sérios?

Os argumentos são técnicos. Para Eugênio Cordaro, sócio da consultoria em Educação CNA, de São Paulo, não se trata de negar toda idéia de ranking. Ele diz que os erros estão, principalmente, na apuração dos dados usados por Veja São Paulo. São, portanto, falhas na base de todo o processo, as quais ele resume e enumera. Primeira: não estava claro, para as escolas entrevistadas, que o objetivo da revista era classificá-las. A segunda falha é a de que nem o leitor nem os colégios ouvidos souberam o peso de cada um dos 30 critérios que contaram pontos para o ranking. E o terceiro erro, segundo o consultor, está na falta de uma auditoria sobre os dados fornecidos.

Os três argumentos apresentados por Cordaro são praticamente consenso entre vários diretores de escolas envolvidas na pesquisa de Veja. A irmã Geracina Ferreira da Silva, à frente do planejamento pedagógico do Colégio Santa Clara, conta que fez questão de acompanhar pessoalmente a aplicação do questionário. Como dirigente de uma típica escola low profile, tem sempre um certo receio dos meios de comunicação. Por isso, questionou tudo o que podia. Quis saber tim-tim por tim-tim os objetivos da pesquisa.

Mas sequer desconfiou que suas informações iriam parar em um ranking. "Se eu soubesse talvez tivesse debatido mais sobre isso com a revista ou nem tivesse participado", protesta. Detalhe: o Santa Clara entrou na lista com a terceira melhor colocação. A diretora não esconde que gostou da abordagem da revista sobre a escola. Em especial do título "Sem fama, mas com qualidade", da matéria que descreveu o colégio. Mas não concordou com os métodos.

Em quarto lugar no ranking Veja São Paulo, o Colégio Santa Maria também não foi informado de que o fim de todas as questões burocráticas era a elaboração de uma lista classificatória, embora tenha comemorado sua colocação. A orientadora da escola, Selma Squillaci Pietrocolla, que não partilha das críticas à pesquisa da revista (muito pelo contrário), também não sabia de suas reais intenções. Dos cinco melhores colocados, os colégios Visconde de Porto Seguro (1º), Santa Cruz (2º) e Nossa Senhora das Graças (5º) também foram procurados pela reportagem de Educação, mas não deram retorno aos pedidos de entrevista.

Um dos mais inconformados com o ranking de Veja, o diretor do Colégio Etapa, Carlos Eduardo Bindi, foi enfático ao manifestar à revista sua posição contrária a pesquisas que classificam escolas. Em nenhum momento foi informado de que este era o objetivo do trabalho. Ouviu que a pesquisa serviria apenas para traçar uma espécie de radiografia das escolas particulares de São Paulo. Mas quando a publicação chegou às bancas, veio o susto. A reação foi quase imediata. O Etapa - 34º colocado - foi um dos colégios que mais se expôs na briga travada contra a revista. Publicou carta em jornal, em forma de anúncio pago, com os principais argumentos contrários ao trabalho.

Mas foi do Grupo - Associação das Escolas Particulares que partiu a reação mais irada à Veja São Paulo. As cartas de repúdio feitas por associados e enviadas a pais e veículos de comunicação chegaram também à redação da revista. Descontada a exacerbação que deu o tom ao embate promovido pelo Grupo, entidade formada por 36 colégios de elite na cidade, os argumentos são objetivos. E o primeiro deles foi a falta de transparência sobre a intenção da pesquisa.

Em resposta às acusações de "desvio ético" feitas pelo Grupo contra a revista, Veja contra-atacou em outra edição. Argumentou que todas as escolas entrevistadas receberam carta, com os seguintes dizeres: "Caro diretor: a revista Veja prepara para uma de suas próximas edições uma ampla reportagem sobre educação. A intenção é traçar uma radiografia das melhores escolas da cidade e publicá-la em Veja São Paulo." Afirmava ainda que os dados não seriam utilizados de maneira isolada. Não existe aí qualquer informação de que se tratava de elaborar um ranking e de ordenar, do 1º ao 50º, os supostos melhores colégios, com notas que tinham variações decimais.

Falta de cuidado - Embora a omissão da verdade indique falha em um levantamento que se pretendia profissional e transparente, não reside aí a raiz do problema com o ranking de Veja. O que o desqualifica é a falta de cuidado com a avaliação de escolas, que não podem ter o mesmo tratamento de um restaurante. O amadorismo do trabalho começa pelo uso de uma mistura de critérios, se estende pela coleta de dados e ganha seu apogeu na publicação desacompanhada da clareza de parâmetros. É por tudo isso que não interessa de onde vêm os desabafos contra a revista. O que está em discussão é a seriedade de um tema como avaliação de escolas e a precisão das informações prestadas à sociedade.

Há uma série de questões que devem fazer parte da avaliação de uma escola. Entre elas, provavelmente todas as 90 perguntas feitas por Veja São Paulo às instituições pesquisadas seriam consideradas em um processo sério. Serviriam como componentes descritivos. Em uma etapa seguinte, seriam relacionados uns com os outros, para tentar expressar melhor o uso de cada atributo do colégio. Mas Veja optou por uma terceira e tortuosa via. Misturou os dados em uma espécie de liquidificador, de cuja mistura saiu uma nota final, resumindo a escola a números absolutos. A revista traçou um caminho confuso e não deu o mapa ao leitor para que ele soubesse com mais firmeza onde estava pisando.

O diretor da Cesgranrio em São Paulo e membro do Conselho Nacional de Educação (CNE), Arthur Roquete de Macedo, está habituado a fazer avaliações exaustivas de estabelecimentos de ensino. Ao lembrar de vários detalhes a serem observados em cada escola, ele cita o currículo; a formação dos professores; a estrutura física para desenvolver o programa pedagógico; equipamentos e instalações; proporção de espaço para o número de estudantes; acervo da biblioteca; suporte administrativo; e desempenho dos egressos, entre uma diversidade enorme de informações. Na opinião de Macedo, uma pesquisa qualitativa só terá validade se a análise for feita com absoluta isenção e de forma continuada. Além disso, todos os critérios devem ser avaliados de forma relativa, de olho em todos os parâmetros e com a preocupação de analisar como cada um interfere no outro. E, por fim, o levantamento só terá credibilidade se a sociedade e os estabelecimentos avaliados souberem quais foram os métodos, os critérios e seus pesos na composição final do resultado. Uma brecha entre estas condições e pronto: a pesquisa perde a razão de existir.

Pois Veja não teve esse olhar relativo, ponderado e necessário. Tentou transformar quesitos imensuráveis em atributos numéricos. E os interessados no assunto - pais, sobretudo - ficaram sem saber o pressuposto de partida da revista para chegar às notas dadas a cada estabelecimento. O que teria contado mais a favor dos colégios: a maior quantidade de aulas de artes ou a oferta de aulas de filosofia? (Observe no quadro da página 40 algumas perguntas feitas por Veja às escolas.)

"A avaliação de uma escola vai além de dados meramente quantitativos. É possível ter a medida de alguns deles. Mas sequer a própria medição tem sido avaliada", critica a professora da Faculdade de Educação da Universidade de São Paulo (USP), Sandra Zakia Souza, referindo-se não só à iniciativa de Veja São Paulo, mas a qualquer outro trabalho similar. Na opinião dela, uma somatória de números não dá conta da dimensão da matriz organizacional de uma escola. Não consegue extrair informações, por exemplo, sobre as relações de poder que existem no meio de aprendizagem, nem como esse ambiente se organiza: "É um trabalho muito mais complexo do que se imagina."

João Mendes, diretor do Colégio Hugo Sarmento (que não figurou entre os 50 no ranking em São Paulo), concorda com Sandra. Para ele, é falsa a associação entre critérios quantitativos e qualidade pedagógica. "E expressar isso com a suposta precisão de uma casa decimal é algo simplesmente impossível", argumenta. Uma das sócias do Colégio Lourenço Castanho (19° lugar na lista de Veja), Marilu Aidar, também faz parte deste coro. "Cada escola tem sua personalidade própria, é sua história que a torna singular. Esse é um assunto de muita profundidade para virar uma equação matemática", comenta.

Subjetividade - Se avaliar com profundidade uma única escola já é um trabalho para lá de complicado e meticuloso, a elaboração de uma metodologia para compor uma grande quantidade de estabelecimentos é, no mínimo, tarefa ingrata para quem se aventura a ela. Para Macedo, da Cesgranrio, é mais do que isso. É algo perigoso, especialmente quando o objetivo é montar um ranking. "Sempre há um grau de subjetividade, por mais profundas que sejam as pesquisas, o que indica alta possibilidade de erro. Se os dados viram um ranking, o risco de falhar é ainda maior."

O estatístico José Francisco Soares, que coordena o Grupo de Avaliação de Medidas Educacionais (Game) da Universidade Federal de Minas Gerais (UFMG), considera que este é um momento importante para a reflexão sobre o trabalho das escolas. Para ele, é preciso reforçar os trabalhos de análise externos: "Não se deve jogar fora o bom movimento de pedir que a escola mostre como ela está. Mas não é boa a idéia de pedir isso por meio de um ranking ou do vestibular." Pesquisador e autor de estudos na área, Soares coloca sobre a balança os dois lados opostos da questão. De um lado, estão os colégios e educadores ainda resistentes à avaliação feita por terceiros - o que precisa ser mudado rapidamente. E de outro, estão instrumentos de pesquisa fracos, que não retratam a realidade. É o caso do ranking, na opinião dele.

A classificação comparativa de colégios não consegue medir as relações entre o estabelecimento e sua clientela. "Por isso é uma descrição pobre da realidade", afirma Soares. Para ele, pior ainda é a pesquisa ou o ranking que não avalia resultados.

Reside aí uma complicada discussão, que Veja São Paulo expôs muito bem, sobre a diferença nos referenciais de cada família. Em vários trechos da reportagem, a revista alerta aos pais para que não sigam cegamente a lista ali apresentada. Ao contrário disso, a sugestão é a de que os pais não abram mão de uma investigação própria sobre a escola em que pretendem matricular os filhos.

Ao falar de avaliação de resultados, Soares lembra que há também aí um forte peso familiar. Para alguns pais, é mais importante avaliar o desempenho do aluno no campo das ciências exatas do que no campo das ciências humanas. Enquanto uns esperam que seus filhos desenvolvam a criatividade na escola e adquiram noções sociais mais importantes, outros definem como meta a aprovação no vestibular. E é a partir dessas definições que a escola será eleita como a melhor para cada um. Mas se os resultados do colégio não forem levados em conta, então é impossível medir sua eficiência. Os dados físicos e descritivos do programa pedagógico são insuficientes para fazer essa medição. Foi aí que Veja São Paulo cometeu mais um deslize.

À frente do Game, Soares é uma autoridade no país quando o assunto é avaliação educacional. Ao falar sobre o tema, encontra o ponto certo entre a praticidade do estatístico e a visão universal do educador. Ele concorda que a análise de uma escola também não pode se resumir ao campo cognitivo, mas defende que há um mínimo a ser avaliado: "O aluno precisa caminhar seguro nos conhecimentos básicos de matemática e na leitura, por exemplo, que são pré-requisitos da cidadania." O Sistema Nacional de Avaliação da Educação Básica (Saeb), aplicado pelo governo federal, por exemplo, pousa um olhar sobre o desempenho dos alunos em relação a um patamar razoável do nível de conhecimento - sem, contudo, avaliar o estudante de forma particular nem a escola.

O maior embate de Soares, no entanto, é técnico. Está, sobretudo, na essência do tema. "Educação é uma interação de pessoas. Aí alguém me pergunta: o professor da escola fundamental obrigatoriamente tem de ter mestrado? Não sei, as relações entre docente e aluno são muito individualizadas", diz. Na condução de pesquisas, o coordenador do Game tem sempre caminhos múltiplos pela frente. Escolher o rumo a seguir em cada medição é algo a ser definido com critérios muito claros. "Não quero que tudo seja medido na escola, porque isso é um desastre. Calcular não é avaliar."

Este é o ponto de partida para Soares de qualquer avaliação pretensiosamente séria e real. Se é para medir, pondera ele, é preciso se ater ao que é indubitável. Saber, por exemplo, se o aluno aprendeu sobre história brasileira, é possível por meio de exames específicos, cujas respostas objetivas são inquestionáveis.

Mas quando a intenção é avaliar o estabelecimento de ensino, então as variáveis ficam ainda mais complexas. "O pedagógico é plural", resume Soares. Analisar várias de suas vertentes é possível, na opinião do diretor da Cesgranrio em São Paulo, Arthur Roquete de Macedo. Mas para tanto é necessária uma verdadeira imersão na escola. É o que a Cesgranrio faz em algumas instituições que contratam seus serviços.

Tudo o que foi discutido até aqui, no entanto, pode ser esquecido se não entrarmos no mérito da utilidade das pesquisas sobre qualidade de escolas. Na opinião de Sandra Zakia, da USP, toda avaliação deve gerar reações subseqüentes. Ou seja, seu objetivo tem de ir muito além da simples constatação. "O propósito deve ser sempre gerar melhorias. Por isso não aprovo o princípio do ranking: ele não serve de subsídio para ações futuras."

Grito no vácuo - Diante desse argumento, lançar um ranking de escolas como fez Veja São Paulo é como um grito no vácuo. As avaliações organizadas e profundas de estabelecimentos partem do princípio de que precisam gerar dados para que, a partir deles, cada colégio ou a gestão pública defina o rumo de suas ações. É por isso que foram criados os exames aplicados pelo Instituto Nacional de Estudos e Pesquisas Educacionais (Inep), por exemplo - Saeb, Exame Nacional do Ensino Médio (Enem) e Exame Nacional de Cursos (Provão).

Um dos sistemas com melhor conceituação no meio acadêmico, dentro e fora do país, é o da Coordenação de Aperfeiçoamento de Pessoal no Ensino Superior (Capes), ao avaliar os programas brasileiros de pós-graduação. As notas dadas aos programas, de 1 a 7, tornaram-se uma espécie de certificado de qualidade para as universidades. "O objetivo é duplo: primeiro, só autorizar cursos que tenham um padrão mínimo de qualidade; segundo, prover a sociedade e o MEC com as informações necessárias para um acompanhamento desse nível de ensino no país", explica o diretor de avaliação da Capes, Adalberto Vasquez. É claro que há uma grande distância entre analisar escolas de ensino fundamental e médio e programas de pós-graduação. E simplesmente transpor o modelo da Capes para o ciclo básico seria algo insano. Mas, para Vasquez, princípios básicos e operacionais podem ser agregados.

A credibilidade da Capes, no entanto, está em um sistema de avaliação que dura três anos e é ininterrupto. Equipes visitam freqüentemente os estabelecimentos analisados nesse período e acompanham seus resultados. Ao final, dá notas, mas não diz se o programa A de doutorado nível 7 é melhor que o programa B também nível 7 - conceituação máxima pela Capes. Isso porque a classificação entre eles dificilmente embutiria com precisão seus diferentes objetivos, programas e perfis. Qual o grau de acertos, portanto, da pesquisa feita por Veja a partir de um questionário de 90 perguntas e do ranking originado dele?

Essa pergunta deve ser respondida pelo leitor, assim como cabe a ele avaliar com cuidado o tal ranking, como bem sugere a Veja São Paulo, em um momento de lucidez. Mas para que pais, educadores e alunos possam fazer isso, dependem de algo ainda desconhecido: o juízo de valor intrínseco na avaliação de cada item do questionário. Sem essa informação, o leitor não tem instrumentos para comparar se o mesmo peso dado pela revista a certas questões é o peso que ele próprio daria. Segundo diretores de escolas ouvidas pela revista, os critérios foram solicitados depois da publicação do trabalho, mas receberam de Veja a informação de que tais dados são sigilosos.

Critérios - A diretora pedagógica do Colégio Móbile (40.ª no ranking Veja), Maria Helena Bresser, faz questão de ressaltar a legitimidade das avaliações externas de escolas. E chega até a discordar de alguns de seus pares, ao afirmar que, assim como pode fazer qualquer avaliador, a revista Veja São Paulo exerceu com plenitude o direito de escolher seus critérios. Estabelece-se, assim, o critério Veja, concordem ou não os envolvidos na avaliação. No entanto, ao receber em mãos um exemplar da revista com o ranking, os pais não tiveram uma orientação técnica, como quer fazer acreditar a publicação. "A revista furtou das pessoas a chance de avaliar se os critérios utilizados são importantes para elas", complementa Bindi, do Colégio Etapa.

Já para o presidente do Sindicato dos Professores de São Paulo (Sinpro), Luiz Antônio Barbagli, a discussão sobre a metodologia de pesquisa utilizada por Veja não deve ser o "x" da questão. O problema, diz ele, passa pela dificuldade em mensurar a qualidade do "produto" de uma escola. "Qualidade é um valor, não se mede. Tudo vai depender do sujeito que avalia", diz a professora Miriam Paura, da Faculdade de Educação da Universidade Estadual do Rio de Janeiro (UERJ). Por isso, há quem defenda a total inutilidade de avaliações como a de Veja São Paulo, com a agravante da falta de transparência quanto aos critérios.

É mesmo uma encruzilhada. A imprensa tem sim - e esta é uma discussão maior, que não caberia apenas nesta matéria - o papel de mediar, de fiscalizar, de denunciar. Quando o assunto é educação, deve também promover o debate. No caso específico da avaliação de escolas, não cabe aos meios de comunicação a tarefa de assumir a responsabilidade do Estado e das empresas, nem indicar qual deve ser o rumo das mudanças a serem adotadas pelos estabelecimentos analisados. E, portanto, não têm a obrigatoriedade de tomar para si a função de realizar um levantamento dispendioso como o da Capes, por exemplo.

Mas ao assumir, por conta e risco, a realização de uma pesquisa com a pretensão de averiguar qualidade das escolas e classificá-las, a revista Veja deu alguns passos em falso. E, se não desorientou o pai de aluno, também não o poderia ajudar. No final das contas, o ranking de Veja talvez seja de grande valia para o debate sobre o tema. Em um país que começa a consolidar um amplo sistema de avaliação, inclusive com reconhecimento internacional, esse trabalho poderá servir - mais por seus aspectos negativos - como um divisor de águas. Vai marcar a necessidade de levar o assunto a sério. E de desenvolvê-lo, com parâmetros científicos, balanceados, para que seja um instrumento a favor da melhoria do sistema educacional.

Avalie o avaliador

Veja São Paulo desafia escolas a fazer seus próprios rankings e se submeter a "sistemas de controle das sociedades modernas"

Procurada pela reportagem de Educação, a equipe de Veja São Paulo respondeu por escrito às principais críticas apresentadas ao trabalho que resultou no ranking das 50 melhores escolas da cidade. Em e-mail encaminhado pelo repórter Ariel Kostman, que coordenou a pesquisa, Veja São Paulo afirma que cumpriu os compromissos assumidos com os estabelecimentos pesquisados. Tais promessas constavam na carta assinada pelo redator-chefe de Veja, Eduardo Oinegue, endereçada aos diretores (cujos trechos iniciais estão reproduzidos na página 38). A revista se apóia nessa correspondência para negar que o objetivo do levantamento tenha sido omitido.

Para Veja, o propósito do trabalho ficou claro quando a mesma carta comunica que seria feita uma "radiografia das melhores escolas". "Como se selecionam as melhores? Aplicando um questionário? Com que propósito? Selecionar as melhores, tal qual fizemos. Será que as escolas ficaram em dúvida? Então por que não perguntaram nada para a equipe de reportagem ou para os pesquisadores? E por que se submeteram a um questionário com mais de 90 perguntas técnicas?"

A falta de divulgação dos critérios de classificação, segundo Veja São Paulo, faz parte do compromisso assumido em carta, de não usar os dados isoladamente. Foi perguntado por que a revista não publicou os pesos específicos de cada questão. A resposta foi a seguinte: "Imagine se faria algum sentido listar as questões com os devidos pesos, assim, em tese. Não adiantaria nada. O que as escolas querem é saber onde a escola A se saiu melhor do que a B."

A revista Educação apresentou à Vejinha a crítica de alguns especialistas, que condicionam a utilidade da pesquisa às melhorias que possa ocasionar para a escola.

Para Veja, seu compromisso é com o leitor. E avança dizendo que os organismos responsáveis pela gestão do ensino "jamais prepararam qualquer estudo sobre as escolas pelo simples fato de que isso não interessa aos donos". E vai mais longe: desafiou os colégios que ficaram "injuriados" e as "entidades que se julgam no direito de falar em nome das escolas" a fazer seu próprio ranking. "Tenham a coragem de submeter as escolas a sistemas de controle próprio das sociedades modernas."

Outra crítica é a de que as questões pesquisadas na escola não seriam suficientes para avaliar sua eficiência. Veja considera que "realizou um trabalho jamais feito no país", ao montar um "detalhado e cuidadoso questionário", resultado "de incontáveis conversas com uma centena de educadores, diretores de escolas, especialistas de universidades, psicólogos e psicopedagogos". Com isso, argumenta que ofereceu um instrumento a mais para que o pai possa comparar as escolas antes de matricular seus filhos. "Um serviço inestimável", qualifica. Veja São Paulo ainda reforça sua preocupação "em não ser dona da verdade", por ter alertado os pais sobre a necessidade de uma investigação própria.