Notícia

Jornal da USP online

Rankings são indicadores precisos?

Publicado em 07 dezembro 2015

Por Leila Kiyomura

“Enquanto o ensino superior torna-se cada vez mais universalizado e um fator determinante em desenvolvimento tanto humano quanto tecnológico, a necessidade de avaliar e comparar capacidades tornou-se um aspecto-chave da academia no século 21. O debate público sobre as universidades cristalizou-se no tema dos rankings.”

A observação do inglês Justin Hugo Axel-Berg, 27 anos, sobre a importância dos rankings globais na academia contemporânea é analisada na sua dissertação de mestrado, orientada pelo professor Jacques Marcovitch e apresentada ao Instituto de Relações Internacionais (IRI) da USP. O título do trabalho é “Competindo no Cenário Mundial: A Universidade de São Paulo e o ranking global de universidades”.

O estudante pesquisou o contexto dos três maiores rankings globais: o Times Higher Education (THE), publicado pelo jornal inglês com o mesmo nome, o Quacquarelli Symonds – que atuavam juntos, porém agora apresentam os resultados separadamente – e o Shangai Jiao Tong, que, segundo Axel-Berg, é o fruto inesperado de um programa de reforma do governo chinês, destacando-se como o primeiro ranking global, fundado em 2003. “Essas empresas geram lucros a partir da sua publicação. Todo ranking é formado a partir de uma ideologia e representa algum interesse”, afirma.

O pesquisador questiona a eficiência das avaliações dos rankings. “Primeiro, há problemas conceituais. Rankings sempre reduzem a universidade dinâmica e multifacetada em uma única dimensão, perdendo vários aspectos-chave, como inclusão social e extensão à comunidade”, observa. “Depois, é impossível construir uma métrica que avalie todas as disciplinas de forma justa. Por exemplo, como é possível avaliar os cursos de Engenharia e Filosofia com os mesmos parâmetros? Esse efeito redutivo, combinado com os efeitos externos e públicos dos rankings, significa que, hoje, exerce um papel de disciplinador na anarquia criativa do mundo científico. Prioriza sempre um modelo só de instituição e favorece certas disciplinas sobre as outras.”

Mutação – Segundo o pesquisador, os rankings são medidas de avaliação em mutação permanente. “Por isso, seus resultados devem ser interpretados levando em conta as mudanças nos crité- rios de avaliação e seu impacto na classificação das universidades. No caso da USP, a instituição caiu drasticamente no Times Higher Education em 2015, mas, no Quacquarelli Symonds, que está no mesmo patamar do THE, não houve queda e sua 143ª posição é muito mais alta do que naquele outro ranking”, compara. “Já no Shangai Jiao Tong, desde 2004 a USP permanece no grupo das 101-150 melhores universidades e, no ranking da National Taiwan University, encontra-se na 58ª posição.”

Esses rankings apresentam resultados diversos porque cada um deles, segundo Axel-Berg, re quer atenção específica na maneira como os dados são apresentados para garantir os melhores resultados. “Quando a mesma universidade sobe em alguns rankings e desce em outros, isso significa que estão sendo adotadas metodologias distintas ou os processos de coleta de dados não são os mais adequados à tarefa.”

Para o professor Jacques Marcovitch, embora tenha caí- do no Times Higher Education em 2015, “a USP melhorou o seu desempenho na mesma aferição no que se refere às métricas de ensino e pesquisa”. Explica: “De fato, essas métricas se comparam favoravelmente com a maioria das primeiras cem instituições colocadas no ranking e melhor do que a maioria do grupo localizado entre as 100-200. É difícil a interpretação desses dados, uma vez que são compostos de cinco métricas para o ensino e três métricas para a pesquisa. A grande maioria dessas métricas decorre da reputação da institui- ção, refletindo, assim, o prestígio conquistado junto a instituições congêneres de ensino superior, e da excelência do seu ensino, especialmente em pós-graduação.”

O professor lembra que o volume de recursos obtidos na Fapesp e a alta produtividade em pesquisa também estão fortalecendo o reconhecimento do desempenho da Universidade. “De acordo com a pesquisa do pós-graduando Justin Axel-Berg, a queda havida nas citações em periódicos científicos pode ter sido uma das causas, tendo em vista o grande esforço para mudar de um modelo de alta produtividade para um que prioriza o impacto das publicações.”

Impacto ainda é baixo

A escassez de produção científica de alto impacto acadê- mico, segundo o professor Jacques Marcovitch, continua a ser o maior desafio que a comunidade científica brasileira enfrenta. Porém, esses resultados não devem ser interpretados superficialmente. “Essa queda no período de um ano é improvável em uma instituição do tamanho da USP e, portanto, sugere uma alteração na metodologia e não nos resultados”, argumenta.

“Uma grande mudança foi a normalização das taxas de cita- ções por país, algo que, sem dú- vida, afetou a avaliação da USP e de várias outras universidades em países emergentes. Se a metodologia de um experimento muda durante o estudo, esta prejudica a validade dos resultados. Talvez seja incorreto dizer que houve uma queda em desempenho. Seria mais apropriado considerar que os requisitos exigidos da Universidade mudaram e a instituição não foi suficientemente proativa para antecipá-los.”

A dissertação de mestrado de Justin Hugo Axel-Berg, orientada pelo professor Jacques Marcovitch e apresentada ao Instituto de Relações Internacionais (IRI) da USP, está disponível na Biblioteca Digital de Teses e Dissertações da USP (www.teses.usp.br).

rimeiro lugar entre as 300 instituições latino-americanas. Baseia-se em sete indicadores: reputação acadêmica, reputação entre empregadores, proporção de professor para estudante, citações científi cas, publicações por faculdade, quantidade de professores com doutorado, impacto na internet.

Entenda os Rankings

Como são feitas as medições dos Rankings

Times HigherEducation:

USP classificou-se no grupo entre 251-300 , é a instituição brasileira mais bem colocada. Utiliza cinco critérios: ambiente de ensino, inovação, internacionalização, pesquisa (volume, investimento ereputação) e citações (infl uência da pesquisa).

Quacquarelli Symonds:

A USP ocupa a 132ª posição entre no mundo. Porém, está em primeiro lugar entre as 300 instituições latino-americanas. Baseia-se em sete indicadores: reputação acadêmica, reputação entre empregadores, proporção de professor para estudante, citações científicas, publicações por faculdade, quantidade de professores com doutorado, impacto na internet.

Shanghai Jiao Tong University:

USP subiu quatro posições, é a melhor universidade latino-americana, classificando-se em 58º lugar. O ranking classifica a produção científica de 500 universidades no mundo todo. A avaliação considera três critérios: produtividade, impacto e excelência da pesquisa.