Notícia

Blog Lúcio Flávio Pinto

As melhores universidades

Publicado em 23 dezembro 2019

Por Lúcio Flávio Pinto

Dias atrás o jornal O Estado de S. Paulo publicou um longo levantamento sobre a qualidade das universidades, com base em pesquisa de uma instituição holandesa. Publico aqui apenas uma parte do trabalho. Os interessados em aprofundar a verificação poderão usar os links de acesso indicados no final da matéria. Infelizmente, as universidades do Pará não conseguem se situar no ranking. Mas podem usá-lo como fonte de reflexão sobre a tarefa que devem realizar para se firmar no cenário nacional com algo mais do que quantidade.

_____________________

Qual é a melhor universidade do Brasil? Essa pergunta não tem uma resposta certa. Dependendo do critério adotado, pode ser a Universidade de São Paulo (USP), a Universidade Federal do Ceará (UFC) ou a Universidade Estadual de Maringá (UEM) – ou ainda outras instituições que são, cada uma a seu modo, centros de excelência em pesquisa.

Mas, afinal, o que é um centro de excelência? A resposta é mais complicada do que parece. Para usar uma metáfora científica, encontrar instituições de destaque é uma tarefa que exige trocar a lente do microscópio constantemente. Conforme direcionamos o olhar para uma estatística ou outra, os resultados mudam.

Para contribuir na discussão sobre a quantidade e a qualidade da produção científica brasileira, o Estadão analisou os dados do Leiden Ranking 2019, uma publicação anual que reúne indicadores sobre as principais instituições acadêmicas do mundo.

Essa análise tem uma série de complexidades que, se explicadas minuciosamente, tornariam o texto muito chato. Entretanto, elas são importantes! Sempre que este símbolo aparecer, você pode clicar nele para ver detalhes sobre a metodologia.

O levantamento é feito pelo Centro para Estudos da Ciência e Tecnologia da Universidade de Leiden, na Holanda, e contabiliza os artigos catalogados pela Web of Science (WoS) – um banco de dados que reúne o conteúdo de periódicos científicos do mundo todo.

É importante ressaltar que nem todos os artigos são catalogados pela plataforma, porém. A análise limita-se às publicações indexadas pelo banco de dados.

Alguns dos destaques mais previsíveis são as instituições do sistema  estadual paulista como USP, Unicamp e Unesp. Com muitos estudantes, pesquisadores e recursos, elas são responsáveis pela maior parte dos artigos do País.

Entretanto, o volume de produção não é a única maneira de avaliar uma instituição.

Medir o impacto das publicações também é importante, assim como olhar para indicadores que não estão diretamente relacionados com pesquisas, mas que são relevantes para a missão universitária e para o desenvolvimento da ciência.

Quando esses critérios entram na avaliação, lugares menos óbvios se destacam.

O cenário também muda quando apontamos a lente para um setor do conhecimento  de cada vez. Existem universidades com pesquisas expressivas em diversos campos, mas há outras que se destacam em áreas específicas.

Nessa reportagem, encontramos universidades que se destacam sob essas diferentes lentes – e, no caminho, aproveitamos para conversar com alguns dos pesquisadores que colocam a mão na massa para que esses indicadores existam.

GIGANTES PAULISTAS

Super-universidades produzem
o maior volume de artigos

O gráfico a seguir representa todos os artigos indexados que foram publicados entre 2014 e 2017 pelas 23 universidades brasileiras que aparecem no Leiden Ranking 2019 .

O formato da “célula” indica quantos deles foram produzidos  em cada uma das cinco áreas do conhecimento adotadas pelo ranking .

Ao todo, essas universidades produziram o equivalente a cerca de 71 mil publicações científicas catalogadas pela Web of Science

O tamanho da USP fica evidente quando levamos esse critério em consideração. Sozinha, produziu quase 17 mil artigos indexados, cerca de 25% do total do País

Na área de Ciências biomédicas e da saúde apenas, foram aproximadamente 8,4 mil publicações – mais do que a produção de qualquer outra instituição brasileira, somando todas as áreas do conhecimento

A segunda universidade brasileira com maior produção é a Unesp, que foi responsável por cerca de 9% da produção acadêmica do País com pouco mais de 6 mil publicações

Logo em seguida vem a Unicamp, com 7% ou 5,5 mil artigos indexados, completando assim a trinca das principais instituições de ensino superior de São Paulo

Somadas, as três são responsáveis por pouco mais de 40% dos artigos de universidades brasileiras contabilizados pelo ranking

As gigantes do sistema estadual paulista são os maiores centros de pesquisa do País quando o critério é a escala da produção.

Para André Frazão Helene, professor do Instituto de Biociências da USP que também estuda as características da produção científica brasileira, o volume de pesquisas e o tamanho de uma universidade são importantes para avaliar o papel social que elas desempenham.

De acordo com ele, uma universidade grande como a USP, com quase 100 mil alunos, além de produzir ciência de ponta, é também responsável pela prestação de serviços públicos.

Hospital das Clínicas, um dos maiores do País, funciona em grande parte graças ao trabalho de professores, pesquisadores e estudantes da instituição, por exemplo.

Entretanto, o tamanho da área de atuação, justamente o que faz essas universidades se destacarem na contagem de artigos publicados, gera também um indicador contrastante.

Instituições de médio porte costumam se sair melhor quando o critério de avaliação não é o total de publicações, mas o porcentual de pesquisas que atinge alto impacto científico – ou seja, quando se usa uma métrica de aproveitamento.

ALTO IMPACTO

Quando o critério é aproveitamento, outros centros se destacam

Até agora, estávamos olhando para toda a produção acadêmica de uma instituição. Este é um critério comum para estimar o desempenho de um centro de pesquisa, mas não é o único possível. Outra maneira de avaliar universidades é contar quantos destes artigos atingiram um nível alto de impacto na comunidade científica.

É possível fazer isso contando as citações que uma publicação recebeu. Um número alto de referências indica que outros cientistas consideram o trabalho relevante.

Entre os indicadores do Leiden Ranking está uma métrica que possibilita esse tipo de avaliação: o número de artigos de uma universidade que estão entre os 10% mais citados em sua respectiva área do conhecimento.

Um exemplo: a USP, como vimos, publicou aproximadamente 17 mil artigos no período analisado. Destes, pouco mais de mil ficaram entre as publicações de maior impacto – ou seja, com mais citações. São para estes que vamos olhar agora.

Entretanto, considerar apenas o número absoluto de artigos causaria uma distorção. Universidades grandes, como as gigantes paulistas citadas anteriormente, produzem mais. Em consequência, produzem também uma quantidade maior de artigos de impacto.

NEM TUDO SÃO NÚMEROS

Após a popularização dos rankings universitários na última década, USP, Unicamp e Unesp têm criado seus núcleos de inteligência para monitorar o próprio desempenho acadêmico. Escritórios e comissões reúnem e analisam dados e ainda fazem a interlocução com os grupos responsáveis pelas avaliações internacionais.

Além disso, as três gigantes paulistas participam de um projeto com o objetivo de criar indicadores comuns de desempenho e impacto socioeconômico, cultural e ambiental. A iniciativa tem o apoio da Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp).

Para Marcelo Knobel, Reitor da Unicamp e Presidente do Conselho de Reitores das Universidades Estaduais Paulistas (Cruesp), os rankings podem oferecer instrumentos para análise, mas não devem se tornar uma meta.

METODOLOGIA

Antes de tudo, é importante ressaltar que qualquer maneira de avaliar a produção de universidade carrega uma série de vieses.

Simplesmente contar a quantidade de artigos publicados em periódicos científicos, por exemplo, é um critério que ajuda grandes instituições como USP e Unicamp.

Contar citações, outra medida comum de impacto, favorece instituições que concentram estudos em temas de maior repercussão.

Pesquisas em ciências biológicas costumam ser mais referenciadas que pesquisas em ciências sociais, por exemplo. O problema permanece mesmo dentro de uma mesma área do conhecimento. Estudos sobre doenças tropicais tendem a ser menos citados que estudos sobre câncer, ainda que sejam igualmente importantes para a medicina brasileira.

A dinâmica de pesquisa também varia de acordo com o campo: nas ciências da saúde, por exemplo, o volume de publicações costuma ser maior.

Assim, o levantamento feito pelo Estadão decidiu usar os dados do Leiden Ranking justamente porque a compilação oferece uma série de recortes que permitem analisar as características das universidades brasileiras sob diferentes lentes.

Entretanto, algumas particularidades do levantamento precisam ser levadas em conta.

Origem dos dados. Os artigos contabilizados pelo Leiden Ranking são todos aqueles que foram publicados na coleção principal da Web of Science, um banco de dados internacional de publicações científicas. No ranking, foram considerados apenas artigos de pesquisa ou de revisão que tenham sido publicados em inglês. Livros e participação em conferências, por exemplo, não são contabilizados.

Universidades consideradas. Para uma universidade aparecer no ranking, ela precisa ter publicado ao menos mil artigos, considerando os critérios descritos acima. Artigos publicados por pesquisadores de instituições afiliadas – um hospital universitário, por exemplo – também são consideradas como artigos da universidade responsável. Ao todo, o levantamento avalia a performance de 963 universidades, distribuídas em 56 países.

Definição dos campos científicos. No ranking, os artigos são classificados em cinco grandes áreas do conhecimento: Ciências biomédicas e da saúde, Ciências da vida e terra, Ciências físicas e engenharias, Matemática e ciência da computação e Ciências sociais e humanidades. Estes campos foram definidos usando um algoritmo de computador. Em linhas gerais, foram analisadas as relações entre as citações das publicações. Com o resultado, cada artigo foi categorizado como pertencente a um microcampo científico. Esses microcampos foram, posteriormente, categorizados como pertencentes a uma ou mais das 252 categorias dos periódicos científicos da Web of Science. Por fim, cada categoria de periódico foi vinculado a uma das cinco grandes áreas do conhecimento.

Contagem fracionada. O ranking usa um método de contagem que atribui peso parcial para cada uma das universidades que participaram da produção de um artigos. Por exemplo, caso uma publicação seja assinada por cinco pesquisadores, dois deles da Universidade A e três da Universidade B, o artigo vai contar 0,4 pontos para a primeira instituição e 0,6 para a segunda. A contagem de artigos publicados em cada uma das grandes áreas também é feita usando o critério de contagem fracionada: se um artigo pertence tanto às ciências da saúde quanto às ciências humanas, por exemplo, ele conta meio ponto para cada.

Atribuição de gênero aos autores. Para descobrir a quantidade de artigos que foram assinados por pesquisadores homens ou mulheres, o levantamento usa uma abordagem computacional. O primeiro nome do cientista e sua nacionalidade são fornecidos para programas que determinam, com uma precisão de ao menos 90%, qual é o gênero do autor.

Mais informações estão disponíveis na página do Leiden Ranking.

A análise que a reportagem fez limita-se a “entrevistar” os dados para descobrir destaques nacionais no levantamento. Esse processo está documentado e disponível para revisão em repositório do Estadão no GitHub. Lá também estão disponíveis as planilhas usadas pela reportagem e o código-fonte para a elaboração dos gráficos.

Para complementar os dados brutos, foram feitas consultas à base de dados da Web of Science para identificar as pesquisas de maior repercussão e seus respectivos autores.

Por fim, registramos também um agradecimento ao pesquisador Fábio Castro Gouveia, da Fundação Oswaldo Cruz (Fiocruz), pela contribuição no delineamento da análise e por esclarecer as limitações inerentes ao levantamento.

Essa notícia também repercutiu nos veículos:
Contexto Exato