A cada trimestre, a DORA realiza uma reunião da Comunidade de Prática (CoP) para Iniciativas Nacionais e Internacionais que trabalham para abordar a reforma da avaliação de pesquisa responsável. Esta CoP é um espaço para que as iniciativas aprendam umas com as outras, façam conexões com organizações afins e colaborem em projetos ou temas de interesse comum. As agendas das reuniões são moldadas pelos participantes. Se você lidera uma iniciativa, coalizão ou organização que trabalha para melhorar a avaliação de pesquisa e está interessado em ingressar no grupo, encontre mais informações aqui .
Esta é uma tradução livre da matéria disponível no website da Declaração de São Francisco sobre Avaliação de Pesquisa (DORA), da qual a Universidade de São Paulo é signatária, referente à matéria intitulada Projeto Métricas/Fapesp: A Collaborative Roadmap for DORA Implementation in Brazil, que descreve a iniciativa desta Comunidade de Prática no Estado de São Paulo, Brasil [1].
O espaço para mudanças nos sistemas de avaliação no Brasil
A fim de fazer a ciência trabalhar para a melhoria nacional, as instituições de pesquisa de um país precisam se alinhar com o impacto social, a responsabilidade ambiental , a ciência aberta e as práticas de pesquisa responsáveis. Muitas vezes, esses são os valores que as instituições acadêmicas defendem. No entanto, uma confiança excessiva em métricas inadequadas como medidas substitutas de qualidade pode deixar de reconhecer e recompensar práticas abertas, rigor, reprodutibilidade, pesquisa localmente relevante e muito mais. Com o objetivo de criar e apoiar sistemas de avaliação mais responsáveis no Brasil, a Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) fundou e financiou o Projeto Métricas, um projeto multi-institucional envolvendo as seis principais universidades públicas de São Paulo. O objetivo do Projeto Métricas é aumentar a conscientização sobre o uso adequado da bibliometria e melhorar a governança universitária e a divulgação científica. O projeto oferece diversos programas de conscientização, oficinas e cursos para profissionais e pesquisadores em todo o Brasil.
Em 8 de novembro de 2022, Justin Axel-Berg e Jacques Marcovitch apresentaram o trabalho do Projeto Métricas na reunião da Comunidade de Prática de Iniciativas Nacionais e Internacionais da DORA para Avaliação de Pesquisa. Na teleconferência, Justin Axel-Berg destacou que, embora alguns departamentos e instituições estejam aprimorando suas práticas de avaliação de forma responsável, a maioria dos métodos de avaliação no Brasil ainda é altamente ortodoxa. Em termos gerais, são quantitativos e restritivos, tanto no nível do Conselho (ou seja, o órgão regulador nacional da pesquisa e das agências de fomento à pesquisa) para avaliação em nível institucional e/ou pelas instituições em suas políticas de contratação e promoção. Diante disso, o Projeto Métricas trabalha atualmente no monitoramento e identificação de lacunas nas práticas de avaliação de pesquisa em universidades públicas, e também mapear os impactos dos esforços de reforma em andamento. Como parte de seu projeto para o programa DORA Community Engagement Grant, o Projeto Métricas realizou um workshop e uma pesquisa para ajudar no desenvolvimento de um roteiro para apoiar a implementação dos princípios de avaliação de pesquisa responsável da DORA em instituições brasileiras. Axel-Berg destacou durante a discussão que, embora o número de signatários DORA individuais e organizacionais no Brasil seja comparável ao da Europa e do Reino Unido, apenas duas organizações brasileiras com foco em pesquisa assinaram até agora: a Universidade de São Paulo (USP ) e a Universidade Estadual de Campinas (UNICAMP). Na tentativa de obter uma compreensão mais ampla dos obstáculos ao compromisso com práticas de avaliação de pesquisa responsável e identificar áreas de intervenção, O Projeto Métricas adotou uma abordagem de 3 etapas. Os detalhes de seu trabalho podem ser encontrados online.
Direcionamento da ação
Em seu primeiro Workshop de Engajamento Comunitário DORA, eles realizaram uma pesquisa exploratória quantitativa e qualitativa com base nos cinco pilares da rubrica SCOPE. Os entrevistados incluíram signatários individuais do DORA da USP e da UNICAMP e eram de diversos estágios da carreira acadêmica. Por causa disso, o Projeto Métricas conseguiu obter uma compreensão holística das razões por trás dos desafios para a implementação de práticas de avaliação responsáveis. Os resultados da pesquisa sugeriram que as principais barreiras eram: i) resistência institucional à mudança, ii) falta de treinamento dos avaliadores, iii) escassez de engajamento da sociedade e consultas para avaliações e iv) colegas mais antigos desconhecem os avanços para uma pesquisa responsável. O workshop foi seguido por um evento público aberto à comunidade de pesquisa brasileira em geral. Durante o evento, foram discutidos os pontos-chave do levantamento preliminar para identificar as principais áreas de atuação e as possíveis formas de resolução dos problemas. Por último,
Conscientização sobre práticas de avaliação responsável: A comunidade precisa estar mais ciente das práticas e iniciativas de avaliação responsável (por exemplo, DORA, Leiden, etc.) que estão trabalhando para a reforma. Informar e empoderar a comunidade por meio de discussões sobre avaliação de impacto e responsável seria o primeiro passo para entender, interpretar e refletir sobre quais indicadores de desempenho são úteis e quais indicadores estão sendo mal utilizados no Brasil. A reforma dos modelos de avaliação tradicionais, fixos e limitados atualmente em uso exigirá uma ampliação coletiva de mentalidades. Portanto, os programas de conscientização devem envolver ativamente os membros da comunidade em vários estágios de carreira. Também é importante que as universidades e os institutos de pesquisa incorporem as ideias da comunidade no desenvolvimento de estruturas que sejam adequadas para uma ampla variedade de avaliações, incluindo progressão na carreira,
Treinamento e capacitação de avaliadores e participantes de processos: Oficinas, treinamentos, debates e discussões a serem realizadas sobre ferramentas de avaliação significativas e conscientes dos avaliadores para os avaliados.
Planejamento e execução de novas práticas de avaliação: Os métodos de avaliação também devem ser flexíveis e acomodados às evoluções dinâmicas do sistema acadêmico. Desenvolver um plano de ação bem estruturado, com metas de curto, médio e longo prazos, com monitoramento consistente, é essencial para o sucesso na implementação de novas práticas. Isso permitiria às universidades e instituições agilidade no futuro.
Desafios e possibilidades subjacentes no contexto brasileiro
Axel-Berg elaborou algumas das características subjacentes que são exclusivas do Brasil e impedem seu progresso em direção a uma reforma de avaliação de pesquisa responsável. O sistema de ensino superior brasileiro é altamente heterogêneo quanto à natureza das instituições, campos de estudo etc., o que dificulta o processo de desenvolvimento de políticas de avaliação uniformes. Além disso, os fatores culturais contribuem para a resistência na mudança de mentalidades e a falta de participação de órgãos governamentais e docentes e funcionários acadêmicos. Como as universidades e instituições acadêmicas estão sujeitas a leis federais rígidas, não há muito espaço para mudanças além de individualmente. Outro desafio único que Axel-Berg destacou foram as lacunas de linguagem e digitalização na disseminação do conhecimento acadêmico de pesquisadores brasileiros. Estratégias para superar algumas dessas questões foram discutidas durante a reunião e várias sugestões foram feitas, incluindo: envolver as sociedades científicas no processo de reforma para facilitar comunicações mais abrangentes de maneira específica ao contexto e à disciplina; aprimorar os treinamentos de estruturação; substanciar e popularizar currículos narrativos; retenção de pessoal para apoiar uma forte memória institucional; e promover a autonomia institucional para facilitar mudanças. retenção de pessoal para apoiar uma forte memória institucional; e promover a autonomia institucional para facilitar mudanças. retenção de pessoal para apoiar uma forte memória institucional; e promover a autonomia institucional para facilitar mudanças.
O Projeto Métricas está enfrentando esses desafios um passo de cada vez, e seu objetivo imediato é fornecer orientação e assistência em nível individual. Axel-Berg concluiu sua apresentação reiterando seus objetivos de longo prazo para trazer uma mudança mais holística, incorporando não apenas Ciência Aberta e integridade de pesquisa, mas também métricas centradas na sociedade e responsabilidade ambiental como parâmetros nas avaliações.
Sudeepa Nandi é Associada à DORA.
== REFERÊNCIA ==
NANDI, Sudeepa. Projeto Métricas/Fapesp: A Collaborative Roadmap for DORA Implementation in Brazil. DORA, 24 Jan. 2023. Disponível em: https://sfdora.org/2023/01/24/projeto-metricas-brazil/ Acesso em: 03 fev. 2023