Nota técnica: Reflexões sobre o Qualis CAPES, o Fator de Impacto e a divulgação científica

 Nota técnica: Reflexões sobre o Qualis CAPES,  o Fator de Impacto e a divulgação científica

Desde o início de outubro, fomos sobrecarregados com distintas informações — a maioria divulgada através de redes sociais — sobre a extinção do Qualis CAPES pelo Conselho Técnico Científico da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Diferentes notícias foram divulgadas desde então, como a adoção do Fator de Impacto (FI) como critério central na avaliação dos periódicos. Todavia, a ausência de informações precisas permanece.

Em 03 de outubro de 2024, a CAPES divulgou o Ofício Circular nº 46/2024-DAV/CAPES, direcionado ao Fórum Nacional de Pró-reitores de Pesquisa e Pós-graduação (FOPROP) com o assunto referente ao Resumo da 232ª reunião ordinária do Conselho Técnico Científico da Educação Superior da CAPES, ocorrida no período de 16 a 20 de setembro de 2024 e na qual uma das pautas foi as mudanças para o ciclo avaliativo 2025-2028 – Parâmetros comuns da Avaliação de Permanência, referente a avaliação dos Programas de Pós-Graduação e não referente a avaliação dos periódicos em si.

Neste documento, dentre os encaminhamentos sobre as “Mudanças para o Ciclo avaliativo 2025-2028 – Parâmetros comuns da Avaliação de Permanência” consta a seguinte deliberação:

“d) Classificação de artigos: para o Quadriênio 2025-2028, uma das etapas da avaliação dos PPG, que classifica os veículos de publicação de artigos (Qualis periódicos), terá uma nova sistemática denominada classificação de artigos. O principal conceito dessa mudança consiste em focar na classificação do artigo e não do veículo onde ele é publicado. Nessa abordagem, os veículos não serão mais classificados com os estratos Qualis. Estão previstos três procedimentos de classificação dos artigos (as áreas têm autonomia para utilizar qualquer procedimento e suas combinações), a saber: I – Procedimento 1: Classificação do artigo pelos indicadores bibliométricos do periódico (metodologia estatística que preserva os preceitos da metodologia atual). II – Procedimento 2: Classificação do artigo por indicadores bibliométricos diretos do artigo (índice de citação e altimetria, para a análise quantitativa) e classificação do artigo por critérios qualitativos do veículo (critérios de indexação, valorização de periódicos nacionais, acesso aberto, dentre outros, cujos fatores e metodologias serão divulgados pelas áreas de avaliação); e III – Procedimento 3: Análise qualitativa de artigos, baseada em fatores e metodologias definidos pela área que podem abarcar uma análise de pertinência temática, avanço conceitual proveniente do trabalho, dentre outros)“. (CAPES, 03 out. 2024, s.p., grifo nosso).

O documento segue informando que a CAPES/DAV publicará no início do próximo quadriênio documentos como as fichas de avaliação, os documentos de área, o detalhamento das mudanças, documentos orientadores e outros materiais ou iniciativas que se façam necessárias “para que a comunidade acadêmica fique esclarecida dessas mudanças no processo de avaliação da Pós-Graduação” (CAPES, 03 out. 2024, s.p.).

O nosso entendimento enquanto Associação dos Geógrafos Brasileiros (AGB) é que o Ofício Circular aponta a alteração da avaliação de Programas de Pós-Graduação especialmente no âmbito dos artigos científicos produzidos pelos docentes, pesquisadores e discentes vinculados a estes. Como expresso na acima, o principal conceito dessa mudança consiste em focar na classificação do artigo e não do veículo onde ele é publicado.

Diante da pouca informação, o que se sabe é que cada área do conhecimento terá autonomia para estabelecer suas diretrizes e critérios específicos para uma classificação, seguindo os parâmetros estabelecidos pela CAPES, mas não há ainda uma previsão de prazos e nem mesmo de metodologia. Neste contexto, é de conhecimento que em agosto de 2024 a plataforma SciELO, passou a ser nacionalizada, em consórcio entre CAPES e CNPq para além da FAPESP. Há um indicativo de que, as revistas indexadas no SciELO serão um ponto positivo para que possa alcançar o status de “consolidada” frente às novas classificações em construção. Para adequar-se às diretrizes da SciELO, será necessário promover o respeito aos direitos autorais, apoiar a ciência aberta, implementar políticas de prevenção ao plágio e manter procedimentos claros para retratação de artigos. Como programa de ciência aberta, o SciELO é regido por seis princípios fundamentais:

• O conhecimento científico como bem público global;
• Trabalho em rede em todos os níveis para maximizar a escalabilidade e a adoção de boas práticas de cooperação científica e gestão de assimetrias entre coleções e áreas temáticas;
• Rigor científico, controle de qualidade e ética, com respeito aos padrões editoriais internacionais em todo o fluxo de comunicação científica;
• Inovação constante dentro do programa e alinhamento com as mudanças da comunicação científica global;
• Promoção dos Princípios FAIR (encontrável, acessível, interoperável e reutilizável) em todas as coleções;
• Incorporação dos Princípios DEIA (diversidade, equidade, inclusão e acessibilidade) em todos os processos de comunicação científica.

É importante destacar que, apenas cinco revistas de Geografia estão indexadas na Coleção SciELO Brasil. Como exemplo, a revista Terra Livre, publicada pela Associação dos Geógrafos Brasileiros (AGB) e com quase 40 anos de existência, pode não ser considerada consolidada na área da Geografia por não estar incluída no SciELO.

Diante das incertezas em torno das novas avaliações e critérios, e considerando o contexto em que a publicação científica está associada a interesses corporativos que visam lucro, é fundamental esclarecer alguns pontos e fomentar um debate que vá além do Qualis CAPES. Esse debate deve abranger também os índices bibliométricos, a ciência aberta, a ética na pesquisa e na divulgação científica, assim como os interesses do mercado no âmbito acadêmico.

Os elementos acima citados, por sua vez, refletem na alteração dos padrões de construção do conhecimento — que tendem a homogeneizar as áreas científicas —, na função social da pesquisa e divulgação científica comprometida com a justiça social, promovendo uma ciência direcionada a índices e ranqueamento de instituições e pesquisadores. Neste sentido, compreendemos que se torna necessário algumas elucidações.

O que é o Qualis CAPES?

O Qualis CAPES é uma ferramenta desenvolvida pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) para avaliar a produção científica dos programas de pós-graduação stricto sensu no Brasil. Criado no ano 1998, o sistema passou a classificar os periódicos científicos nos quais pesquisadoras e pesquisadores publicam seus artigos, estabelecendo uma hierarquia baseada em critérios de impacto e relevância. Esse instrumento tem por objetivo exclusivo auxiliar na análise da produção intelectual dos programas para fins da avaliação da pós-graduação. Ao longo dos anos, o Qualis passou por diversas reformulações, buscando maior objetividade e padronização nas avaliações. No entanto, para áreas das Ciências Humanas, como a Geografia, essa metodologia tem gerado uma série de prejuízos e distorções, escancarando o colonialismo acadêmico e colocando em xeque a adequação do sistema para essas disciplinas.

O Qualis surgiu com o objetivo de hierarquizar a produção acadêmica com base na relevância dos periódicos que publicam os trabalhos. Sua criação foi motivada pela necessidade de avaliar de forma objetiva o crescente volume de produção científica no Brasil. Dessa forma, a produção científica seria valorizada de acordo com a relevância do periódico no qual foi publicada. Contudo, a aplicação de critérios homogêneos para diferentes áreas do conhecimento tem gerado críticas e controvérsias, especialmente em disciplinas como a Geografia, que têm características específicas que não se alinham à lógica das ciências exatas e tecnológicas.

A partir de 2019, foi introduzida a metodologia Qualis Referência, que busca trazer mais uniformidade e comparabilidade entre as áreas de avaliação. Essa metodologia foi implementada para padronizar a avaliação, mas trouxe consigo críticas severas de áreas das Ciências Humanas, que não se encaixam bem nos parâmetros utilizados, como o Fator de Impacto, mais relevante para áreas como a Medicina e as Ciências Exatas.

Inicialmente, a classificação dos periódicos era feita em três estratos: A, B e C. Com o tempo, esses estratos foram subdivididos em A1, A2, B1, B2, B3, B4, B5 e C.  Esse modelo baseia-se em quatro princípios principais:

1. Classificação única: cada periódico recebe uma única classificação, independentemente da área em que foi submetido.
2. Classificação por área mãe: o periódico é associado à área que tem o maior número de publicações relacionadas.
3. Indicadores bibliométricos: são utilizados índices como o Fator de Impacto- JIF, o CiteScore, Google Scholar e o índice h5 para classificar os periódicos.
4. Qualis Referência: um modelo matemático combina esses indicadores e gera a classificação final.

Geografia possui uma longa tradição de atuação crítica e comprometida com as questões sociais, políticas e territoriais do Brasil. No entanto, os critérios estabelecidos pelo Qualis, que privilegiam periódicos indexados em bases de dados internacionais, acabam por penalizar revistas e produções que não se alinham a esse circuito internacional.

O Qualis CAPES tende a subvalorizar os periódicos nacionais de Geografia, que são fundamentais para o debate acadêmico sobre a realidade brasileira. Essa visão colonialista respinga nas Revistas da AGB, que ao longo do tempo vem subindo na hierarquia de classificação de periódicos científicos, conforme tabela 1 abaixo. As revistas da entidade desempenham um papel central na difusão de conhecimentos voltados para o contexto nacional, regional e local.  Frequentemente, as revistas de interesse a produção de conhecimento geográfico acabam classificadas em estratos inferiores, devido à falta de indexação em bases internacionais ou à ausência de citação em inglês. Isso desvaloriza a produção local, favorecendo publicações em periódicos estrangeiros que, muitas vezes, não dialogam com as questões e problemas concretos enfrentados no Brasil.

Tabela 1. Revistas da AGB e suas classificações no sistema Qualis CAPES ao longo dos quadriênios.

Fonte: Adaptado de Plataforma Sucupira (capes.gov.br). Elaboração: Coordenação de Publicações da Diretoria Executiva Nacional da Associação dos Geógrafos Brasileiros (2024-2026).

A padronização imposta pelo Qualis resulta em desigualdade na avaliação da produção científica. Áreas como a Geografia, que tradicionalmente publicam em livros ou periódicos nacionais, acabam sendo penalizadas, já que o sistema valoriza majoritariamente artigos em revistas internacionais. Além disso, o uso de indicadores como o Índice h beneficia revistas que publicam um maior volume de artigos anualmente, desconsiderando a qualidade intrínseca de cada trabalho. Isso gera uma hierarquia artificial entre as publicações que prestigiam as revistas estrangeiras em comparação às nacionais, ainda que aquelas não sejam tão relevantes para o contexto brasileiro.

A implementação do Qualis Referência gerou uma série de manifestações contrárias. Diversas áreas das Ciências Humanas, como a Comunicação, as Artes e a Ciência da Informação, expressaram descontentamento com o modelo de avaliação. O principal ponto de crítica reside no fato de que os indicadores utilizados, como o Fator de Impacto e o CiteScore, são baseados em bases de dados internacionais que não refletem a produção acadêmica em língua portuguesa e as dinâmicas de publicação das Ciências Humanas.

Além disso, a utilização do Google Scholar foi defendida ao longo dos anos, já que essa plataforma captura um espectro mais amplo de citações, incluindo livros e outros tipos de produção, que são mais frequentes nas Humanidades. No entanto, o modelo adotado pelo Qualis Referência desconsidera a complexidade dessas áreas e privilegia publicações em inglês, tornando o sistema injusto e desproporcional.

Para áreas como a Geografia, o modelo de avaliação do Qualis CAPES se mostra inadequado e prejudicial, ao priorizar métricas que não refletem a realidade da produção acadêmica nacional e latino-americana. É necessário que o sistema de avaliação da CAPES seja repensado, levando em consideração as especificidades das Ciências Humanas e a importância do diálogo acadêmico local. A Associação dos Geógrafos Brasileiros (AGB), junto a outras entidades, deve continuar promovendo o debate sobre os impactos negativos do Qualis CAPES e pressionando por uma reformulação do sistema.

O que são os índices/indicadores bibliométricos?

São ferramentas que avaliam o desempenho da produção científica baseados em indicadores de qualidade científica. Em tese os índices/indicadores bibliométricos são organizados a partir de critérios determinados a partir dos pares e/ou instituições. Os índices/indicadores bibliométricos podem ser subdivididos de acordo com a base de origem do cálculo (artigo ou periódico), conforme expressa a figura 1.

Figura 1. Tipos de índices/indicadores bibliométricos.

Fonte: Adaptado de Periódicos UFMG (15 set. 2017). Elaboração: Coordenação de Publicações da Diretoria Executiva Nacional da Associação dos Geógrafos Brasileiros (2024-2026).

Como qualquer política editorial, os índices/indicadores bibliométricos não são meras métricas e envolvem interesses e práticas frequentemente questionadas no âmbito da ética e integridade científica. As métricas tendem a apresentar limitações especialmente nos moldes nos quais universidades e demais instituições têm utilizado os indicadores quantitativos (Wilsdon et al., 2015).

Este assunto apresenta tamanha complexidade e preocupação por parte de pesquisadores, agências e instituições em escala global que há manifestações específicas consideradas referências internacionais no debate. Aqui citamos dois exemplos importantes. A primeira é a San Francisco Declaration on Research Assessment (DORA), publicada em 2013^[1] e que dispõe de recomendações direcionadas para agências de fomento, instituições acadêmicas, periódicos, organizações de quantificação de métricas e/ou indicadores e pesquisadores individuais. A DORA, como é amplamente conhecida, reconhece as diferentes limitações de um índice/indicador bibliométrico específico: o Fator de Impacto (FI), que será descrito com maior detalhe no item abaixo em decorrência da sua abrangente utilização, frequentemente de forma equivocada.

A partir do reconhecimento das lacunas e limites dos índices/indicadores bibliométricos — sobretudo o Fator de Impacto — a DORA recomenda a adoção de práticas da avaliação da pesquisa científica para os signatários da declaração, reforçando a necessidade de eliminar o uso de métricas baseadas em periódicos, como o Fator de Impacto, nas considerações de financiamento e promoção;  a necessidade de avaliar a pesquisa por seus próprios méritos (ao invés de depender dos méritos do periódico no qual ele foi publicada) e a necessidade de investir as oportunidades oferecidas pela publicação online, incluindo explorar novos indicadores de impacto. Além das recomendações gerais, a DORA possui orientações para agências de financiamento, para instituições, para editores(as), para organizações que fornecem métricas e para pesquisadores(as) que subscrevem a declaração^[2], conforme expressa a figura 2.

A segunda refere-se ao documento “Bibliometrics: The Leiden Manifesto for research metrics^[3]”, popularmente conhecido como Manifesto de Leiden e publicado em 2015. Este documento define dez princípios para melhores práticas em avaliação de pesquisa baseada em métricas para que os pesquisadores possam exigir responsabilidades dos avaliadores, bem como que os avaliadores possam justificar o uso de seus indicadores, como evidenciado na figura 3.

Figura 2. Recomendações estabelecidas pela San Francisco Declaration on Research Assessment (DORA) (2013).

Fonte: Adaptado de San Francisco Declaration on Research Assessment (DORA) (2013). Elaboração: Coordenação de Publicações da Diretoria Executiva Nacional da Associação dos Geógrafos Brasileiros (2024-2026).

Figura 3. Recomendações estabelecidas pelo Manifesto de Leiden (2015).

Fonte: Adaptado de Bibliometrics: The Leiden Manifesto for research metrics (2015). Elaboração: Coordenação de Publicações da Diretoria Executiva Nacional da Associação dos Geógrafos Brasileiros (2024-2026).

Até aqui já é possível identificar os motivos pelos quais os índices/indicadores bibliométricos devem ser utilizados com parcimônia e ponderados por outros fatores.

Neste contexto destacamos três pontos que merecem a nossa atenção e que devem ser tensionados no processo da avaliação centrado índices/indicadores bibliométricos em nas suas diversas dimensões^[4]: i) a padronização índices/indicadores bibliométricos não considerando as diferentes áreas do conhecimento e objetivos da pesquisa; ii) centralidade na dimensão quantitativa — métrica — não considerando a contribuição efetiva da pesquisa — afinal, devemos ler e utilizar um artigo pela sua relevância para determinada temática ou devemos ler e citar artigos devido ao seu periódico de publicação? O artigo é considerado bom pela sua excelência científica ou pelo local de publicação? e; iii) reflexão sobre a possibilidade de indicadores alternativos, especialmente fundamentados em impactos sociais e não de citação. 

Sobre este último ponto, é interessante sublinhar que há múltiplas possibilidades de índices/indicadores bibliométricos. Contudo, é comum que estes sejam baseados em critérios quantitativos, especialmente direcionados a métricas de citações em determinados portais e/ou indexadores e em uma escala temporal previamente definida. Ademais, embora a diversidade das chamadas métricas alternativas e o debate sobre impactos sociais da pesquisa estejam em incidência, há somente um índice/indicador bibliométrico bastante citado — porém nem sempre entendido — que possui centralidade neste processo: o Fator de Impacto (FI) e, por isso, é importante entendê-lo melhor, sobretudo para identificar a quem o mesmo interessa e qual o mercado mobilizado.

O que é o Fator de Impacto (FI)?

O Fator de Impacto (FI) foi criado em 1975 por Eugene Garfield para avaliar periódicos com publicação do Science Citation Index^[5]. O Fator de Impacto (FI) foi originalmente projetado como uma ferramenta para auxiliar bibliotecários a identificar periódicos para aquisição, ou seja, Fator de Impacto (FI) não foi pensado com a finalidade de medir a qualidade científica de um artigo. O Fator de Impacto (FI) utiliza a base de dados Web of Science (WoS) — atrelada ao Journal Citation Report (JCR) — divulgada como a “base de dados de citação global independente mais confiável do mundo“, da empresa Clarivate Analytics. Aqui é importante dizer que um periódico possuir JCR é o mesmo que ter Fator de Impacto FI), uma vez que o Journal Citation Reports (JCR) é responsável pela atribuição do FI.

Anualmente a Web of Science (WoS) divulga uma lista de Fator de Impacto (FI) dos periódicos, mas não corresponde a uma listagem que compreende todos ou qualquer periódicos científicos, mas sim aqueles indexados previamente na Web of Science (WoS), ou seja, abrange apenas a um grupo seleto de revistas científicas, muitas das quais controladas e/ou administradas por grandes corporaçòes do mercado editorial. Assim, somente por esta abrangência o  Fator de Impacto (FI), por si só, já é excludente e não deve ser utilizado para classificar a qualidade de periódicos na sua totalidade.

Os periódicos que buscam a indexação junto a  Web of Science (WoS) são avaliados a partir de 24 critérios de qualidade editorial (Quality Criteria)^[6] e quatro critérios relacionados à influência do periódico em sua respectiva área de conhecimento (Impact Criteria)^[7]. Os periódicos que estejam de acordo com todos os 24 critérios de qualidade editorial são indexados na base Emerging Sources Citation Index (ESCI). Os periódicos que igual atinjam os quatro critérios de impacto são classificados em bases de acordo com o escopo do mesmo, podendo ser: Science Citation Index Expanded (SCIE), Social Sciences Citation Index (SSCI) e Arts & Humanities Citation Index (AHCI). Assim como um periódico pode ser aceito para a indexação na base, o mesmo pode ser removido. Atenção: o fato de um periódico estar indexado na Web of Science não significa que terá o Fator de Impacto (FI)!

E como o Fator de Impacto (FI) é calculado? A fórmula é a razão entre o número de citações feitas no corrente ano a itens publicados em um determinado periódico nos últimos dois anos e o número de artigos publicados nos mesmos dois anos pelo mesmo periódico.  Vamos para um exemplo hipotético: O periódico X  teve 80 artigos publicados entre os anos de 2022 e 2023. Todos os periódicos indexados na mesma base que o periódico X citaram 30 vezes os artigos publicados no periódico X entre 2022 e 2023 (considera-se todas as citações, incluindo autocitações). O cálculo a ser feito para identificar o Fator de Impacto (FI) é:

Uma observação se faz necessária. O Fator de Impacto (FI) é calculado considerando citações por dois ou cinco anos para efeito de comparação de áreas com distintos parâmetros de citações. Comumente em periódicos das Ciências Humanas  é considerado o  período de cinco anos e, no caso da Ciências da Vida, o espaço temporal é de dois anos. Isso decorre do fato das distintas naturezas das pesquisas. Por exemplo, os resultados de pesquisas envolvendo experimentos com materiais biológicos tendem a ser mais rapidamente “superados”, ou seja, em cinco anos os resultados da pesquisa podem estar defasados. No caso das Ciências Humanas este tempo de maturação é distinto.

Embora haja uma obsessão pelo Fator de Impacto (FI), como destacam Onstad e Sime (2024), é o índice/indicador bibliométrico mais controverso, uma vez que é utilizado para propósitos distintos daquele para o qual foi elaborado. Há diferentes críticas bastante contundentes a este índice/indicador, das quais destacamos:

1. É impreciso, pois o que é considerado no numerador muitas vezes não é contado no denominador.
2. É um valor médio por periódico e não por artigo.
3. Existem artifícios (lícitos) para aumentar o FI, como artigos de revisão ou editoriais com impacto, que são muitos citados. Artigos de revisão atraem muito mais citação.
4. Disponível em uma base de dados de acesso restrito (Web of Science).
5. Quanto maior o número de artigos publicados pela revista, menor será o FI, o que pode promover a redução da pesquisa científica posta para a divulgação.
6. As distribuições de citações nos periódicos são altamente assimétricas (elemento destacado pela DORA).
7. As propriedades do Fator de Impacto (FI) são específicas para cada área do conhecimento, assim, seu cálculo utiliza diferentes tipos de artigos distintos entre si (elemento destacado pela DORA).
8. O Fator de Impacto (FI) pode ser manipulado através de políticas editoriais (elemento destacado pela DORA).
9. Os dados utilizados para calcular o Fator de Impacto (FI) não são transparentes ou abertos para o público, dificultando a validação do índice/indicador (elemento destacado pela DORA).

Índices bibliométricos e seus resultados na ética, nas boas práticas na pesquisa e na divulgação científica e na produção do conhecimento

Depois desta detalhada exposição a questão que fica é:  o que a hegemonia de índices/indicadores bibliométricos têm resultado ou pode resultar no processo de construção do conhecimento e na divulgação científica? Podemos elencar algumas questões para reflexão e para guiar os nossos debates:

1. Índices/indicadores bibliométricos não representam uma medida quantitativa do valor relativo de um autor ou de um artigo para a sociedade ou para a ciência. Voltamos a fazer as questões: Um artigo é relevante pela sua contribuição científica ou pelo periódico no qual é publicado? Um periódico com um alto Fator de Impacto (FI), por exemplo, possui uma contribuição científica maior? Os periódicos não indexados na Web of Science (WoS) não podem ser considerados bons? Onstad (2024) já apontou que o Fator de Impacto de periódicos não é uma medida do valor científico ou social de um artigo. Aqui entendemos que nenhum índice/indicador bibliométrico fundamentando apenas em quantidade de citações pode ser considerado para mensurar o valor científico ou social de um artigo.
2. Indicadores inadequados possibilitam a criação de incentivos perversos, promovendo a más práticas e condutas na divulgação científica. A edição 342 da revista Pesquisa FAPESP^[8] (agosto de 2024) trouxe a reportagem intitulada “Malabarismo para ampliar o prestígio”, na qual informa que 17 revistas perderam temporariamente seu Fator de Impacto (no ano de 2024) devido a suspeita de utilização de estratégias para multiplicar citações de forma irregular. Em onze periódicos a incongruência detectada foi a “formação de supostos conluios de citação, nos quais dois ou mais títulos citam de forma exagerada os artigos uns dos outros, em uma ação que parece combinada para beneficiar todos ou alguns deles” (FAPESP Pesquisa, 342, agosto de 2024, p. 43). Nos outros seis periódicos retirados, a questão identificada foi o abuso em autocitações. Outro exemplo de incentivo a má prática na divulgação científica é que cada vez mais artigos podem ser rejeitados pelo fato da possibilidade de poucas citações (Onstad e Sime, 2024). Ademais, é possível a manipulação de múltiplas maneiras para angariar um quantitativo maior de citações, independentemente de serem pertinentes ou não (Fong, Patnayakuni e Wilhite, 2023), além daquela citada na reportagem da Revista Pesquisa FAPESP mencionada acima. Por exemplo, é cada vez mais comum periódicos em todo o globo e em diversas áreas — incluindo na Geografia brasileira — a indicação em suas políticas editoriais da citação de artigos preteritamente publicados no periódico em questão. A quantidade de citações também pode ser manipulada por autores(as), como o exemplo do caso verídico analisado pelo  Committee on Publication Ethics (COPE), em 2022. O comitê chegou a utilizar a expressão “citation cartels” para designar um grupo de pesquisadores de três universidades que, por meio de edições especiais, promoviam um padrão específico de citações para favorecê-los. Neste caso em particular o COPE recomendou a retratação dos artigos.
3. A busca por índices/indicadores bibliométricos tende a acentuar desigualdades geográficas e de gênero na produção e divulgação do conhecimento. Em julho de 2024 a Revista  Pesquisa FAPESP publicou a reportagem intitulada “Chances distintas”, divulgando estudo no qual aponta vantagens de autores da América do Norte, da Europa e da Oceania na no momento de publicar artigos. Além da maior chance de aprovação,  pesquisadores da América do Norte, da Europa e da Oceania publicaram tendem a publicar em periódicos com Fator de Impacto maior. Também recentemente, Onstad e Sime (2024) argumentaram que a pressão para aumentar o Fator de Impacto de um periódico está vinculada a um sistema que favorece autores masculinos, considerando que autoras mulheres tendem a ser menos citadas que autores homens e, desta forma,  “editores podem acabar discriminando autoras, consciente ou inconscientemente para aumentar o FIJ^[9]” (Onstad e Sime, 2024: 160, tradução nossa).
4. A busca por maiores índices/indicadores bibliométricos podem resultar na alteração do padrão da produção científica. Os exemplos são diversos e dentre eles estão: ascensão do quantitativo de artigos de revisão bibliográfica, visto que estes tendem a ser mais citados; aumento constante do número de co-autores(as) como prática de ampliar as citações — não é por acaso que periódicos adotam limite de co-autores(as) e a necessidade da designação do Contributor Role Taxonomy (CRediT), conhecida no Brasil como Taxonomia CRediT. No fórum de editores de periódicos da Geografia promovido pela Associação dos Geógrafos Brasileiros (AGB) durante o VIII Congresso Brasileiro de Geógrafas e Geógrafos (CBG), em julho de 2024, um periódico relatou que durante o processo de indexação em uma determinada base bibliográfica^[10] um dos avaliadores colocou o fato dos artigos publicados no respectivo periódico citarem mais livros do que artigos, o que não contabiliza em índices/indicadores bibliométricos. Ou seja, vamos negar a natureza de uma determinada área do conhecimento ou pesquisas seminais/clássicas porque estas não contabilizam índices?
5. Os índices/indicadores bibliométricos, a exemplo do Fator de Impacto (FI) tornou-se uma ferramenta competitiva que influencia o sucesso nos negócios (Onstad e Sime, 2024), especialmente em um contexto no qual a publicação científica também se tornou uma atividade comercial significativa. Vamos fazer um exercício, quantas empresas estão envolvidas no processo de editoração científica? Submetemos um artigo agora para um periódico científico. Este periódico é administrado por um grande grupo editorial — como o Taylor & Francis Group ou Elsevier — em que a Ciência Aberta não é uma prática comum e o acesso aos artigos publicados é adquirido através de valores que não são irrisórios. Ademais, há periódicos que os(as) autores(as) pagam taxas para submissão e/ou publicação caso o artigo seja aprovado no processo de avaliação por pares. Quando o artigo chega no periódico, uma das etapas comuns de desk review é a verificação de similaridade e, agora, verificação de utilização de Inteligência Artificial. Este processo é realizado através de softwares controlados por grandes corporações, como a Turnitin (uma subsidiária da Advance Publications). Nosso artigo passou pelo processo de avaliação por pares, foi aprovado e publicado no periódico indexado no Web of Science e com Fator de Impacto. Neste processo editorial é possível identificar três grandes conglomerados que lucram com  a produção acadêmica de terceiros: a empresa de administra o periódico, a empresa de verificação de similaridade e de uso de inteligência artificial e a empresa indexadora  — no caso a que detém o Fator de Impacto. Neste processo quais foram os trabalhos não pagos desempenhados: o do(a) autor(a), o do(a) avaliador(a) científico e o(a) editor(a). Por isso que o mercado editorial é de interesse de diferentes grupos. É importante pontuar que isso ainda pode ser agravo. Recentemente foi divulgado que grandes corporações editoriais  — Taylor & Francis Group e Wiley — anunciaram parcerias que darão a empresas de tecnologia acesso a conteúdo acadêmico e outros dados para treinar modelos de inteligência artificial (The Chronicle of Higher Education, 29 jul. 2024).

Os argumentos aqui destacados não têm como objetivo criticar determinados índices/indicadores bibliométricos, periódicos, decisões editoriais autores(as) e empresas, muito menos aprontar o que é melhor ou o que não é eficaz. O intuito é trazer reflexões para subsidiar os debates nas entidades científicas, nos periódicos, nos fóruns de editores(as), nas universidades e na comunidade científica no geral.

São questões complexas, que envolvem um emaranhado de interesses e que tem resultado em impactos — diretos e indiretos — na forma na qual a pesquisa científica tem sido produzida e divulgada. Em um momento de discussões  pujantes sobre o Qualis CAPES é importante realizarmos debates no âmbito da Geografia brasileira para compreendermos o que está em jogo e como isso pode impactar a produção do conhecimento no Brasil.

São Paulo/SP, 14 de novembro de 2024.

Coordenação de Publicações

Diretoria Executiva Nacional

Associação dos Geógrafos Brasileiros (AGB)

^[1] Criada a partir do Encontro Anual da Sociedade Americana de Biologia Celular (American Society for Cell Biology – ASCB) em São Francisco, Califórnia, em 16 de dezembro de 2012. . Maiores informações disponíveis em: https://sfdora.org/read/read-the-declaration-portugues-brasileiro/. Acesso em: 05 out. 2024.

^[2] Em consulta realizada em 05 out. 2024 o total de 25.450 indivíduos e organizações em 166 países haviam assinado a DORA. Somente no Brasil haviam 1.778 assinaturas. Maiores informações disponíveis em: https://sfdora.org/signers/. Acesso em: 05 out. 2024.

^[3] Iniciado a partir da 19th International Conference on Science and Technology Indicators (STI 2024), realizada em setembro de 2014 em Leiden, nos Países Baixos. Em 12 de abril de 2015 o Manifesto de Leiden foi publicado com o título original de “Bibliometrics: The Leiden Manifesto for research metrics” na revista Nature (520: 429-431), sendo uma autoria de Diana Hicks, Paul Wouters, Ludo Waltman, Sarah de Rijcke e Ismael Rafols.  

^[4] Avaliações de periódicos, de instituições, de programas, de agências de fomento, entre outros.

^[5] Garfield também foi o criador do Social Sciences Citation Index (SSCI) e o Arts and Humanities Citation Index (A&HCI), que juntamente com o Science Citation Index, estão reunidos no Web of Science e nos Journal Citation Reports (JCR), do Impact Factor. Em 1992 o Institute for Scientific Information (ISI), criado por Garfield foi adquirido pela Thomson Corporation e em 2008 repassado para a Thomson Reuters. Desde o ano de 2016 pertence à Clarivate Analytics. Informações disponíveis em: https://blog.scielo.org/blog/2017/03/03/in-memoriam-eugene-garfield-1925-2017/. Acesso em: 05 out. 2024.

^[6] Os 24 critérios são: 1) ISSN; 2) título do periódico; 3) URL do periódico (periódicos online); 4) instituição responsável pela publicação (publisher); 5) presença de política de revisão por pares (peer review); 6) acesso ao conteúdo; 7) detalhes de contato; 8) títulos de artigos e resumos de artigos no idioma inglês; 9) conteúdo acadêmico; 10) informações bibliográficas em alfabeto romano; 11) clareza da linguagem; 12) oportunidade e/ou volume de publicação (fluxo/modalidade); 13) funcionalidade do site/formato do periódico; 14) presença de declarações éticas; 15) detalhes da afiliação editorial; 16) detalhes da afiliação dos(as) autores(as); 17) composição do conselho editorial; 18) validade das declarações; 19) revisão por pares; 20) relevância do conteúdo; 21) detalhes de apoio a projetos; 22) conformidade com os padrões da comunidade; 23) distribuição de autores(as) e 24) citações apropriadas na literatura. Informações disponíveis em: https://clarivate.com/products/scientific-and-academic-research/research-discovery-and-workflow-solutions/webofscience-platform/web-of-science-core-collection/editorial-selection-process/. Acesso em: 05 out. 2024.

^[7] Os critérios relacionados ao aos impactos são: 1) análise comparativa de citações; 2) análise de citações de autores(as);  3) análise de citações EBM e 4) significância do conteúdo. Informações disponíveis em: https://clarivate.com/products/scientific-and-academic-research/research-discovery-and-workflow-solutions/webofscience-platform/web-of-science-core-collection/editorial-selection-process/. Acesso em: 05 out. 2024.

^[8] Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP).

^[9] Trecho original: “editors may find themselves discriminating against female authors, consciously or not, in order to increase JIF“.

^[10] Base bibliográfica não é o mesmo que índice/indicador bibliométrico. As bases bibliográficas, embora indexe periódicos a partir de critérios de qualidade dos artigos publicados e das políticas editoriais adotadas, têm como objetivo  a realização buscas por tema, autor, periódico e palavras-chave.

Download da nota em PDF.