Geral
O ESTADÃO - 19/10
Editores de quatro revistas brasileiras da área médica organizaram uma operação entre amigos para burlar o sistema internacional que avalia revistas científicas. Foram descobertos por um programa de computador. A divulgação dessa descoberta mostra o que alguns pesquisadores são capazes de fazer para satisfazer os critérios quantitativos utilizados pelo governo para avaliar, promover e remunerar cientistas.
Praticar ciência é uma atividade arriscada. Descobrir o desconhecido é difícil e frustrante. O sucesso de um cientista pode ser avaliado com uma única pergunta: "O que você descobriu?" Se a resposta for "o próton", "a vacina contra a varíola" ou "um novo antibiótico", você esta diante de um cientista de sucesso. Mas, na maioria das vezes, a única resposta honesta é "ainda não descobri nada importante, mas estou tentando". Muitos cientistas brilhantes passam a vida sem nunca descobrir algo relevante. O sucesso não é garantido e isso não é demérito, o importante é tentar solucionar um problema relevante.
Com profissionalização da ciência foram criados mecanismos para acompanhar o progresso de cientistas do grupo "ainda não descobri nada". A solução foi a publicação e avaliação de resultados parciais, os trabalhos científicos. Neles os cientistas descrevem os progressos que obtêm ao longo da vida. É uma forma de prestar contas do trabalho em andamento. No século XIX a obra de uma vida consistia em um punhado de livros. Hoje um jovem que ainda não descobriu nada relevante possui em seu currículo dezenas de trabalhos científicos, cada um descrevendo uma micro-descoberta.
Mas como comparar o progresso de cientistas do grupo "ainda não descobri nada" (hoje são chamados de "jovens produtivos"), cada um com dezenas de trabalhos científicos publicados? A solução, por incrível que pareça, não inclui a leitura e avaliação da qualidade do que está escrito em cada um dos trabalhos. A avaliação é feita de maneira quantitativa, com base no número de citações. Se um trabalho é citado na bibliografia de muitos trabalhos de outros cientistas, ele é considerado bom. Se o trabalho é pouco citado, ele é pior. Com base na quantidade de trabalhos publicados e as citações recebidas, é calculado um índice da qualidade do cientista (você pode verificar o índice dos seus conhecidos no Google Scholar), utilizado para decidir quem merece financiamento, quem deve ser contratado ou promovido. Esse critério numérico provoca distorções como o fracionamento de cada pequena descoberta em um número maior de trabalhos (veja o artigo Darwin e a Prática do "Salami Science" publicado no Estado, em 27 de abril de 2013).
Com o aumento do número de trabalhos publicados e as facilidades da internet, o número de revistas científicas explodiu. Parte dos cientistas passou a enviar seus trabalhos para revistas de pouca qualidade, que são menos rigorosas, com o objetivo de aumentar seu número de publicações e consequentemente seu número de citações.
A abundância de revistas pouco rigorosas tornou necessário separar o joio do trigo. Novamente, em vez de avaliar a qualidade do que a revista publica, foi criado o chamado "fator de impacto", uma medida da quantidade média de citações que um trabalho publicado em uma dada revista recebe.
A grande maioria das revistas brasileiras tem um fator de impacto muito baixo, menor que três. Isso significa que um trabalho publicado em uma dessas revistas provavelmente vai ser citado três vezes.
É fácil imaginar que os cientistas preferem publicar em revistas de fator de impacto alto. Por sua vez, o governo incorporou o fator de impacto das revistas na fórmula utilizada para avaliar cientistas e instituições.
Esse mecanismo criou um incentivo para os editores tentarem aumentar o fator de impacto de suas revistas. Foi com esse propósito que os editores de quatro revistas científicas médicas brasileiras formaram sua pequena quadrilha. Os editores da Revista da Associação Médica Brasileira, da Clinics, do Jornal Brasileiro de Pneumologia e da Acta Ortopédica Brasileira, todos ligados aos melhores hospitais e universidades brasileiras, tiveram uma ideia. Cada uma das quatro revistas publicaria uma série de artigos nos quais seriam citados um grande número de artigos publicados nas outras três revistas. Os artigos foram encomendados e publicados.
Os editores imaginaram que, com o aumento de citações recebidas pelas revistas, o índice de impacto seria aumentado no sistema de classificação da Thomson Reuters, que apura e publica o índice de impacto de todas as revistas científicas. Ao cruzarem os dados, os computadores da Thomson Reuters descobriram a anomalia e desmascararam a artimanha do grupo. Um dos editores confessou a trapaça.
A punição foi branda. Não existe lei que proíbe esse tipo de fraude intelectual ou a ação entre editores de revistas com o objetivo de aumentar artificialmente o índice de impacto. As revistas foram retiradas do índice da Thomas Reuters, o governo deixou de contabilizar nas suas equações as publicações feitas nessas revistas, e um dos editores foi demitido.
É por essa e outras razões que, enquanto a quantidade de ciência feita no Brasil vem aumentando, sua qualidade vem diminuindo.
Durante a punição essas revistas deveriam estampar um aviso nos moldes dos impressos em maços de cigarro: "Cuidado: esta revista pode fazer mal à sua saúde ética e moral".
- Uepa Está Entre As 100 Piores Da América Latina
A Universidade do Estado do Pará (UEPA) ficou entre as 100 piores instituições de ensino em um ranking internacional que analisou as 300 melhores universidades da América Latina. A Universidade Federal do Pará aparece na 125ª posição. A nota dada...
- Revistas Em Queda! ‘veja’ Sobreviverá?
Por Altamiro Borges O Instituto Verificador de Comunicação (IVC-Brasil), que não goza de muita credibilidade e é famoso pela falta de transparência, divulgou em março o balanço da circulação de jornais e revistas em 2014. Ele aponta a estagnação...
- Abril Vai Desidratar A Revista Veja?
Por Luciano Martins Costa, no Observatório da Imprensa: Movimentações recentes no comando da Editora Abril, como a contratação do banqueiro Fabio Barbosa para a presidência do grupo, e a compra, pela família Civita, do complexo de cursos e publicações...
- Resultados
As previsões da OCDE, normalmente cautelosas, foram revistas em alta para o crescimento português no próximo ano, para 2%, aproximando-se da meta inscrita no orçamento (2,2%). O mais curioso é que, como as previsões para a UE foram revistas em baixa,...
- Correio Dos Leitores: Morticínio No Iraque
«Não percebo porque é que Você dá voz no seu blogue a um indivíduo que pretende contestar um artigo científico publicado numa revista da especialidade. Os artigos publicados na Lancet são artigos científicos, que são passados pelo crivo de (vários,...
Geral
Ação entre amigos arranha reputação da ciência nacional - FERNANDO REINACH
O ESTADÃO - 19/10
Editores de quatro revistas brasileiras da área médica organizaram uma operação entre amigos para burlar o sistema internacional que avalia revistas científicas. Foram descobertos por um programa de computador. A divulgação dessa descoberta mostra o que alguns pesquisadores são capazes de fazer para satisfazer os critérios quantitativos utilizados pelo governo para avaliar, promover e remunerar cientistas.
Praticar ciência é uma atividade arriscada. Descobrir o desconhecido é difícil e frustrante. O sucesso de um cientista pode ser avaliado com uma única pergunta: "O que você descobriu?" Se a resposta for "o próton", "a vacina contra a varíola" ou "um novo antibiótico", você esta diante de um cientista de sucesso. Mas, na maioria das vezes, a única resposta honesta é "ainda não descobri nada importante, mas estou tentando". Muitos cientistas brilhantes passam a vida sem nunca descobrir algo relevante. O sucesso não é garantido e isso não é demérito, o importante é tentar solucionar um problema relevante.
Com profissionalização da ciência foram criados mecanismos para acompanhar o progresso de cientistas do grupo "ainda não descobri nada". A solução foi a publicação e avaliação de resultados parciais, os trabalhos científicos. Neles os cientistas descrevem os progressos que obtêm ao longo da vida. É uma forma de prestar contas do trabalho em andamento. No século XIX a obra de uma vida consistia em um punhado de livros. Hoje um jovem que ainda não descobriu nada relevante possui em seu currículo dezenas de trabalhos científicos, cada um descrevendo uma micro-descoberta.
Mas como comparar o progresso de cientistas do grupo "ainda não descobri nada" (hoje são chamados de "jovens produtivos"), cada um com dezenas de trabalhos científicos publicados? A solução, por incrível que pareça, não inclui a leitura e avaliação da qualidade do que está escrito em cada um dos trabalhos. A avaliação é feita de maneira quantitativa, com base no número de citações. Se um trabalho é citado na bibliografia de muitos trabalhos de outros cientistas, ele é considerado bom. Se o trabalho é pouco citado, ele é pior. Com base na quantidade de trabalhos publicados e as citações recebidas, é calculado um índice da qualidade do cientista (você pode verificar o índice dos seus conhecidos no Google Scholar), utilizado para decidir quem merece financiamento, quem deve ser contratado ou promovido. Esse critério numérico provoca distorções como o fracionamento de cada pequena descoberta em um número maior de trabalhos (veja o artigo Darwin e a Prática do "Salami Science" publicado no Estado, em 27 de abril de 2013).
Com o aumento do número de trabalhos publicados e as facilidades da internet, o número de revistas científicas explodiu. Parte dos cientistas passou a enviar seus trabalhos para revistas de pouca qualidade, que são menos rigorosas, com o objetivo de aumentar seu número de publicações e consequentemente seu número de citações.
A abundância de revistas pouco rigorosas tornou necessário separar o joio do trigo. Novamente, em vez de avaliar a qualidade do que a revista publica, foi criado o chamado "fator de impacto", uma medida da quantidade média de citações que um trabalho publicado em uma dada revista recebe.
A grande maioria das revistas brasileiras tem um fator de impacto muito baixo, menor que três. Isso significa que um trabalho publicado em uma dessas revistas provavelmente vai ser citado três vezes.
É fácil imaginar que os cientistas preferem publicar em revistas de fator de impacto alto. Por sua vez, o governo incorporou o fator de impacto das revistas na fórmula utilizada para avaliar cientistas e instituições.
Esse mecanismo criou um incentivo para os editores tentarem aumentar o fator de impacto de suas revistas. Foi com esse propósito que os editores de quatro revistas científicas médicas brasileiras formaram sua pequena quadrilha. Os editores da Revista da Associação Médica Brasileira, da Clinics, do Jornal Brasileiro de Pneumologia e da Acta Ortopédica Brasileira, todos ligados aos melhores hospitais e universidades brasileiras, tiveram uma ideia. Cada uma das quatro revistas publicaria uma série de artigos nos quais seriam citados um grande número de artigos publicados nas outras três revistas. Os artigos foram encomendados e publicados.
Os editores imaginaram que, com o aumento de citações recebidas pelas revistas, o índice de impacto seria aumentado no sistema de classificação da Thomson Reuters, que apura e publica o índice de impacto de todas as revistas científicas. Ao cruzarem os dados, os computadores da Thomson Reuters descobriram a anomalia e desmascararam a artimanha do grupo. Um dos editores confessou a trapaça.
A punição foi branda. Não existe lei que proíbe esse tipo de fraude intelectual ou a ação entre editores de revistas com o objetivo de aumentar artificialmente o índice de impacto. As revistas foram retiradas do índice da Thomas Reuters, o governo deixou de contabilizar nas suas equações as publicações feitas nessas revistas, e um dos editores foi demitido.
É por essa e outras razões que, enquanto a quantidade de ciência feita no Brasil vem aumentando, sua qualidade vem diminuindo.
Durante a punição essas revistas deveriam estampar um aviso nos moldes dos impressos em maços de cigarro: "Cuidado: esta revista pode fazer mal à sua saúde ética e moral".
- Uepa Está Entre As 100 Piores Da América Latina
A Universidade do Estado do Pará (UEPA) ficou entre as 100 piores instituições de ensino em um ranking internacional que analisou as 300 melhores universidades da América Latina. A Universidade Federal do Pará aparece na 125ª posição. A nota dada...
- Revistas Em Queda! ‘veja’ Sobreviverá?
Por Altamiro Borges O Instituto Verificador de Comunicação (IVC-Brasil), que não goza de muita credibilidade e é famoso pela falta de transparência, divulgou em março o balanço da circulação de jornais e revistas em 2014. Ele aponta a estagnação...
- Abril Vai Desidratar A Revista Veja?
Por Luciano Martins Costa, no Observatório da Imprensa: Movimentações recentes no comando da Editora Abril, como a contratação do banqueiro Fabio Barbosa para a presidência do grupo, e a compra, pela família Civita, do complexo de cursos e publicações...
- Resultados
As previsões da OCDE, normalmente cautelosas, foram revistas em alta para o crescimento português no próximo ano, para 2%, aproximando-se da meta inscrita no orçamento (2,2%). O mais curioso é que, como as previsões para a UE foram revistas em baixa,...
- Correio Dos Leitores: Morticínio No Iraque
«Não percebo porque é que Você dá voz no seu blogue a um indivíduo que pretende contestar um artigo científico publicado numa revista da especialidade. Os artigos publicados na Lancet são artigos científicos, que são passados pelo crivo de (vários,...