Métricas: são ou não uma boa forma de avaliação? O caso da avaliação da investigação científica

Hoje em dia, a avaliação da investigação, isto é, da produtividade científica dos académicos e investigadores, está-se a tornar quase numa obsessão. De uma forma mais aberta ou mais velada, todos reconhecem que a avaliação da produção intelectual criativa e inovadora é um processo delicado e complexo, tantas vezes controverso.

Basta olhar para a História da Ciência e analisar os inúmeros casos em que as descobertas científicas de grande valor foram duramente criticadas ou desprezadas e o tempo que foi necessário até que estas se estabelecessem como os novos paradigmas da ciência. Mas agora, algumas eminências pardas da Ciência, em geral, ligadas ao poder e às organizações governamentais responsáveis pela atribuição de financiamentos, fazem perpassar a ideia de que este problema crónico da Humanidade - o reconhecimento de novas ideias com valor - pode facilmente ser resolvido pelo obscuro e tortuoso processo do peer review e pela contagem do número de publicações em revistas especializadas.

Sei que esta afirmação é polémica no seio da comunidade científica mas é urgente discuti-la de uma forma aberta e racional porque a recente revisão dos Estatutos das carreiras docentes obriga a avaliações de desempenho regulares.

Estas podem vir a ter consequências positivas ou negativas, mesmo destrutivas, para as Instituições de Ensino Superior se não formos capazes de encontrar formas sérias e sensatas de as fazer.

A pressão para publicar e consequências A publicação em revistas científicas especializadas é o processo como os investigadores comunicam aos seus pares os resultados da sua investigação e, por isso, é um passo fundamental e incontornável no desenvolvimento da ciência e do conhecimento. A publicação é um meio de divulgar novas ideias e não um fim em si. A discussão que se lhe segue e, muitas vezes, o tempo, dirão se essas ideias serão absorvidas pela comunidade científica e pela sociedade. Mas os sistemas de avaliação exigem cada vez mais que os académicos publiquem muitos artigos a um ritmo regular. Este tipo de avaliação incentiva a quantidade em vez da qualidade bem como a superficialidade em vez da relevância. Assenta nos pressupostos de que a publicação em certas revistas é garantia de qualidade, o que tentarei demonstrar que não é verdade, e que os artigos que são publicados numa determinada revista têm todos o mesmo valor, o que, naturalmente, ainda é menos verdadeiro. Tem como consequência a fragmentação do conhecimento científico e o desconhecimento ou não valorização desse conhecimento pela sociedade.

A forma como os académicos se defendem desta pressão para publicar é dividirem-se em inúmeros pequenos grupos muito especializados que funcionam em círculos fechados e desligados uns dos outros. Em geral, são bastante avessos a ideias verdadeiramente inovadoras que podem, de algum modo, questionar o seu trabalho, pois têm receio que isso ponha em causa a existência do próprio grupo. Tendem a cair em temas superficiais e demasiado especializados, pois esta é a forma mais fácil de garantir muitas publicações.

Para ver que assim é, basta consultar as estatísticas dos índices de citação, por exemplo, na ISI Web of Knowledge ou noutras bases de dados sobre publicações científicas. A Figura 1 mostra representações gráficas do número médio de citações, ao fim de 5 anos, para as revistas de algumas ciências exactas:

Matemática, Física e Ciência da Computação.

Apesar de existir um pequeno número de periódicos que são muito citados, principalmente na Física, uma rápida observação permite concluir que a grande maioria das revistas tem um número médio de citações muito baixo.

É a consequência inevitável da fragmentação e da pressão para publicar muito em pouco tempo.

David Parnas, professor de Engª de Software na Universidade de Limerick, Irlanda, no seu artigo "Parem com o jogo dos números. Contar artigos atrasa o ritmo do progresso científico", publicado na revista Communications of the ACM, escreve:

"Como cientista sénior, entristece-me ver as agências de financiamento, presidentes de departamentos, directores de escolas e comissões de promoção incentivarem os jovens cientistas a fazerem investigação superficial. Como leitor do que deveriam ser revistas científicas sérias, aborrece-me ver a literatura das Ciências da Computação ser poluída por mais e mais artigos com menos e menos valor científico. Como alguém que muitas vezes serviu como editor ou referee, sinto-me ofendido com discussões que encerram que a revista está lá para servir os autores em vez dos leitores. Os outros leitores de revistas científicas também deviam sentir-se igualmente ofendidos e exigir a mudança.

A causa de todas estas manifestações é a política largamente disseminada de medir os investigadores pelo número de artigos que publicam em vez da correcção, importância, verdadeira inovação ou relevância das suas contribuições."

Em seguida, Parnas enumera e comenta uma série de vícios e distorções que esta forma de avaliar está a disseminar pela sua comunidade científica, nomeadamente: incentiva a investigação superficial, incentiva a constituição de grupos de trabalho demasiado grandes em que os académicos mais séniores põem o seu nome nos artigos de todos os estudantes e jovens investigadores; incentiva a repetição;

incentiva estudos pequenos e insignificantes;

 recompensa a publicação de ideias incompletas (half-baked).

Valoração dos diferentes tipos de publicações e actividades

Para além de contarem artigos, muitos sistemas de avaliação contam também livros, palestras em conferências, organização de encontros científicos, orientação de estudantes, etc. Fazendo listas exaustivas de todo o tipo de actividades ligadas à investigação, os avaliadores que defendem este tipo de sistema consideram-no muito completo e rigoroso.

Não se apercebem de que tudo isto são actividades diferentes, mas necessariamente interligadas para chegar a um mesmo objectivo que é a descoberta de resultados científicos e, esses sim, é que devem ser avaliados.

Em alguns casos a fúria avaliadora vai mais longe, atribuindo valores diferentes a cada tipo de actividade e mesmo, atribuindo valores diferentes a cada artigo de acordo com o tipo de revista onde é publicado, isto é, consoante o factor de impacto da revista, o seu "prestígio", se figura no ISI Web of Knowledge, etc. Fazem-se então listas e grelhas com valorações perfeitamente subjectivas e obedecendo a critérios estabelecidos pelos burocratas da ciência mas apresentadas como muito imparciais. Supostamente, este tipo de métodos permite avaliar detalhadamente e com a máxima rapidez, pois (pasme-se!) nem sequer requer que o avaliador leia com cuidado os trabalhos do avaliado. Responde, portanto, à ideia que o sistema pretende impôr de que é fundamental avaliar tudo e a toda a hora o que, inevitavelmente, redunda numa avaliação superficial e distorcida, baseada em contagens de todo o tipo.

Fico arrepiada em ouvir colegas elogiar estas metodologias de contagens e grelhas a ponto de as quererem também aplicar à avaliação dos docentes nas suas tarefas de ensino. Imagino que números de horas de leccionação e de disciplinas, contagens de textos de apoio e de livros pedagógicos, etc., têm na perspectiva dos defensores das métricas, um papel muito mais decisivo na avaliação de um professor do que uma análise séria dos conteúdos leccionados, rigor científico e actualidade dos mesmos, capacidade de exposição e clareza na apresentação das matérias ou ainda vocação e capacidade de despertar o entusiasmo dos alunos empenhados.

Se fôr assim, aonde irão parar a qualidade do nosso ensino superior e os conhecimentos dos nossos licenciados?

 

O processo de publicação (peer review)

Na maioria das revistas científicas, os artigos são enviados ao editor que escolhe um ou mais (em geral, dois) referees anónimos que devem pronunciar-se sobre a qualidade do artigo. Com base no relatório dos referees, o editor decide se deve ou não publicar o artigo. É evidente a necessidade deste processo de revisão prévia, pois muitos artigos contém erros, omitem citações e trabalho anterior relacionado, ou não trazem qualquer tipo de inovação. No entanto, a forma como é feita dá poucas garantias de imparcialidade e é muito desequilibrada.

O problema principal é que, à excepção do editor, o nome dos referees não é conhecido mas estes sabem quem são os autores e qual a sua afiliação.

Isto permite que os revisores digam o que muito bem entenderem sem serem responsabilizados por nada. Alguns editores permitem que os autores respondam directamente aos revisores, defendendo-se das suas críticas, mas, frequentemente, estas respostas não são muito bem aceites pelos referees e a discussão acaba por azedar e perder o conteúdo científico.

Na minha perspectiva, o aspecto mais negativo deste processo é o facto de estar envolto em secretismo mas também o desequilíbrio que consiste em o árbitro conhecer a identidade do autor enquanto que este desconhece quem é o referee. Algumas revistas procuram alternativas a este processo de arbitragem com o que se costuma chamar o sistema de double blind, em que o revisor e o autor são ambos anónimos, ou ainda o sistema em que ambos são conhecidos um do outro. Qualquer um destes processos já representa um progresso, embora não haja muitas revistas a pô-los em prática. Em todo o caso, em minha opinião, num processo de arbitragem imparcial o nome dos referees deve ser público mas a identidade dos avaliados deve ser desconhecida.

James Lovelock, ambientalista e cientista de renome, autor de numerosos artigos e de alguns livros, no artigo "A ciência deve ser cada vez mais verde", publicado no livro "Ciência para a Terra", descreve o processo da peer review:

"Na minha opinião a influência mais perniciosa a que a ciência moderna é submetida é a "inspecção dos pares".

Esta instituição nasceu quando a ciência se apoderou do papel outrora desempenhado pela Igreja, como fonte de conhecimento e orientação. Mas tomou como modelo a Igreja medieval com os seus dogmas e o seu autoritarismo.

Tal como essa Igreja, a ciência está muito dividida e sectária, e existe muito mais para benefício pessoal de quem a pratica do que para o enriquecimento do saber e esclarecimento de todos nós. Até tem uma Inquisição, a que chamam a inspecção dos pares.

Antes de um cientista receber o subsídio que lhe permitirá fazer um trabalho de investigação, e antes de poder publicar os resultados desse trabalho, tem de ser examinado e obter a aprovação de um grupo anónimo dos chamados pares. Por enquanto, esta Inquisição ainda não pode enforcar nem queimar os hereges, mas pode negar-lhes a possibilidade de publicarem as suas conclusões ou de receberem donativos para custearem o seu trabalho. Ela tem o poder de destruir a carreira de qualquer cientista que se revolte. Possui um valor marginal quanto a separar o trigo do joio no caso da investigação trivial, sobretudo se ela se orientar no sentido da tecnologia.

Mas trata-se de um sistema profundamente desencorajador para a criatividade. Imaginem o que aconteceria nas Humanidades se os críticos fossem todos anónimos e tivessem o poder de impedir que um livro fosse escrito ou publicado, caso não concordassem com ele. Num mundo assim, as listas telefónicas e os manuais técnicos serviriam perfeitamente, mas onde estariam obras como O Deus das Moscas ou O Triunfo dos Porcos?"

Com efeito, não faltam exemplos de respostas parvas e descabidas dos referees e, às vezes, mostrando uma grande ignorância sobre o assunto sobre o qual se estão a pronunciar. Na verdade, os árbitros são pessoas e, como tal, fazem avaliações de carácter subjectivo e também podem actuar tendo em mente os seus próprios interesses de carreira ou de satisfação pessoal em detrimento da garantia da livre circulação e debate de novas ideias. O processo de publicação é permeável à falta de objectividade dos revisores cuja apreciação pode ser influenciada por motivações menos recomendáveis como:

  • Fazer passar as suas ideias, ainda que em artigos assinados por outros;
  • Impedir a publicação de contribuições que ponham em causa ou que critiquem trabalho seu ou de colaboradores próximos;
  • Impedir a publicação de inovações relevantes na sua área feitas por outros e não por si próprios;
  • Obter currículo através de arbitrar muitos artigos, alguns deles em áreas sobre as quais não têm o devido conhecimento.
  • Fazer ajustes de contas com o autor, quando manteve com este rivalidades ou desacordos.

Mas a ideia de que só as contagens interessam também leva muitos autores a utilizar tácticas pouco sérias e que em nada contribuem para o progresso da ciência. Parnas apresenta uma lista desse tipo de truques e vícios á qual junto mais alguns:

  • Dividir artificialmente a publicação do mesmo resultado ou da mesma ideia em múltiplos artigos, de preferência em diferentes revistas, para que esta seja mais proveitosa em termos do seu currículo;
  • Publicar resultados que já sabem que estão desactualizados ou que são irrelevantes pois uma vez que o artigo "passe" é o que importa;
  • Publicar resultados insuficientemente validados pela quantidade e diversidade necessárias de aplicações, experiências laboratoriais ou em ambiente real;
  • Constituir grupos com o objectivo de se citarem uns aos outros ou, mesmo, de assinarem as publicações uns dos outros de modo que todos aumentam a sua produtividade;

por vezes, juntar o nome de um investigador prestigiado a um artigo para que seja mais facilmente aceite;

  • Constituir pequenos grupos em torno de um tema restritivo, mas com a dimensão suficiente para manter uma revista e uma conferência periódica, de modo que o grupo publica para o grupo;

Organizar conferências e editar as respectivas actas onde os seus artigos serão publicado sem dificuldade.

Isto, claro, para não falar em atitudes moralmente mais reprováveis como a publicação de resultados forjados ou a tentativa de cair no agrado do editor da revista convidando-o para proferir palestras, pertencer a comissões de programa, etc. Portanto, apesar do suposto processo de publicação ser exigente e imparcial não faltam os exemplos de artigos com erros, totalmente irrelevantesdesactualizados, com faltas graves nas citações ou mesmo repetindo trabalho já publicado anteriormente.

 

Uma história interessante e novos horizontes

Infelizmente, várias histórias recentes mostram que o trabalho científico profundo e verdadeiramente inovador é muito difícil de publicar. Dentre esses casos, gostaria de mencionar a batalha que os físicos João Magueijo e Andrew Albrecht, do Imperial College, tiveram de vencer para conseguir publicar as suas teorias inovadoras, mas polémicas, sobre a velocidade da luz variável (VSL). No seu livro, "Mais rápido do que a própria luz", João Magueijo conta-nos que, após o artigo ter sido recusado pela revista Nature, por um editor da área de Física que ele classifica como "um atrasado mental de primeira", ele e o seu colaborador resolveram enviar o trabalho para a prestigiada revista Physical Reviews D (PRD). Tratando-se de uma teoria que punha em causa a relatividade restrita e conhecendo eu o conservadorismo que é habitual na maioria dos revisores, não me espantou saber que o referee recusou o artigo com uma resposta dura e agressiva, chegando a pôr em causa o profissionalismo dos autores. Felizmente, os autores tinham a segurança intelectual própria dos livre-pensadores e dos cientistas que trabalham com o entusiasmo de quem só lhe interessa resolver problemas verdadeiramente interessantes.

Encetaram então uma longa troca de correspondência com o revisor que foi azedando e resvalando cada vez mais para o plano do insulto pessoal e cada vez menos para uma discussão com conteúdo científico. Magueijo considera que, apesar destes desenvolvimentos, eles até tiveram sorte porque o editor da PRD resolveu acabar com a discussão e ser, ele próprio, o referee do artigo sobre a VSL. Fez-lhes saber que tinha reservas relativamente ao trabalho mas trouxe a discussão para o plano científico. Após um longo processo de discussão em que o editor foi questionando a teoria em vários aspectos e os autores a tentaram defender, incluindo uma ida do editor ao Imperial College com uma troca de impressões bastante acesa, o editor da PRD resolveu publicar o trabalho, ao fim de mais de um ano do envio da primeira versão do artigo.

A aceitação após esta longa "batalha Guttenberg", como o próprio João Magueijo a classifica, deixou os autores muito contentes e pensando que as suas aventuras com a publicação daquele artigo tinham terminado. No entanto, pouco depois, realizaram que John Moffat, um Física da Univeridade de Toronto, tinha descoberto uma teoria sobre a VSL que, embora teoricamente diferente, em substância era semelhante à deles. Moffat também tinha enviado um artigo para a PRD que foi igualmente recusado. Após prolongada discussão com o editor e os referees, acabara por desistir e publicara o seu trabalho numa revista pouco conhecida. Por isso, Magueijo e Albrecht desconheciam o trabalho de Moffat. Este escreveu-lhes uma carta, muito magoado, pedindo que o citassem. Também escreveu à PRD pedindo para suspender a publicação do trabalho e ameaçando proceder legalmente por estarem a violar os direitos de autor.

Magueijo teve uma boa atitude relativamente a esta situação delicada: escreveu a Moffat, pedindo-lhe desculpa e oferecendo-lhe a sua amizade. Como o artigo ainda estava em fase de provas, podia acrescentar a citação de Moffat e disponibilizou-se para acrescentar uma nota a explicar a situação. Sema-nas mais tarde, Magueijo foi a Toronto visitar Moffat e tornaram-se amigos.

Segundo ele, as ideias de Moffat viriam a servir-lhe de guia. Hoje, já publicaram um artigo em conjunto.

John Moffat é um Físico com uma carreira pouco convencional: abandonou a pintura por falta de dinheiro e começou a estudar Física e Matemática sozinho. Ao fim de um ano já trabalhava em problemas da Física difíceis e atraíu a atenção de Niels Bohr, Erwin Schrodinger, Dennis Sciama, Fred Hoyle e Abdus Salam. Sob a influência de Sciama, foi aceite como aluno de doutoramento em Cambridge, orientado por Hoyle e Salam. Para além da VSL fez outras contribuições importantes para a Física, nomeadamente, uma teoria gravitacional nãosimétrica, em continuação da teoria do campo unificado de Einstein, e uma teoria do campo quântico não-local. Na sua juventude, Moffat trocou correspondência com Einstein que ficou impressionado com o seu talento e o apoiou no lançamento de uma carreira. Segundo Magueijo, Moffat sempre manteve relações complicadas com diversas revistas científicas.

 

Felizmente, alguns cientistas estão-se a preocupar com as muitas falhas do sistema de peer review e procuram alternativas melhores para o processo de publicação e de divulgação de novos conhecimentos. Em algumas áreas organizam-se arquivos Web onde os trabalhos são publicados garantindo os direitos de autor e permitindo uma discussão aberta. A Associação Europeia de Geociências edita uma revista, Ocean Science, em que as contribuições sofrem um processo de arbitragem preliminar que verifi ca se o assunto se enquadra na área científica da revista e se tem qualidade científica básica. O artigo é então publicado on-line para uma discussão aberta onde podem participar os referees (anónimos ou não), o editor, os autores e também qualquer membro da associação com pequenos comentários. Após esta fase, os autores podem rever o artigo e o editor decide sobre a sua publicação, eventualmente, reenviando para os mesmos ou outros árbitros. Outros editores estão a seguir este exemplo, que me parece muito mais sério e construtivo.

Os sociólogos têm-se debruçado bastante sobre a questão da produtividade científica e do processo de publicação. Mary Frank Fox, num pequeno artigo intitulado "Disciplinary Fragmentation, Peer Review, and the Publication Process", publicado na revista The American Sociologist, constata que os níveis de publicação na Sociologia são mais baixos do que em outras áreas, no seu entender porque a comunidade está fragmentada em grupos que não aceitam facilmente as ideias e os métodos uns dos outros. Isto conduz a altos níveis de rejeição e desmoraliza os potenciais autores.

Segundo Fox, a solução para este problema passa pelos editores darem directivas precisas de rigor e imparcialidade aos referees e organizarem processos de open discussion: "O processo de revisão aberta desmistifica o processo de publicação tanto para os neófitos como para os experientes, incentiva o sentido de responsabilidade do revisor, e submete a inspecção dos pares ao escrutínio que a fará melhorar.

Além disso, a discordância entre os pares - especialmente em áreas de investigação emergentes - pode ser "criativa" (Harnad 1979) e a discussão pública activa, até acalorada, pode ajudar a construir, e reconstruir, ideias e a sua fundamentação".

 

É preciso avaliar? Talvez, mas com mais ciência e mais sensatez

É preciso tempo para reconhecer a importância de uma teoria ou de um resultado.

É preciso discussão honesta, refl exão.

Os investigadores precisam de tempo para pensar com tranquilidade, para experimentar coisas diferentes e, mesmo, malucas. Precisam de espaço para trabalhar movidos pelo seu entusiasmo e pela sua curiosidade. Não é possível fazer-se trabalho verdadeiramente importante e inovador estando constantemente a ser avaliado, permanentemente condicionado com metas quantitativas de publicações e resultados. Essas metas e objectivos serão muito adequados para a produção industrial ou para a actividade empresarial mas não têm nada a ver com o processo da descoberta do conhecimento. Ainda segundo Lovelock, no já referido artigo, "um acontecimento infeliz para a evolução quer do ambientalismo quer da ciência depois da Segunda Guerra Mundial foi a criação da hegemonia americana. (...) O centro de poder deslocou-se, e com ele o centro da evolução das ideias e da filosofia.

(...) O vigor e o espírito de competição da vida americana são muito recomendáveis, mas são desastrosos para a ciência.

Criaram uma ética que se estendeu a todo o primeiro mundo, em que ganhar prémios e ser rico ou poderoso são os objectivos próprios de uma vida dedicada á ciência.

Numa vida científica ditada pela vocação, a fraude é insípida e rara. Para os novos ases da ciência, a fraude é o caminho certo, desde que não sejam detectados.

A ciência actual assemelha-se à charada degradante dos Jogos Olímpicos." E porque não juntar, à charada ainda mais degradante do actual sistema financeiro?

Dantes, os académicos publicavam porque sentiam que tinham qualquer coisa de importante para apresentar à comunidade científica e gostavam que esta reconhece-se o mérito do seu contributo. Hoje, muitos académicos publicam porque precisam desesperadamente dessas publicações para manter o emprego, para poderem continuar a investigar ou para serem promovidos e ganharem mais dinheiro. E isto faz toda a diferença e é esta pressão que está a corromper o processo de publicação e a discussão verdadeiramente científica no seio da comunidade académica.

Nenhum sistema de avaliação sério e honesto pode deixar de incluir uma análise rigorosa e reflectida do conteúdo dos trabalhos de um académico. E isto leva tempo e dá trabalho, o que é contrário à ideia de permanente avaliação que tende a recorrer a métricas que, por sua vez, são indutoras de vícios e de uma comunidade científica disfuncional.

Teresa Alpuim

Faculdade de Ciências da Universidade de Lisboa

© copyright SNESup | Todos os direitos reservados

 
visitas