2009/06/15

La rivista “scientifica” che ha ospitato un articolo dei complottisti accetta un articolo di parole a caso. Basta pagare

di SirEdward e Paolo Attivissimo

Recentemente il movimento complottista è stato galvanizzato dalla pubblicazione avvenuta su una rivista scientifica, la Open Chemical Physics Journal, pubblicata da Bentham Science Publishers di un articolo dei professori Harrit e Jones riguardante il ritrovamento di residui di un composto tuttora sconosciuto, ma che gli autori indicano come probabile supertermite. La pietra filosofale del complottismo sembrava dunque essere stata finalmente recuperata e l'ambito riconoscimento scientifico sembrava essere stato ottenuto.

Sfortunatamente, però, il sogno è durato poco. Infatti sono emersi abbastanza presto alcuni elementi problematici:
  • prima si è scoperto che l’articolo lascia perlomeno a desiderare dal punto di vista tecnico, come spiegato qui;
  • poi è emerso che l'editore invitava persone incompetenti a fungere da revisori;
  • e poco tempo dopo la pubblicazione dell’articolo l’editor in chief (redattore capo) della rivista, Marie-Paule Pileni, si è dimessa perché l'articolo non era mai stato sottoposto alla sua approvazione. Il suo giudizio è stato lapidario: "L'articolo non ha niente a che fare con la chimica-fisica o la fisica-chimica, e non faccio fatica a credere che ci sia una visione politica dietro la sua pubblicazione. Se qualcuno me l'avesse chiesto, avrei detto che l'articolo non avrebbe mai dovuto essere pubblicato in questa rivista."

Un comportamento abbastanza lontano da quello atteso da una pubblicazione scientifica seria. Ma nel caso in cui tutto questo non avesse avuto ancora la forza sufficiente per dirimere la questione in via definitiva, arriva ora una ulteriore conferma della scarsa serietà delle pubblicazioni Bentham.

Philip Davis, statunitense laureato in biblioteconomia e scienza dell'informazione presso la Cornell University di Ithaca, nello stato di New York, riferisce infatti che nei primi mesi del 2009 è riuscito a farsi accettare per la pubblicazione presso l’Open Information Science Journal, anch’esso edito dalla Bentham, un articolo intitolato Deconstructing Access Points (letteralmente, "Decostruzione di access point") e costituito da contenuti assolutamente privi di senso, come si rileva facilmente da questo brano:

In questa sezione vengono discussi gli studi esistenti sugli alberi rossi-neri, le valvole elettroniche e il materiale didattico [10]. Analogamente, il recente lavoro di Takahashi suggerisce una metodologia volta a fornire modalità robuste, ma non offre un'implementazione [9].


In originale:

In this section, we discuss existing research into red-black trees, vacuum tubes, and courseware [10]. On a similar note, recent work by Takahashi suggests a methodology for providing robust modalities, but does not offer an implementation [9].


L’articolo è stato creato da Davis in collaborazione con Kent Anderson, membro del comitato editoriale di un’altra rivista (questa volta seria, il New England Journal of Medicine), utilizzando SCIgen, un programma capace di generare pseudoarticoli scientifici in campo informatico combinando parole a caso.

Lo scopo dei due ricercatori era proprio testare l’affidabilità degli standard editoriali della rivista, dopo che Davis aveva ricevuto numerosi inviti ad entrare a far parte del comitato editoriale ora di una ora dell’altra delle tante riviste pubblicate dalla Bentham; riviste i cui contenuti spesso esulavano completamente dalle competenze di Davis.

Davis e Anderson, nascosti sotto gli pseudonimi di “David Phillips” e “Andrew Kent”, hanno sottoposto al vaglio editoriale dell’Open Information Science Journal il loro articolo dai contenuti insensati, lasciando volutamente a disposizione dei revisori almeno un grosso indizio che avrebbe dovuto metterli in guardia: i due autori si dichiaravano infatti affiliati all’inesistente Center for Research in Applied Phrenology, il cui acronimo risulta essere "CRAP" (letteralmente "stronzate").

Eppure, nonostante tutto, quattro mesi dopo, nella casella di posta elettronica di “David Phillips” è arrivata la lettera di accettazione, che chiedeva di completare un modulo e provvedere al pagamento degli 800 dollari richiesti per la pubblicazione. La filosofia della Bentham è infatti di permettere ai ricercatori un più ampio accesso alla pubblicazione a fronte del pagamento di parte dei costi di pubblicazione. Un ampio accesso che, a quanto pare, include anche la pubblicazione di parole senza senso, purché si paghi.

Si noti che Steven Jones aveva invece dichiarato che l'articolo pro-supertermite scritto con Harrit e pubblicato dalla Bentham era stato "sottoposto a un rigoroso riesame [peer review] con molte pagine di commenti duri che hanno richiesto al nostro gruppo MESI di esperimenti e studi supplementari. E' stato il peer review più difficile che ho mai subìto".

L'accettazione dell'articolo di parole in libertà da parte di Davis e Anderson risponde dunque splendidamente alla sfida lanciata dallo stesso Jones: "Se è così facile pubblicare nelle riviste della Bentham Scientific, o se sono pubblicazioni di vanità (si noti che non ci sono basi di fatto per queste accuse)" aveva scritto" allora perché chi obietta non scrive le proprie obiezioni e le fa esaminare e pubblicare?". Detto fatto.

La notizia ha causato anche le dimissioni di Bambang Parmanto dell'Università di Pittsburgh, che era editor in chief dell'Open Information Science Journal della Bentham.

Non è la prima volta che viene dimostrato come le società che propongono ai ricercatori di pubblicizzare i propri lavori dietro compenso siano più esposte al rischio di pubblicare articoli senza senso: nel 2005 J. Stribling, D. Aguayo and M. Krohn, laureati al MIT di Boston, usarono lo stesso metodo di Davis e Anderson per mostrare le carenze nei controlli al World Multi-Conference on Systemics, Cybernetics and Informatics (WMSCI).

Nemmeno i colossi dell’editoria sembrerebbero estranei a simili brutte figure: il sito Internet di SCIgen riporta che un gruppo di studenti iraniani della Sharif University sarebbero riusciti a fare accettare un altro articolo generato con SCIgen, questa volta presso la rivista Applied Mathematics and Computation.

Per i sostenitori delle teorie di complotto sull’11 settembre, dunque, un’altra amara pagina, che contribuisce a smontare il presunto valore di un articolo reputato valido troppo in fretta, giudicato più sull’onda emotiva scatenata dalla speranza di aver trovato finalmente un minimo di credibilità che per una reale analisi dei suoi contenuti e del suo contesto di pubblicazione.

Va segnalato, per completezza, che la Bentham ha risposto alla burla di Davis e Anderson spiegando, in un e-mail alla rivista New Scientist scritto da Mahmood Alam, direttore delle pubblicazioni della Bentham, che gli incaricati avevano finto di accettare l'articolo senza senso per scoprire le identità dei burloni. Ma il dimissionario Parmanto dice di aver saputo di questa spiegazione soltanto il giorno in cui è stata resa pubblica.

Ulteriori dettagli sulla vicenda sono pubblicati da Henry62 su 11-settembre, ScrewLooseChange, ScienceBlogs, JREF e New Scientist.

32 commenti:

mattia ha detto...

Io aggiungo un'altra cosa: anche se la rivista è seria e fa veramente un serio peer review, in realtà le vaccate possono essere stampate lo stesso. Di solito accade senza secondi fini, ma solo come svista.
Ciò può succedere:

- perché autori e revisori non possono essere esperti di tutto e delle volte, quando usano strumenti che non sono loro, sbagliano. Esempio: lessi un articolo sulla rugosità di film prodotto per PVD. Autori esperti di materiali, ma non di DSP. Quindi nel fare i loro calcoli hanno fatto stupidaggini enormi.

- artefatti: capita a tutti quando fai misure non triviali, di misurare qualcosa e interpretarlo in modo sbagliato. E' capitato anche a me di pubblicare un artefatto.

Quindi: sempre piedi di piombo, anche se le riviste sono serie.

Ice_Rocket ha detto...

Concordo pienamente.
La scienza è una cosa seria e va valutata e criticata seriamente, con intelligenza e preparazione.

federico ha detto...

non mi sembra molto credibile la scusa che hanno usato per difendere la rivista. Sarebbe come dire: sputtaniamo la nostra rivista per vedere chi ha mandato l'articolo beffa. E poi quale potrebbe essere l'interesse di sapere chi sono i burloni?

mi sembra più probabile pensare che... 800 euro non sono da buttare!!
;-)

Ice_Rocket ha detto...

Ovvio. E' una scusa ridicola.
Se avessero voluto sapere chi erano gli autori avrebbero potuto semplicemente chiderlo...

Giuliano47 ha detto...

@federico

Pecunia non olet :-)

frankbat ha detto...

Ottimo articolo, e bella BRUTTA figura!
Per la rivista.
Per la "sciecomichegang", un suicidio!

brain_use ha detto...

La lezione più importante che se ne trae, al di là del caso specifico, resta di natura metodologica sulle tecniche dei cospirazionisti: da anni si sottolinea l'assoluta inconsistenza scientifica delle loro tesi.
E loro cosa fanno?
Comprano l'equivalente di uno "spazio pubblicitario".
Questa è la sostanza.
Della vicenda, ma anche dei Venditori di Verità.

Rado il Figo ha detto...

Mattia, ma a questo punto tanto valeva che scrivessi: "non fidatevi di nulla".

Trovo inconcepibile (al di là degli esempi che hai fatto che non capisco)che dei revisori possano vagliare articoli su argomenti di cui non sono ferrati. Certo è che, se come dici tu questa è la realtà, effettivamente non esiste nulla di cui fidarsi.

mother ha detto...

Un risultato molto importante per l'umanità.

Prima dell'invenzione dell'intelligenza artificiale a quanto pare l'uomo è riuscito ad inventare una macchina-programma capace di esprimere l'idiozia artificiale...ed in modo da essere credibile persino ad una rivista scientifica con impact factor ancora nullo!

-.-'

Matz ha detto...

@Rado

Purtroppo/Per fortuna, non esiste un pulsante automatico in grado di dirmi il livello di scientificità di un lavoro.

Anche il meccanismo del "peer-review" ha i suoi limiti che di fatto corrispondono ai limiti umani del reviewer che è, appunto, un essere umano e quindi fallibile.

Per questo ha ragione mattia a suggerire i piedi di piomb sempre e comunque

P.S. Con questo non voglio dire che una rivista peer-reviewed" è uguale a quella non "peer-reviewed".

Alfred Borden ha detto...

Matz ha detto...

Purtroppo/Per fortuna, non esiste un pulsante automatico in grado di dirmi il livello di scientificità di un lavoro..

Be', però è possibile farsi un'idea dell'autorevolezza di una rivista in base al suo impact factor, o altri parametri di solito usati per valutare lavori/ricercatori in ambito scientifico.

In più, le riviste più blasonate - almeno nel mio campo - sottopongono uno stesso lavoro a più di un referee, proprio per contenere al massimo gli errori.

Matz ha detto...

Alfred Borden: se sei del settore saprai che l'impact factor è una misura imperfetta. Nel mio settore la rivista giudicata da tutti la più blasonata ha un impact factor di 0.3... una miseria.
Questo per il semplice motivo che i suoi articoli sono talmente difficili da digerire che prima di averli capiti e di poterli citare passa così tanto tempo da rendere così basso l'IF

E' vero anche che il referee non è uno solo, solitamente sono...due (almeno nel mio campo)

Ripeto non voglio screditare il metodo del peer-review, ci mancherebbe, ma do ragione a mattia che ragionare solo in termini di IF non è sufficiente, perché la scienza è un qualcosa di più complesso e non si può pensare di ingabbiarla in un indice o in una procedura.

Alfred Borden ha detto...

@Matz

Sono d'accordo: l'Impact factor è sicuramente da perfezionare e non rigorosamente scientifico (quasi un paradosso), però è lo strumento di valutazione più utilizzato. Per esempio, è in base all'IF della rivista che vengono valutate le pubblicazioni dei candidati nei concorsi in ambito universitario.

Nel mio settore la rivista giudicata da tutti la più blasonata ha un impact factor di 0.3... una miseria.
Questo per il semplice motivo che i suoi articoli sono talmente difficili da digerire che prima di averli capiti e di poterli citare passa così tanto tempo da rendere così basso l'IF
.

C'è anche un altro aspetto che secondo me falsa l'IF, rendendolo poco oggettivo. In pratica gli autori sono affetti da una sorta di campanilismo, per cui tendono a citare più spesso i lavori dei colleghi geograficamente vicini, venendo ovviamente ricambiati, innescando così una specie di effetto Droste.

mattia ha detto...

Alfred Borden: se sei del settore saprai che l'impact factor è una misura imperfetta.

Io che sono un metrologo ti dico che la misura è per definizione imperfetta :D

@Rado il Figo
Trovo inconcepibile (al di là degli esempi che hai fatto che non capisco)che dei revisori possano vagliare articoli su argomenti di cui non sono ferrati.

Il discorso è più complesso. Persone con diversi background finiscono a lavorare in campi comuni. Io che sono ing. elettrico, mi trovo a firmare articoli con fisici, o ing. dei materiali, che lavorano come me nel magnetismo. Così, i revisori sono anch'essi persone che lavorano nel magnetismo ma con esperienze diverse. Quindi ti capita il revisore che considera RMS una sigla incomprensibile (mi è capitato). Probabilmente era un fisico e non un ingegnere.
Putroppo non puoi trovare l'esperto di tutto (ne conosco pochissimi...) ed è evidente che devi fare delle scelte come editore, mediando sulle conoscenze...

Rado il Figo ha detto...

Matz, non stavo parlando di "livello di scientificità" ma di "competenza del revisore".

Da quello che mi dite in pratica non c'è da fidarsi di nulla di quello che viene pubblicato, giacché è tutto affidato al caso.

Bella situazione.

Umby9000 ha detto...

Solo un commento non tecnico:

Ma questa rivista si fa scrivere le scuse da Straker?

Trovo che la scusa data dalla rivista sia piu' controproducente che altro...

Umby9000

Matz ha detto...

@Rado:

spiacente ma il mondo (e la scienza) è un tantino più complessa di un indice. Altrimenti avrebbero ragione in Italia a pagare una miseria i ricercatori ;).

In pratica, fiducia cieca e assoluta non la darei a nessun articolo, nemmeno a quello pubblicato in riviste prestigiose (ah già dimenticavo i casi in cui l'autore dell'articolo aveva falsificato i dati, ma questa è un'altra storia).

Certo l'IF aiuta e serve soprattutto a capire lo spessore scientifico di un individuo (se uno pubblica 100 articoli su riviste di alto prestigio con alto IF, allora il sospetto che non sia un idiota è forte) ma un singolo articolo può essere una ciofeca e comparire su una rivista prestigiosa e viceversa.

Rado il Figo ha detto...

Scusa ma se continui a dirmi che le revisioni sono affidate al caso, ogni altra considerazione è inutile. Significa solo che nulla è valido.

Matz ha detto...

Rado non estremizzare.

Imperfetto non vuol dire "affidato al caso". é il sistema peer-review è tra i sistemi di valutazione di un articolo scientifico quello che per ora mi sembra il meno imperfetto.

Rado il Figo ha detto...

Momento: un conto è se mi dici "dato che nulla è perfetto, potrebbe capitare che, per tutta una serie di motivi, si pubblichino delle sciocchezze, come è successo effettivamente con percentuali minime". Altro conto è dire, come fa Mattia: "è la regola che chi revisiona possa non essere ferrato nell'argomento, per cui il grado di correttezza della pubblicazione di un lavoro è affidato al caso"

Sono due concetti estremamente diversi. Il primo dice che c'è un margine di errore, come in tutte le cose, talmente esiguo da poter essere accettato: il secondo invece da l'idea del "è valido? non è valido? e chi lo sa? speriamo che il revisore ne sapesse qualcosa, non avesse la luna di traverso o stesse guardando la partita in tv o i pornazzi su youtube".

Dalle descrizione che avete fatto pare un mondo lasciato nell'incertezza più totale.

Rado il Figo ha detto...

Magari mi sbaglierò, ma anche nella parallela discussione ne il Disinformatico mi pare si stia svelando che il mondo delle riviste scientifiche e delle loro pubblicazioni sia tutto fuorché il mondo della "verifica accurata".

Insomma, la cosa assomiglia sempre più ad un terno al lotto.

Ice_Rocket ha detto...

Non esageriamo.
Qualche imperfezione è cronica, ma non è vero che vengono pubblicate sciocchezze.

Matz ha detto...

Rado, può essere che i revisori siano non competenti (a me in un caso è capitato che uno dei due revisori non avesse veramente capito il senso di quanto avevo ssottoposto), può essere che abbiano letto svogliatamente il lavoro (molto spesso non sono pagati per il loro lavoro di revisione) può essere che diano la loro valutazione seguendo personali antipatie/simpatie o (peggio) logiche di potere - tanto se vuole un referee riesce a conoscere l'autore dell'articolo.

Insomma ci sono più motivi per cui il controllo può fallire, ma è sempre meglio del "non controllo"

Ripeto ancora una volta: se la scienza si potesse ingabbiare in uan procedura allora il ricercatore è semplicemente un impiegato che mette in pratica tali procedure

Rado il Figo ha detto...

Rock Ice
"Non esageriamo.
Qualche imperfezione è cronica, ma non è vero che vengono pubblicate sciocchezze."

Come non è vero? E l'argomento di questo articolo non è proprio che è stata pubblicata una sciocchezza generata con parole a caso?

Matz: quindi per te un controllo con risultati a caso è meglio di un non controllo? A me pare la stessa cosa. Anzi, nel secondo caso almeno fin dal principio so che è tutto discutibile, nel primo caso invece parto convinto che sia stato tutto verificato.

Quindi semmai è peggio, non meglio.

Rado il Figo ha detto...

Scusa, Ice_Rocket, non Rock Ice (presumo che qualcuno capirà da dove arriva il lapsus).

Matz ha detto...

Matz: quindi per te un controllo con risultati a caso è meglio di un non controllo? A me pare la stessa cosa. Anzi, nel secondo caso almeno fin dal principio so che è tutto discutibile, nel primo caso invece parto convinto che sia stato tutto verificato.

Ancora una volta fraintendi ed estremizzi: non ho detto che il risultato è a caso, come se si tirasse una moneta. Ho detto che il risultato non è perfetto, cioè non sempre gli articoli che vengono accettati per la pubblicazione sono stati valutati in maniera competente, imparziale e non guidata da conflitti di interesse.

Se nonostante i problemi un certo effeto c'è allora il sistema ha una sua utilità

O forse se una terapia non è efficace nel 100% dei casi ma solo nel 95% allora tanto vale non fare nulla?

Rado il Figo ha detto...

Matz, sei tu che fraintendi. Io ieri ho scritto

"Sono due concetti estremamente diversi. Il primo dice che c'è un margine di errore, come in tutte le cose, talmente esiguo da poter essere accettato: il secondo invece da l'idea del "è valido? non è valido? e chi lo sa? speriamo che il revisore ne sapesse qualcosa, non avesse la luna di traverso o stesse guardando la partita in tv o i pornazzi su youtube".

Percentuali di errore che non sono di certo minime se, come dici, tutto è affidato al caso, giacché "non sempre gli articoli che vengono accettati per la pubblicazione sono stati valutati in maniera competente, imparziale e non guidata da conflitti di interesse.".

Matz ha detto...

Rado, forse siamo destinati a non capirci: per te esistono due categorie: "tutto affidato al caso" o "controllo valido".

Secondo me "tutto affidato al caso" vuol dire che praticamente far revisionare un articolo a due referee o lanciare la moneta è la stessa cosa. Secondo me non è così

Il fatto che "non sempre gli articoli che vengono accettati per la pubblicazione sono stati valutati in maniera competente, imparziale e non guidata da conflitti di interesse." non equivale a lanciare la monetina! Equivale ad un tasso di "errore" (con tutte le semplificazioni che implica questo termine, facciamo finta di sapere quando l'esito dei referee è errato) vuoi del 5%, vuoi del 10% vuoi del 20%, a seconda del livello delle riviste.

Il lancio della monetina avrebbe un tasso di errore mediamente del 50%, quindi fintanto che abbiamo un tasso di errore inferiore, meglio usare i referee.

Non per cattiveria, ma siamo ormai un po' OT e per conto mio non intendo proseguire più di tanto sull'argomento.

Hammer ha detto...

W.B.,

ho rifiutato il tuo commento anche se era un meraviglioso esempio di ingnoranza complottista.

Hai dimostrato di non aver neanche letto l'articolo, se lo avessi fatto avresti scoperto che in queso blog la confutazione dell'articolo complottista _c'è già_.

Impara a leggere e impara l'educazione o togli il disturbo.

brain_use ha detto...

Aggiungerei anche che, a parte le confutazioni di merito e di contenuto già pubblicate a suo tempo, è doveroso chiedersi perché dei ricercatori sentano il bisogno di pubblicare un articolo a pagamento e senza un serio review...

Forse la risposta non piacerebbe a W.B.

Hammer ha detto...

W.B.,

forse non ti è chiaro con chi hai a che fare. Non ho tempo da perdere con chi non ha argomenti, come te.

Il tuo commento è stato rifiutato in quanto del tutto inutile.

Rinnovo l'invito a studiare una materia che ignori e che si chiama educazione.

Avresti potuto ammettere di aver detto un'idiozia (ribadisco che il debunking dell'articolo cospirazionista c'è), ma non l'hai fatto. Chissà perchè.

Forse perchè non capisci un accidente di ciò che c'è scritto e ti fa comodo credere ai complottisti (tanto non sei in grado di comprendere nè noi, nè loro).

Smentiscimi se sei capace, ma con argomentazioni scientifiche.

Altrimenti, fuori dalle scatole. Grazie.

Rado il Figo ha detto...

"Rado, forse siamo destinati a non capirci: per te esistono due categorie: "tutto affidato al caso" o "controllo valido"."

Infatti non credevo fosse così. Siete voi che me l'avete svelato. Ed io ne traggo le conseguenze.


" Secondo me "tutto affidato al caso" vuol dire che praticamente far revisionare un articolo a due referee o lanciare la moneta è la stessa cosa. Secondo me non è così"

Comincio a capire perché non comprendi quello che dicono gli altri: non sai nemmeno quello che pensi tu.

Dato che l'ultima citazione ha pienamente fatto capire la confusione che hai nei tuoi stessi pensieri, accolgo anch'io l'invito di chiuderla qui. Di sicuro non sarà io a distogliertene.

Saluti e baci.