[matematica] Indicatori di qualita' della ricerca

[abate at dm.unipi.it]

Carissimi,

per cominciare a concretizzare la discussione, vi mando un elenco di
possibili indicatori su cui ragionare. S'intende che e' un elenco
assolutamente provvisorio: non e' detto si debbano usare tutti,
e potrei averne dimenticato qualcuno (ogni suggerimento e' piu' che benvenuto).

Il lavoro da fare e' selezionare gli indicatori, e determinare delle
soglie minime per ciascun livello concorsuale, per ciascun settore
scientifico-disciplinare, e per i candidati e per i commissari.

Oltre alle indicazioni generali gia' discusse nella riunione del collegio dei
presidenti di cds in Matematica (e che conoscete gia'), 
mi e' stato segnalato un altro criterio
generale importante da tener presente nella scelta degli indicatori:

- i dati su cui vengono calcolati devono essere pubblici e autocertificabili dai
candidati, e non dipendere da ricerche dati effettuate dalla commissione.

Questo serve chiaramente a prevenire ricorsi, e a evitare che (anche in buona
fede) la commissione tratti in modo diverso candidati diversi.

Ho suddiviso gli indicatori che mi sono venuti in mente in tre categorie,
ognuna con un certo numero di sottocategorie e di possibili specificazioni.
Inoltre la soglia minima per alcuni di essi (per esempio, i libri) potrebbe
essere zero per ogni livello concorsuale; li includo perche' il testo del
decreto sembra richiedere che, almeno per i concorsi da ricercatore, siano
elencati esplicitamente tutti gli indicatori
che si vogliono usare, indipendentemente dall'esistenza di una soglia minima.

A) Pubblicazioni (vedi Nota 1)

A.1) Numero totale di pubblicazioni (vedi Nota 2)
A.2) Numero di articoli accettati in rivista con referee
A.3) Numero di articoli accettati in atti di congresso
A.4) Numero di libri di ricerca 

Questi potrebbero essere soggetti alle seguenti specificazioni:

(a) negli ultimi anni;
(b) che hanno ricevuto almeno tot citazioni (vedi B) per come determinarle);
(c) su riviste "buone" (vedi Nota 3).

Quindi indicatori di questo genere potrebbero avere forma del tipo

"Almeno X articoli accettati su riviste con referee negli ultimi Y anni"
"Almeno V pubblicazioni con almeno Z citazioni ciascuna"

e simili.

B) Citazioni

B.1) tutte le citazioni;
B.2) escluse le autocitazioni;
B.3) escluse le citazioni fatte dagli autori della pubblicazione;

soggetti a specificazioni del tipo

(a) negli ultimi anni;
(b) pesate secondo criteri espliciti.

Le citazioni devono essere autocertificate dal candidato, presentando un elenco
di articoli o libri (vedi Nota 4) che citano la propria pubblicazione.

Io personalmente ammetterei anche le autocitazioni
(che proveniendo da articoli pubblicati sono comunque una misura della
ricerca fatta dal candidato, e sono utilizzabili in ugual modo da tutti
i candidati). Ammetterei anche le citazioni dei coautori (se un mio coautore
prosegue per conto suo un lavoro fatto in collaborazione con me mi sembra
comunque un segnale di validita' del lavoro iniziale). Eventualmente per non
favorire eccessivamente i lavori con molti coautori si potrebbe pensare di
pesare diversamente queste citazioni (per esempio, 
una citazione di un coautore di un articolo con n coautori potrebbe pesare 1/n;
ma in campi matematici in cui e' raro avere piu' di 2 o 3 autori per articolo
forse non vale la pena di preoccuparsene).

Oltre che col numero di coautori, ci sono altri modi di pesare le citazioni.

Per esempio, la distanza temporale fra l'articolo e la citazione: una
citazione fatta diversi anni dopo dall'uscita dell'articolo potrebbe essere
piu' significativa di una fatta appena l'articolo e' uscito (in quanto
segnala una persistenza temporale dell'interesse del lavoro). 

Oppure col numero di anni passati dalla laurea del candidato, o col numero
di articoli pubblicati dal candidato (per bilanciare, rispettivamente,
candidati giovani e candidati anziani, o candidati prolifici e candidati
piu' parchi). 

Per completezza, cito anche la possibilita' di pesare le citazioni con
la "qualita'" della rivista che cita; ma questo criterio ha gli stessi problemi
descritti nella Nota 3 (se non anche peggiori).

Quindi indicatori basati sulle citazioni potrebbero avere una forma del tipo

"Almeno X citazioni"
"Almeno Y citazioni negli ultimi Z anni"
"Numero totale di citazioni diviso per il numero di anni dalla laurea almeno
pari a C"

e simili.

C) Altri (vedi Nota 5)

C.1) Seminari tenuti su invito a congressi internazionali;
C.2) Seminari tenuti in universita' o enti di ricerca esteri;
C.3) Seminari tenuti in sedi diverse dalla propria;
C.4) Premi o riconoscimenti ricevuti.

Anche questi potrebbero essere specificati rispetto agli ultimi anni. Quindi
esempi di indicatori potrebbero essere

"Almeno X seminari su invito a congressi internazionali";
"Almeno Y seminari in sedi diversi dalla propria negli ultimi Z anni"

e simili.

* Nota 1: visto che si parla di indicatori per la ricerca, mi limito a
considerare pubblicazioni di ricerca; ma per un concorso da associato
o da ordinario dovrebbero essere considerate anche le
pubblicazioni divulgative e didattiche (sia articoli che libri).

* Nota 2: include preprint e qualunque altra cosa.

* Nota 3: non c'e' dubbio che un criterio tipicamente usato dai commissari
per valutare la qualita' dei candidati consiste nel vedere su quali riviste
hanno pubblicato. Trasformare questo in un indicatore solleva pero' un numero
non indifferente di problemi, in quanto occorre trovare un criterio 
indipendente dai commissari per decidere quali sono le riviste "buone".
Inoltre, la lista delle riviste "buone" dovrebbe essere pubblica, 
dipendente dal tempo, costruita a partire da numerosi indicatori
(sul cui significato abbiamo dubbi in diversi, e che dovrebbero essere 
calcolati a partire da basi di dati pubbliche comprendenti tutte le
riviste in gioco...), dovrebbe includere anche riviste al di fuori del settore 
per tener conto dei lavori interdisciplinari... Insomma, la mia sensazione
e' che non valga la pena infilarsi in un simile ginepraio solo per
stabilire delle soglie minime di qualita'. 

* Nota 4: In questo caso escluderei le citazioni da preprint, per avere
solo citazioni da fonti "certificate".

* Nota 5: come nella Nota 1, escludo dalla considerazione le attivita'
didattiche e organizzative (organizzazione di convegni, direzione di
gruppi di ricerca, ecc.); ma e' chiaro che per i concorsi da associato
e ordinario queste attivita' devono essere tenute presenti.

************************

Qui sotto troverete, per concretezza, 
una possibile (e ampiamente modificabile) proposta di soglie
minime per il settore MAT/03, calibrata per i tre livelli concorsuali e per
candidati e commissari (questi ultimi solo ordinari, per accordarsi al
decreto che esclude associati e ricercatori dalle commissioni di concorso).
Ove possibile, ho testato queste soglie su dati recuperati in rete 
a oggi sui vincitori dei concorsi nel settore MAT/03. Trattandosi di soglie
minime (e di dati a volte anche molto posteriori alla data del concorso,
e dato che ritengo che in gran parte di questi concorsi abbiano vinto
candidati decenti), sono state tarate in modo da essere superate
dalla stragrande maggioranza dei vincitori. Questo e' un
lavoro che va fatto per soglie e indicatori di qualsiasi
settore, in modo da evitare di richiedere condizioni assurde (per esempio: un
criterio del tipo "almeno 10 articoli 
con 10 citazioni" proposto da altre aree per gli ordinari, per quanto suoni
sensato, secondo i dati di MathSciNet taglierebbe fuori *tutti* gli ordinari
di Geometria del Dipartimento di Matematica di Pisa... perche' le
abitudini di pubblicazione e citazione nella Matematica sono molto
diverse da quelle di altre aree).

Esempio (ampiamente modificabile) di soglie per il settore MAT/03:

Ricercatori:
 
Devono essere soddisfatte le seguenti soglie minime:

* Almeno 2 articoli accettati su riviste con referee negli ultimi 5 anni;
* Almeno 2 seminari in sedi diverse dalla propria negli ultimi 5 anni.

[Qui si tratta di verificare che i candidati, presumibilmente giovani, abbiano
fatto qualcosa che sia stato sentito da qualcuno fuori da casa
loro. Vista la lentezza con cui si formano le citazioni nella matematica,
per i ricercatori non metterei criteri legati alle citazioni.]

Associati:

Devono essere soddisfatte almeno 2 delle seguenti soglie minime:

* Almeno 5 articoli accettati su riviste con referee negli ultimi 7 anni;
* Almeno 12 pubblicazioni;
* Almeno 10 citazioni negli ultimi 7 anni;
* Almeno 4 seminari in sedi diverse dalla propria negli ultimi 7 anni.

Ordinari (candidati):

Devono essere soddisfatte almeno 3 delle seguenti soglie minime:

* Almeno 8 articoli accettati su riviste con referee negli ultimi 10 anni;
* Almeno 20 pubblicazioni;
* Almeno 16 citazioni negli ultimi 10 anni;
* Almeno 2 seminari su invito in convegni internazionali negli ultimi 10 anni;
* Almeno 6 seminari in sedi diverse dalla propria negli ultimi 10 anni.

Ordinari (commissari):

Devono essere soddisfatte almeno 4 delle seguenti soglie minime:

* Almeno 10 libri o articoli accettati su riviste con referee negli ultimi 15 anni;
* Almeno 3 pubblicazioni con più di 10 citazioni ciascuna;
* Almeno 80 citazioni;
* Almeno 8 seminari su invito in convegni internazionali;
* Almeno 20 seminari in sedi diverse dalla propria;
* Almeno 8 seminari in universita' o enti di ricerca esteri.

[I criteri per questo caso sono probabilmente da aggiustare meglio, e non
ho avuto ancora occasione di testarli davvero. Ho voluto includerli giusto
per dare l'idea di un possibile punto di partenza.]

Qualsiasi suggerimento o
indicazione e' benvenuta, in particolare per quel che riguarda
gli indicatori e le soglie da usare nei vari settori.

Ciao e grazie,
Marco Abate

 

-------------------------------------------------
This mail sent through IMP: http://horde.org/imp/