院士詳解科研評審制度:基金申請建議來了!
2020年9月21日-25日是同行評議周(Peer Review Week),主題是“同行評議中的信任”。
國家自然科學基金委員會原主任,浙江大學教授、原校長楊衛做客愛思唯爾專題線上研討會,暢談對“信任與科研評審制度”的理解,給青年科研人員進行項目評審、基金申請提出了不少中肯、操作性強的建議,并與網友進行互動。
《中國科學報》對研討會內容進行了整理,以下為研討會實錄:
Q1:同行評議除了在期刊評審發揮作用外,相信您還了解同行評議在其他方面的廣泛應用,可以介紹一下嗎?
不同方面的同行評議我都做過,現在還是愛思唯爾一個期刊的編輯之一。每年從我手里要評五六百篇來稿,涉及發送給審稿人、判斷其審稿意見、決定錄取與否等。
我們一般談論的廣義評審,可以稱作“三評”——評審、評估、評價。其最基本的形式有兩種:主觀評價和客觀評價,分別指由人來評價和由數據來評價。當然也有主觀和客觀結合在一起進行評價。
我曾做過一個報告,將目前國內實施的主客觀相結合的評價歸結為9種具體形式。
主觀評價,即同行評議(peer review),是一種最基本的評價形式。廣泛應用在期刊、科研項目、獎項、職稱乃至學生獎學金、先進模范等評審中。
與期刊的同行評議相比,科研項目評審呈現出以下不同特點:
1.評價項目涉及標的更大,并涉及到國家經費,即納稅人的錢。所以評審過程中一旦出現問題,審計、監督部門就會介入。
科研項目的評審一般是單向的,評完后通知評審結論和意見,沒有評上的很難以學術觀點不同的爭辯而改變結果。
國家自然科學基金條例中規定,評審過程中如果違反了程序,可以申訴,維持程序正義。但如果對評價意見有異議,只能保留。
這和期刊評審采取交互的方式,審稿人、編輯、投稿人有時候可以進行爭辯而有所不同。
這是因為,在評價過程中,國家自然科學基金委認為它已經找了一組最權威、最合適的專家,如果你對意見不滿意,想要推翻這些專家的意見,就需要找更加權威的專家。
2. 項目評審的時間,尤其是會評的時間往往比較固定,在評審之前不公開專家信息。
在評審之前公布專家信息行不行呢?我們以前試過,在某一年,依照當時一份文件,公開了專家信息。結果很多專家的手機都被打爆了,電話、短信幾百個。
這些申請人們并不直接找相應的評審專家,而是去找一個評審專家最難說不的人當說客,這就帶來很多問題。
一直以來,我們讓評審專家互相打分,來判斷組里別的評審專家是否公正,公正程度分為A、B、C,在信息公布的那一年,這個分數一下子下降很多。
因此,從下一年起,我們就不再提前公開評審人的信息,而是在評審之后公布。同時把統計數據、情況說明等報給了相應的管理部門。
3. 項目評審往往會框定一個項目的總數量,如30項或50項,有時則是定出資助金額總量,如1000萬等。
一般采取定額補助的財務管理模式,對比所有參評的項目,從中擇優選取。
可能你的分數很高,評價也不錯,但如果同組里的其他申請人分數更高,你就會被淘汰。
這是一種學術共識性的評價,即綜合幾個評審人的意見,最終給出結論。這對具有顛覆性的、從0到1的創新是不利的。
既然是顛覆性的,還能形成共識嗎?現在大家也在探索,對這種項目該以什么方式去評審。
4. 在評審項目時,除了要看項目本身的重要性外,還要看它有沒有可能做成、價值怎么樣,要檢查可行性。
這與期刊評審不同,論文是經過可以形成完備論證鏈的理論、實驗、計算工作所取得的成果。
但研究項目在提出時并不一定能保證成功,是某人提議去做這么個項目,即使最后做不成,也不完全是申請人的責任。畢竟科學探索不一定都是成功的,如果要追求一定成功,那可能就不會有大的創造。
而評獎更加滯后一些,所以更注重應用價值、突破和進步的程度、別人對其評價和引用、相應問題知識產權的占有情況。
比如科技進步獎,就要看經濟效益和社會效益。曾經有諾貝爾獎評獎委員會的評委告訴我,諾貝爾獎最注重兩點:是否是“開門之作”,有沒有持續的影響力。
Q2:期刊為了提高透明度和可信度,會公布審稿人的意見,科研項目在評審之后會公布評審人信息,同時給單向的評審意見。您認為除了目前這些措施外,還可以從哪些方面提高整個評審程序的透明度?
透明度目前還是一個有一定爭議的議題,得特別謹慎地加以處理。
評審人和申請人的角色經常互換,并不是固定的。評審的意見一般要求非常具體,要讓在申請人拿到意見之后,無論贊同與否都有收獲。
這個意見要隱去所有能揭示自己身份的信息,對國家自然科學基金來講,在函評時,誰審得誰,是基金委的核心機密,任何一個工作人員如果透露出這個信息,就不再適宜在基金委工作。
我曾擔任國家自然科學基金委主任,也不知道是誰審了誰,系統里這塊內容對我是封閉的。
只有具體操作的人才知道,他們的操作,也必然留下痕跡。所以一旦泄露,很容易追蹤到這個人。這才能保證大家對國家自然科學基金的信任感,不至于出現專家之間的猜疑和人身報復。這一體系在絕大多數情況下也是被認可的。
畢竟目前來看,中國還是比較講人情的,如果你要把審稿人公布給申請人,還要求提出尖銳的意見,大部分人就拒絕審稿了。即使不拒絕,其意見也會含混不清、模棱兩可。
期刊也是這樣,大多數期刊也不會把審稿人告訴給作者。以我所在的期刊來說,如果審稿人的名字被泄露給作者,就算是一個事故。
Q3:匿名評審是為了保護同行評議的信任感,但評審委員會內部如何決定誰審誰?怎么避免人為的偏見呢?
我剛才講到,我們的基金評審是學術共識性的。一般的程序是,先把所有的申請按照關鍵詞進行分類,分成若干個包,每個包可能有十幾份申請,會發送給同一撥專家。
在評審專家看到申請人名字和申請課題后,他們依照原有的認知,對申請人形成一個排序,這是預判斷。
在對申請書進行比較、分析之后,他們可能會調整預判斷,形成個人最終的次序判斷。最后,對這一組的評審人意見進行匯總,形成最終的意見。
Q4:您對青年科研人員有哪些建議?在申請基金時有什么需要注意的?
自然科學基金委原來的規矩是,項目主管不許給別人講怎么能申請到基金。我不做主任有兩三年時間了,但現在我不能主動去詳細講述這件事。
在我當校長的時候,年年都給老師們講,怎么才能申請到基金。現在我只能給大家講,在我當國家自然科學基金委主任以前,給年輕老師的提議。
1.項目背景要能夠讓大同行明確理解。
有些年輕的申請人以為,自己寫的東西別人都應該知道,但其實很多時候別人并不知道,隔行如隔山。缺了解釋性的一兩句話,中間的邏輯就會斷裂。因此,要照顧到大同行的理解程度。
2. 研究內容、技術路線、創新點等要適度聚焦,但在難點上要一線貫通。
你的項目可能涉及很多個方面,但并不需要面面俱到,不然大家看的也很疲憊。而要把最難實現的路徑、別人認為最不可行的問題講清楚,包括技術細節等。
這樣評審人會覺得,最難的東西你都講清楚了,其他的問題也不大。
這和寫論文不一樣,寫論文要把所有的步驟、方法都講明白,但是項目要求內容聚焦,要論證其執行路徑的可行性。
3. 不能省略同行的工作。
有人在進行闡述時,忘了提自己同行的工作。但評審人很有可能就是你沒提到的某個同行,或者是他們的學生、同事等。別人做過的工作,絕不能只字不提,尤其是國內同行的相關工作,要寫清楚。
4. 寫自己的研究經歷及成果時,突出重點。
不需要一一羅列,寫幾十頁,只需要把自己最重要的和與研究問題最相關的工作寫清楚。
5. 思考如何才能令人眼前一亮。
剛才我講到,最初申請書是由人工智能系統檢索打包的,將相似主題的申請發送給給同一撥人。
這時你要想:在這十幾份申請書里,我的課題申請憑什么能打動評審人?一般的中標率是20%左右,15份申請里的前3名有可能中標。大家要思考如何才能成為前3名,令人眼前一亮。
不同的學科習慣不一樣,生命科學可能要求把故事講好,而工程類的呢,要保證寫得實實在在、精確到位。
上述意見僅供參考。
Q5:青年科研人員也逐漸參與到各項評審工作中,通過經驗積累來提升自己的評審能力,但目前市面上很少有專門的課程指導大家如何去做同行評議。在這方面,項目評審是否有同樣的挑戰?如何成為優秀的評審人?
國家自然科學基金委有一個專家庫,里面大概有十幾、二十萬個專家。在項目主管指定評審人的時候,根據項目主題和內容,可以看到相關專家在關聯度上的降序排序。
項目主管可以選擇系統篩選出專家,也可以根據自己的知識,指定其他更合適的專家,他的選擇也會被帶到機器學習中,相應做出調整。
這個系統的信息一般是從科研人員的網站搜過來的,因此建設個人網站很重要。如果網站信息顯示你曾經研究過某一類的問題,就有可能請你來評審。
你給的分數等級普遍比大家高或低都沒問題,但如果總是跟大家的平均結果缺乏相關性的話,你在系統中的優先級就會下降。比如多次出現這種情況,其他人一般給B,你給了D,其他人給C,你給了A。
再有,基金委給大家規定了評審時間,你最好及時審回提交,項目主任一般比較喜歡審的及時、意見具體準確的人。基金委很自豪的是其邀請審查基金的審回率在90%以上,比所有的期刊都要高,期刊的評審人有一半能審回就不錯了。
Q6:如何調動審稿人的積極性?有哪些激勵措施?
首先,跟期刊審稿一樣,評審一次基金項目,就能了解到某一個問題。而且項目書所覆蓋的面往往比論文更寬,審完后對大家做什么題目,同行中比較重要的團隊做些什么都有了解,這對學術生涯有正面作用。
第二,評審費在2年前就增漲了,而且漲幅很大。審一包項目書,肯定比你干一天活掙的工資要多。
同時,心理上來說,這也是為學界服務,是在做貢獻。
Q7:您提到,我們目前的評審制度是學術共識性的評審,對顛覆性的、創新性較強的項目有局限性,但目前中國正從科研大國到科研強國轉變,越來越強調科研原創性,如何改變這種局限性?
基金委最近出了一個對待“從0到1”研究項目的特殊評審辦法,更多地強調申請人和基金項目主管的交互。
申請人最開始寫的項目書可以很簡單,然后被拿去預審。只要其中有一處明顯的創新點,就可以讓申請人圍繞這一點,重新寫一個比較詳細的項目書。
這是一個迭代過程,希望能最終迭代出最能突出創新性的版本。在項目進行過程中,也會分階段進行評估,根據評估結果決定資助金額。
-
焦點事件
-
焦點事件
-
焦點事件
-
政策法規
-
精英視角
-
精英視角
-
焦點事件
-
焦點事件
-
焦點事件
-
焦點事件