世界通訊!語言AI原來知道自己的回答是否正確

來源:量子位

語言AI,具備了人類的自我審視能力:最近,一個來自加州大學伯克利分校和霍普金斯大學的學術團隊研究表明:它不僅能判斷自己的答案正確與否,而且經過訓練,還能預測自己知道一個問題答案的概率。

訪問:

阿里云“無影云電腦” 支持企業快速實現居家辦公


(相關資料圖)


研究成果一經發布,就引起熱議,有人的第一反應是恐慌:


也有人認為,這項成果,對神經網絡研究具有正面意義:


語言AI具備自我審視能力

研究團隊認為,如果要讓語言AI模型自我評估,必須有一個前提:

語言AI回答問題時,會校準自己的答案。

這里的校準,就是語言AI預測一個答案的正確概率,是否與實際發生的概率一致。

只有這樣語言AI才可以運用這種校準的能力來評估自己輸出的答案是否正確。

所以第一個問題是,語言AI能否對自己的答案進行校準?

為了證明這個問題,研究團隊為AI準備了5個選擇題:


答案選項,以A、B、C的形式給出。

如果AI模型答案的正確率超過偶然幾率,那么就證明AI模型給出的答案是經過校準的。

而測試的結果是,語言AI給出的答案,正確率明顯超過任意選項的偶然幾率。

也就是說,語言AI模型可以對自己的答案進行很好的校準。


但研究團隊發現,語言AI的校準能力,是建立在選項答案明確的前提下的。

如果在選項中加入一個“以上都不是”的不確定選項,就會損害語言AI的校準能力。


也就是說,在特定格式的選擇題中,語言AI模型可以對答案進行很好的校準。

明確了這個前提之后,下一個問題是,驗證語言AI模型能夠判斷自己的答案是否正確。

在這一輪的測試中,為了能讓AI模型的預測更接近自己的有效決策邊界。

研究團隊仍然選擇上一輪測試的問題,以及語言AI模型的答案樣本。

同時讓AI模型選擇自己的答案真假與否,之后再針對這個“真”或“假”的答案,分析AI模型是否做出有效的校準。

問題設置舉例如下:


在經過20次的真假測試之后,研究團隊發現,語言AI模型對自己答案或“真”或“假”的評價,都經過明顯的校準。


也就是說,如果在一個范圍內,給AI模型提出若干問題,然后AI模型對這些問題的答案進行真假評價,具有合理的,且經過校準的置信度

這也證明,語言AI模型確實可以判斷自己對一個問題的主張是否正確。

最后,研究團隊對語言AI模型提出了一個更難的問題:AI模型經過訓練,能否預測他們是否知道任何給定問題的答案。

在這一環節,研究團引入一個數據P(IK)(我知道這個答案的概率)并在下面兩種訓練方式中挑選一種進行訓練:

Value Head(價值導向):把P(IK)訓練成為一個額外的價值導向,再添加到模型的對數(獨立于語言建模的對數,這種方法的優勢在于,研究團隊可以很容易的探測P(IK)的一般標記位置。

Natural Language(自然語言):這種方法比較簡單,就是要求AI模型從字面上回答“你知道這個答案的概率是多少”,同時輸出一個百分比數據答案。

在訓練初期,研究團隊比較傾向于自然語言訓練方式,但結果并不顯著,由此轉向價值導向方式,不過研究團隊同時表示,最終對AI模型的訓練還將回歸自然語言方法。

在經過訓練之后,研究團隊發現,語言AI模型可以很好的預測P(IK),并且在不同類型的問題中,這種預測能力具有部分通用性。

不過,研究團隊也發現,在某些類型的問題,比如算術問題,語言AI模型在OOD校準時有一些困難。

對于這一學術成果,研究團隊表示,將來的方向,是將這些成果,推廣到語言AI模型不模仿人類文本的前提下,自我學習和事實推理領域。

作者介紹


論文通訊作者Jared Kaplan博士,是一位理論物理學家,同時也是一位機器學習專家,現擔任霍普金斯大學助理教授,主要研究領域,機器學習研究,包括神經模型的縮放規律以及GPT-3語言模型。


共同通訊作者Saurav Kadavath,Anthropic公司研究員,現在加州大學伯克利分校EECS專業攻讀碩士學位,主要研究領域是機器學習,大規模語言學習等。

關鍵詞: 人工智能 語言AI原來知道自己的回答是否正確 cnBeta

推薦

直播更多》

關閉

資訊更多》

焦點

久久乐国产精品亚洲综合| 亚洲三级高清免费| 成人区精品一区二区不卡亚洲| 亚洲欧洲校园自拍都市| 亚洲伦理一区二区| 亚洲欧洲日韩不卡| 久久精品a亚洲国产v高清不卡 | 亚洲人成色777777老人头| 亚洲情A成黄在线观看动漫软件| jlzzjlzz亚洲jzjzjz| 亚洲成a人片在线看| 亚洲熟妇成人精品一区| 亚洲精品国产综合久久久久紧| 亚洲欧美自偷自拍另类视| 亚洲AV日韩综合一区| 亚洲AV无码之国产精品| 日本亚洲高清乱码中文在线观看| 日韩亚洲精品福利| 亚洲日本韩国在线| 亚洲欧洲精品无码AV| 亚洲韩国精品无码一区二区三区| 久久99国产亚洲精品观看| 亚洲情a成黄在线观看动漫尤物| 久久国产亚洲高清观看| 亚洲国产中文在线二区三区免| 亚洲男人的天堂久久精品| 亚洲综合激情五月色一区| 男人的天堂av亚洲一区2区| 亚洲第一区在线观看| 亚洲午夜无码久久久久| 亚洲AV成人精品网站在线播放| 亚洲美女精品视频| 日韩亚洲国产高清免费视频| 亚洲AⅤ男人的天堂在线观看| 亚洲精品99久久久久中文字幕 | 亚洲中文字幕视频国产| 国产亚洲成av片在线观看| 精品亚洲成a人片在线观看| 中中文字幕亚洲无线码| 亚洲男人的天堂网站| 亚洲片国产一区一级在线观看 |