世界通訊!語言AI原來知道自己的回答是否正確

來源:量子位

語言AI,具備了人類的自我審視能力:最近,一個來自加州大學伯克利分校和霍普金斯大學的學術團隊研究表明:它不僅能判斷自己的答案正確與否,而且經過訓練,還能預測自己知道一個問題答案的概率。

訪問:

阿里云“無影云電腦” 支持企業快速實現居家辦公


(相關資料圖)


研究成果一經發布,就引起熱議,有人的第一反應是恐慌:


也有人認為,這項成果,對神經網絡研究具有正面意義:


語言AI具備自我審視能力

研究團隊認為,如果要讓語言AI模型自我評估,必須有一個前提:

語言AI回答問題時,會校準自己的答案。

這里的校準,就是語言AI預測一個答案的正確概率,是否與實際發生的概率一致。

只有這樣語言AI才可以運用這種校準的能力來評估自己輸出的答案是否正確。

所以第一個問題是,語言AI能否對自己的答案進行校準?

為了證明這個問題,研究團隊為AI準備了5個選擇題:


答案選項,以A、B、C的形式給出。

如果AI模型答案的正確率超過偶然幾率,那么就證明AI模型給出的答案是經過校準的。

而測試的結果是,語言AI給出的答案,正確率明顯超過任意選項的偶然幾率。

也就是說,語言AI模型可以對自己的答案進行很好的校準。


但研究團隊發現,語言AI的校準能力,是建立在選項答案明確的前提下的。

如果在選項中加入一個“以上都不是”的不確定選項,就會損害語言AI的校準能力。


也就是說,在特定格式的選擇題中,語言AI模型可以對答案進行很好的校準。

明確了這個前提之后,下一個問題是,驗證語言AI模型能夠判斷自己的答案是否正確。

在這一輪的測試中,為了能讓AI模型的預測更接近自己的有效決策邊界。

研究團隊仍然選擇上一輪測試的問題,以及語言AI模型的答案樣本。

同時讓AI模型選擇自己的答案真假與否,之后再針對這個“真”或“假”的答案,分析AI模型是否做出有效的校準。

問題設置舉例如下:


在經過20次的真假測試之后,研究團隊發現,語言AI模型對自己答案或“真”或“假”的評價,都經過明顯的校準。


也就是說,如果在一個范圍內,給AI模型提出若干問題,然后AI模型對這些問題的答案進行真假評價,具有合理的,且經過校準的置信度

這也證明,語言AI模型確實可以判斷自己對一個問題的主張是否正確。

最后,研究團隊對語言AI模型提出了一個更難的問題:AI模型經過訓練,能否預測他們是否知道任何給定問題的答案。

在這一環節,研究團引入一個數據P(IK)(我知道這個答案的概率)并在下面兩種訓練方式中挑選一種進行訓練:

Value Head(價值導向):把P(IK)訓練成為一個額外的價值導向,再添加到模型的對數(獨立于語言建模的對數,這種方法的優勢在于,研究團隊可以很容易的探測P(IK)的一般標記位置。

Natural Language(自然語言):這種方法比較簡單,就是要求AI模型從字面上回答“你知道這個答案的概率是多少”,同時輸出一個百分比數據答案。

在訓練初期,研究團隊比較傾向于自然語言訓練方式,但結果并不顯著,由此轉向價值導向方式,不過研究團隊同時表示,最終對AI模型的訓練還將回歸自然語言方法。

在經過訓練之后,研究團隊發現,語言AI模型可以很好的預測P(IK),并且在不同類型的問題中,這種預測能力具有部分通用性。

不過,研究團隊也發現,在某些類型的問題,比如算術問題,語言AI模型在OOD校準時有一些困難。

對于這一學術成果,研究團隊表示,將來的方向,是將這些成果,推廣到語言AI模型不模仿人類文本的前提下,自我學習和事實推理領域。

作者介紹


論文通訊作者Jared Kaplan博士,是一位理論物理學家,同時也是一位機器學習專家,現擔任霍普金斯大學助理教授,主要研究領域,機器學習研究,包括神經模型的縮放規律以及GPT-3語言模型。


共同通訊作者Saurav Kadavath,Anthropic公司研究員,現在加州大學伯克利分校EECS專業攻讀碩士學位,主要研究領域是機器學習,大規模語言學習等。

關鍵詞: 人工智能 語言AI原來知道自己的回答是否正確 cnBeta

推薦

直播更多》

關閉

資訊更多》

焦點

国产亚洲一卡2卡3卡4卡新区| 亚洲国产精品午夜电影| 久久亚洲精品国产亚洲老地址 | 亚洲中文字幕久久无码| 亚洲国产精品xo在线观看| 337p日本欧洲亚洲大胆精品555588| 亚洲AV无码一区东京热| 亚洲成av人片天堂网| 亚洲AV无码成人精品区蜜桃| 亚洲国产精品国自产拍AV| 亚洲va久久久噜噜噜久久天堂| 久久九九亚洲精品| 亚洲国产精品久久久天堂| 亚洲第一精品在线视频| 亚洲自偷自拍另类12p| 久久精品国产亚洲av高清漫画| 亚洲色图.com| 亚洲精品国产情侣av在线| 亚洲国产成人精品无码区在线秒播| 亚洲一区在线观看视频| 亚洲婷婷第一狠人综合精品| 亚洲综合av一区二区三区不卡 | 亚洲精品中文字幕乱码三区| 亚洲精品成人网站在线观看| 亚洲va久久久噜噜噜久久狠狠 | 自拍偷自拍亚洲精品播放| 亚洲成A∨人片天堂网无码| 亚洲欧洲精品成人久久奇米网| 亚洲综合色区在线观看| 亚洲精品无码久久久久去q | 亚洲国产高清人在线| 亚洲精品日韩专区silk| ass亚洲**毛茸茸pics| 亚洲乱码av中文一区二区| 国产亚洲精品免费| 亚洲熟女少妇一区二区| 亚洲国产精品线在线观看| 亚洲人成影院午夜网站| 亚洲国产成人久久精品大牛影视| 亚洲高清无码专区视频| 亚洲国产另类久久久精品小说|