終結者系列里的科學家莫名其妙地相信AI,最終招致人類毀滅的結局。幸好現(xiàn)實中的科學家更加謹慎,如果我們真的打算構建天網(wǎng)系統(tǒng),讓AI主導人類的未來的話,我們已經(jīng)開發(fā)出了前置技術,可以探知AI神經(jīng)網(wǎng)絡里對人類有敵意的信號。
深度學習神經(jīng)網(wǎng)絡旨在通過權衡多種因素來模仿人的大腦,結果變成了某種黑箱子,人類已經(jīng)無法分析內(nèi)部的數(shù)據(jù)處理模式,只能通過輸入和輸出獲取結果。
盡管距離天網(wǎng)還有一段距離,但人工智能已經(jīng)開始主導某些領域里的決策,如自動駕駛和醫(yī)療診斷。我們當然需要保證AI的神經(jīng)網(wǎng)絡系統(tǒng)的可靠性與可預測性。
麻省理工學院計算機科學與人工智能實驗室(CSAIL)的計算機科學家Alexander Amini說:“我們不僅需要高性能模型的能力,而且還需要了解它們什么時候不再可信。”
這種評估置信度的手段被稱為“深度證據(jù)回歸”,基于輸入的數(shù)據(jù)質(zhì)量來為AI打分——訓練所用數(shù)據(jù)更準確和全面,AI就應該反饋給我們更加精確的預測。
盡管以前在神經(jīng)網(wǎng)絡中已內(nèi)置了類似的防護措施,但新工具在速度上非常優(yōu)異,沒有過多的計算需求——它僅運行一次,而非多次運行,且在輸出結果的時候,會給出置信度。
計算機科學家Daniela Rus說:“這個想法很重要,并且廣泛適用。它可以用來評估依賴于機器學習模型的產(chǎn)品。通過估計學習模型的不確定性,我們還可以了解模型會帶來多少誤差,以及哪些缺失數(shù)據(jù)可以改善模型?!?/p>
即使神經(jīng)網(wǎng)絡在99%的時間里保持正確,但是在實際生活中,損失的1%也會產(chǎn)生嚴重的后果。研究人員說,盡管這項工作尚未經(jīng)過同行評審,但他們相信新的簡化信任測試可以幫助提高實時安全性。
“我們看到更多的[神經(jīng)網(wǎng)絡]模型從研究實驗室流入現(xiàn)實世界,正在觸及人類的生活,從而可能危及到我們的生命。該方法的任何使用者,無論是醫(yī)生還是坐在汽車乘客座位上的人,都需要意識到與AI決策相關的任何風險或不確定性。”
完整研究將在12月的NeurIPS會議上發(fā)布,并提供在線論文下載。
https://www.sciencealert.com/neural-networks-are-now-smart-enough-to-know-when-they-shouldn-t-be-trusted