終結者系列里的科學家莫名其妙地相信AI，最終招致人類毀滅的結局。幸好現(xiàn)實中的科學家更加謹慎，如果我們真的打算構建天網(wǎng)系統(tǒng)，讓AI主導人類的未來的話，我們已經(jīng)開發(fā)出了前置技術，可以探知AI神經(jīng)網(wǎng)絡里對人類有敵意的信號。

深度學習神經(jīng)網(wǎng)絡旨在通過權衡多種因素來模仿人的大腦，結果變成了某種黑箱子，人類已經(jīng)無法分析內(nèi)部的數(shù)據(jù)處理模式，只能通過輸入和輸出獲取結果。

盡管距離天網(wǎng)還有一段距離，但人工智能已經(jīng)開始主導某些領域里的決策，如自動駕駛和醫(yī)療診斷。我們當然需要保證AI的神經(jīng)網(wǎng)絡系統(tǒng)的可靠性與可預測性。

麻省理工學院計算機科學與人工智能實驗室(CSAIL)的計算機科學家Alexander Amini說：“我們不僅需要高性能模型的能力，而且還需要了解它們什么時候不再可信。”

這種評估置信度的手段被稱為“深度證據(jù)回歸”，基于輸入的數(shù)據(jù)質(zhì)量來為AI打分——訓練所用數(shù)據(jù)更準確和全面，AI就應該反饋給我們更加精確的預測。

盡管以前在神經(jīng)網(wǎng)絡中已內(nèi)置了類似的防護措施，但新工具在速度上非常優(yōu)異，沒有過多的計算需求——它僅運行一次，而非多次運行，且在輸出結果的時候，會給出置信度。

計算機科學家Daniela Rus說：“這個想法很重要，并且廣泛適用。它可以用來評估依賴于機器學習模型的產(chǎn)品。通過估計學習模型的不確定性，我們還可以了解模型會帶來多少誤差，以及哪些缺失數(shù)據(jù)可以改善模型?！?/p>

即使神經(jīng)網(wǎng)絡在99％的時間里保持正確，但是在實際生活中，損失的1％也會產(chǎn)生嚴重的后果。研究人員說，盡管這項工作尚未經(jīng)過同行評審，但他們相信新的簡化信任測試可以幫助提高實時安全性。

“我們看到更多的[神經(jīng)網(wǎng)絡]模型從研究實驗室流入現(xiàn)實世界，正在觸及人類的生活，從而可能危及到我們的生命。該方法的任何使用者，無論是醫(yī)生還是坐在汽車乘客座位上的人，都需要意識到與AI決策相關的任何風險或不確定性。”

完整研究將在12月的NeurIPS會議上發(fā)布，并提供在線論文下載。

https://www.sciencealert.com/neural-networks-are-now-smart-enough-to-know-when-they-shouldn-t-be-trusted