人工智能是善還是召喚惡魔？如今，對人工智能砸以重金的谷歌正試著走出一條中間道路。谷歌大腦、斯坦福、伯克利以及OpenAI研究人員合做并發(fā)布了一篇新論文，首次描述了研究人員必須予以研究的五個問題，讓未來的智能軟件更加安全。如果說之前大部分研究都是假設和推斷性的，那么，這篇論文表明對人工智能安全性的爭論可以更加具體化，也更富建設性。
今天，谷歌大腦、斯坦福、伯克利以及 OpenAI研究人員合作的新論文與大家見面了。文章首次探討了為了讓未來智能軟件更安全，研究人員必須研究的五個問題。論文作者之一，谷歌研究人員ChrisOlah說，之前大部分研究都是假設和推斷性的，但是，我們相信，將注意力錨定在真實的機器學習研究中，對于研發(fā)切實可行的方案來打造安全可靠的人工智能系統(tǒng)來說，必不可少。
之前谷歌已經(jīng)承諾會確保人工智能軟件不會造成意外后果。谷歌的第一篇相關論文，出自 Deep Mind。Demis Hassabis也召集了一個道德委員會來考慮人工智能可能的不利一面，不過沒有公布委員會名單。
艾倫人工智能研究所的 Oren Etzioni對谷歌新論文所列舉的解決方法表示歡迎。之前，他曾批評過人工智能危險論的討論過于抽象。他說，谷歌列舉出的各種情況足夠具體，可以進行真實的研究，即使我們?nèi)匀徊磺宄@些實驗是否切實有用。「這是正確的人問了正確的問題，至于正確的答案，由時間來揭曉。」
以下是這篇論文主要內(nèi)容：
摘要
機器學習和人工智能（AI）領域的快速進步已經(jīng)引起了社會對人工智能潛在影響的廣泛關注。在這篇論文中，我們討論了這樣一種潛在的影響：機器學習系統(tǒng)出現(xiàn)事故的問題，具體定義為因真實世界人工智能系統(tǒng)的糟糕設計而導致的無意的傷害性行為。我們提出了與事故風險相關的五個實用的研究問題列表，它們的分類根據(jù)問題是否有錯誤的目標函數(shù)（「避免副作用」和「避免獎勵黑客行為」）、經(jīng)常評估目標函數(shù)的成本實在太高了（「可擴展的監(jiān)督」、或在學習過程中的不良行為（「安全探索」和「分布變化」）。我們還回顧了這些領域之前的工作，并建議了側(cè)重于與前沿人工智能系統(tǒng)相關的研究方向。最后，我們考慮了這樣一個高層次問題：如何最高效地思考人工智能未來應用的安全。
1.導語
過去幾年，人工智能飛速發(fā)展，并已經(jīng)在游戲、醫(yī)學、經(jīng)濟、科學和交通等許多領域取得了長足的發(fā)展，但隨之而來也出現(xiàn)了安全、隱私、公平、經(jīng)濟和軍事應用上的擔憂。
本論文作者相信，人工智能技術很有可能將會給人類帶來整體的顛覆性好處，但我們也相信，嚴肅對待其可能帶來的風險和挑戰(zhàn)是非常值得的。我們強烈支持在隱私、安全、經(jīng)濟和政治方面的研究，但本論文關注的是另一種我們相信與人工智能的社會影響有關的問題：機器學習系統(tǒng)的事故問題。這里的事故定義為：當我們指定了錯誤的目標函數(shù)時，機器學習系統(tǒng)可能無意產(chǎn)生的有害行為。這里沒有考慮學習過程或其它機器學習相關的實現(xiàn)錯誤。
隨著人工智能能力的進步和人工智能系統(tǒng)在社會功能上重要性的不斷增長，我們預計本論文所討論的難題和挑戰(zhàn)將變得越來越重要。人工智能和機器學習界在預測和理解這些挑戰(zhàn)上做得越成功，在開發(fā)越來越有用、重要的人工智能系統(tǒng)方面，我們就能做得越成功。
2.研究問題概述
從廣義上講，可將「事故」描述成：人類設計者心里想的特定目標或任務在系統(tǒng)實際的設計或?qū)嵤┲惺。⒆罱K導致了某種有害結果的情況。我們可以將人工智能系統(tǒng)的安全問題根據(jù)其出錯的位置進行分類。
第一，當設計者定義了錯誤的目標函數(shù)時，例如最大化了導致有害結果的目標函數(shù)，我們有「不良副作用（第3節(jié)）」和「獎勵黑客行為（第4節(jié)）」的問題。「不良副作用」通常是因為設計者在某個環(huán)境中設計實現(xiàn)某個特定目標時忽略（通常忽略了很多）了環(huán)境中其它因素。「獎勵黑客行為」則是由于設計者為了最大化系統(tǒng)的使用而寫下了「簡單的」目標函數(shù)，但系統(tǒng)卻濫用了設計者的意圖（即：目標函數(shù)可能會被耍花招）。
