人工智能是善還是召喚惡魔？如今，對人工智能砸以重金的谷歌正試著走出一條中間道路。谷歌大腦、斯坦福、伯克利以及OpenAI研究人員合做并發(fā)布了一篇新論文，首次描述了研究人員必須予以研究的五個(gè)問題，讓未來的智能軟件更加安全。如果說之前大部分研究都是假設(shè)和推斷性的，那么，這篇論文表明對人工智能安全性的爭論可以更加具體化，也更富建設(shè)性。

　　今天，谷歌大腦、斯坦福、伯克利以及 OpenAI研究人員合作的新論文與大家見面了。文章首次探討了為了讓未來智能軟件更安全，研究人員必須研究的五個(gè)問題。論文作者之一，谷歌研究人員ChrisOlah說，之前大部分研究都是假設(shè)和推斷性的，但是，我們相信，將注意力錨定在真實(shí)的機(jī)器學(xué)習(xí)研究中，對于研發(fā)切實(shí)可行的方案來打造安全可靠的人工智能系統(tǒng)來說，必不可少。

　　之前谷歌已經(jīng)承諾會確保人工智能軟件不會造成意外后果。谷歌的第一篇相關(guān)論文，出自 Deep Mind。Demis Hassabis也召集了一個(gè)道德委員會來考慮人工智能可能的不利一面，不過沒有公布委員會名單。

　　艾倫人工智能研究所的 Oren Etzioni對谷歌新論文所列舉的解決方法表示歡迎。之前，他曾批評過人工智能危險(xiǎn)論的討論過于抽象。他說，谷歌列舉出的各種情況足夠具體，可以進(jìn)行真實(shí)的研究，即使我們?nèi)匀徊磺宄@些實(shí)驗(yàn)是否切實(shí)有用。「這是正確的人問了正確的問題，至于正確的答案，由時(shí)間來揭曉。」

　　以下是這篇論文主要內(nèi)容：

　　摘要

　　機(jī)器學(xué)習(xí)和人工智能（AI）領(lǐng)域的快速進(jìn)步已經(jīng)引起了社會對人工智能潛在影響的廣泛關(guān)注。在這篇論文中，我們討論了這樣一種潛在的影響：機(jī)器學(xué)習(xí)系統(tǒng)出現(xiàn)事故的問題，具體定義為因真實(shí)世界人工智能系統(tǒng)的糟糕設(shè)計(jì)而導(dǎo)致的無意的傷害性行為。我們提出了與事故風(fēng)險(xiǎn)相關(guān)的五個(gè)實(shí)用的研究問題列表，它們的分類根據(jù)問題是否有錯(cuò)誤的目標(biāo)函數(shù)（「避免副作用」和「避免獎勵(lì)黑客行為」）、經(jīng)常評估目標(biāo)函數(shù)的成本實(shí)在太高了（「可擴(kuò)展的監(jiān)督」、或在學(xué)習(xí)過程中的不良行為（「安全探索」和「分布變化」）。我們還回顧了這些領(lǐng)域之前的工作，并建議了側(cè)重于與前沿人工智能系統(tǒng)相關(guān)的研究方向。最后，我們考慮了這樣一個(gè)高層次問題：如何最高效地思考人工智能未來應(yīng)用的安全。

　　1.導(dǎo)語

　　過去幾年，人工智能飛速發(fā)展，并已經(jīng)在游戲、醫(yī)學(xué)、經(jīng)濟(jì)、科學(xué)和交通等許多領(lǐng)域取得了長足的發(fā)展，但隨之而來也出現(xiàn)了安全、隱私、公平、經(jīng)濟(jì)和軍事應(yīng)用上的擔(dān)憂。

　　本論文作者相信，人工智能技術(shù)很有可能將會給人類帶來整體的顛覆性好處，但我們也相信，嚴(yán)肅對待其可能帶來的風(fēng)險(xiǎn)和挑戰(zhàn)是非常值得的。我們強(qiáng)烈支持在隱私、安全、經(jīng)濟(jì)和政治方面的研究，但本論文關(guān)注的是另一種我們相信與人工智能的社會影響有關(guān)的問題：機(jī)器學(xué)習(xí)系統(tǒng)的事故問題。這里的事故定義為：當(dāng)我們指定了錯(cuò)誤的目標(biāo)函數(shù)時(shí)，機(jī)器學(xué)習(xí)系統(tǒng)可能無意產(chǎn)生的有害行為。這里沒有考慮學(xué)習(xí)過程或其它機(jī)器學(xué)習(xí)相關(guān)的實(shí)現(xiàn)錯(cuò)誤。

　　隨著人工智能能力的進(jìn)步和人工智能系統(tǒng)在社會功能上重要性的不斷增長，我們預(yù)計(jì)本論文所討論的難題和挑戰(zhàn)將變得越來越重要。人工智能和機(jī)器學(xué)習(xí)界在預(yù)測和理解這些挑戰(zhàn)上做得越成功，在開發(fā)越來越有用、重要的人工智能系統(tǒng)方面，我們就能做得越成功。

　　2.研究問題概述

　　從廣義上講，可將「事故」描述成：人類設(shè)計(jì)者心里想的特定目標(biāo)或任務(wù)在系統(tǒng)實(shí)際的設(shè)計(jì)或?qū)嵤┲惺。⒆罱K導(dǎo)致了某種有害結(jié)果的情況。我們可以將人工智能系統(tǒng)的安全問題根據(jù)其出錯(cuò)的位置進(jìn)行分類。

　　第一，當(dāng)設(shè)計(jì)者定義了錯(cuò)誤的目標(biāo)函數(shù)時(shí)，例如最大化了導(dǎo)致有害結(jié)果的目標(biāo)函數(shù)，我們有「不良副作用（第3節(jié)）」和「獎勵(lì)黑客行為（第4節(jié)）」的問題。「不良副作用」通常是因?yàn)樵O(shè)計(jì)者在某個(gè)環(huán)境中設(shè)計(jì)實(shí)現(xiàn)某個(gè)特定目標(biāo)時(shí)忽略（通常忽略了很多）了環(huán)境中其它因素。「獎勵(lì)黑客行為」則是由于設(shè)計(jì)者為了最大化系統(tǒng)的使用而寫下了「簡單的」目標(biāo)函數(shù)，但系統(tǒng)卻濫用了設(shè)計(jì)者的意圖（即：目標(biāo)函數(shù)可能會被耍花招）。