文/趙斌

近日，在莫斯科舉行的國際象棋公開賽上，國際象棋機(jī)器人Chessrobot折斷了一位7歲男孩的手指。

據(jù)當(dāng)?shù)孛襟w報(bào)道，在比賽中，機(jī)器人“吃掉”該參賽男孩的一枚棋子，并把自己的棋子放在空位上，但小男孩未等機(jī)器人完成動(dòng)作便急忙回?fù)簟ｋS后，機(jī)器人捏住男孩手指。工作人員急忙幫助小男孩將手指從機(jī)器人的“虎鉗”中掙脫出來，并送往醫(yī)院，但小男孩的手指骨折了。

人工智能會(huì)突然“變臉”攻擊人類嗎？電影《終結(jié)者》和《我機(jī)器人》里機(jī)器人大戰(zhàn)人類的橋段是否會(huì)成真？

西北工業(yè)大學(xué)從事機(jī)器人科研工作的副教授馮華山在接受中新社國是直通車采訪時(shí)認(rèn)為，沒有必要恐慌，問題可能出在識(shí)別上，但對(duì)人工智能的應(yīng)用風(fēng)險(xiǎn)仍需時(shí)刻保持高度警惕。

下棋機(jī)器人“懲罰”違規(guī)棋手？

從公開視頻上可以看到機(jī)器人夾住小朋友的手，但由于圖像模糊看不到機(jī)器人是否有“用力捏”的動(dòng)作。這到底是機(jī)器人故意為之？還是屬于程序漏洞或者故障？

馮華山表示，沒有見到詳細(xì)應(yīng)用程序前無法判斷其具體原因。不過，首先可以排除人為設(shè)計(jì)機(jī)器人“懲戒”程序，因?yàn)闄C(jī)器人不能傷害人類是國際上機(jī)器人三原則的重要原則之一。比較大的可能性是識(shí)別錯(cuò)誤，大可不必因此對(duì)人工智能產(chǎn)生恐慌。

馮華山介紹，機(jī)器人識(shí)別系統(tǒng)在手指誤入棋盤空間后，可能把人手指的某些部位錯(cuò)誤識(shí)別成了棋子。

機(jī)器人下棋首先是通過攝像頭等裝置進(jìn)行圖像采集并識(shí)別。一般下棋機(jī)器人的識(shí)別系統(tǒng)比較簡單，主要是對(duì)棋子和棋盤顏色、形狀、紋理和位姿等進(jìn)行采集和識(shí)別。位姿指的是棋子在棋盤空間的“XYZ”坐標(biāo)以及繞三個(gè)坐標(biāo)軸的旋轉(zhuǎn)角度。機(jī)器人由人工智能算法針對(duì)棋盤上博弈雙方的棋子布局和態(tài)勢做出判斷和決策，并產(chǎn)生下一步落子、吃子等動(dòng)作，通過指令隊(duì)列的方式，形成機(jī)器人的動(dòng)作軌跡，并交由機(jī)器人執(zhí)行。

由于機(jī)器人末端缺乏除視覺以外的其他感知方式，盡管棋子是硬的、手指是軟的，但程序沒能感知到抓住軟物的信息，所以可能有機(jī)械手用力捏手指的情形出現(xiàn)。下棋決策由人工智能算法、策略程序?qū)崿F(xiàn)，能夠讓機(jī)器人“自己學(xué)習(xí)”。在訓(xùn)練過程中，可以通過輸入棋譜或反復(fù)博弈，讓機(jī)器人學(xué)習(xí)博弈策略和經(jīng)驗(yàn)，有效的方法會(huì)被存儲(chǔ)，失敗的方法會(huì)被淘汰和刪除。通過這種反復(fù)訓(xùn)練、學(xué)習(xí)，記憶到機(jī)器人算法當(dāng)中。

馮華山說，有可能是模型存在邏輯漏洞或BUG使機(jī)器人在“自己學(xué)習(xí)”的迭代過程中產(chǎn)生偏離，形成棋譜規(guī)則以外的一些博弈邏輯，從而偏離了人對(duì)機(jī)器人的完全控制和常規(guī)理解。這些涉及到機(jī)器人倫理學(xué)，需要人們對(duì)機(jī)器人的學(xué)習(xí)演進(jìn)過程嚴(yán)格監(jiān)督和把控。

在這個(gè)案例中，機(jī)器人敵對(duì)人類的可能性很小。很有可能小孩子的手指位置剛好是機(jī)器人計(jì)算獲得下一步需要移動(dòng)的棋子位置，在機(jī)器人形成動(dòng)作軌跡指令后，小孩子恰巧將手指遮擋了這枚棋子。因?yàn)樵跈C(jī)器人形成動(dòng)作指令后，是不會(huì)再依據(jù)視覺做出判斷。也就是說，機(jī)器人“以為”夾持的是棋子，而實(shí)際是小孩子的手指。這只是一種巧合。

馬斯克和比爾蓋茨的警告

對(duì)于機(jī)器人及人工智能的恐慌，不僅來源于科幻電影。

特斯拉董事長、首席執(zhí)行官馬斯克說：“開發(fā)人工智能，相當(dāng)于在召喚惡魔。我認(rèn)為我們應(yīng)該非常小心謹(jǐn)慎，如果讓我猜測什么最有可能對(duì)我們的生存造成威脅，我會(huì)說可能是人工智能。我越來越傾向于人工智能應(yīng)該被監(jiān)管這個(gè)觀點(diǎn)，包括國家層面和國際層面上的，以確保我們沒有在干蠢事?！?/p>

比爾蓋茨也表示：“我是對(duì)超級(jí)智能的發(fā)展保持擔(dān)憂的人之一。目前，那些在我們的位置替代我們勞動(dòng)、并完成許多任務(wù)的機(jī)器并不是超級(jí)智能。如果我們能夠很好地進(jìn)行管理，像這樣的發(fā)展會(huì)變得越來越好。然而幾十年之后，智能會(huì)帶來新的問題。我十分同意馬斯克的觀點(diǎn)，但不明白為什么目前人們對(duì)這個(gè)問題并不擔(dān)心?！?/p>

馬斯克還出資1000萬美元給一個(gè)致力于人工智能領(lǐng)域安全性研究的基金。

據(jù)了解，目前國際上達(dá)成共識(shí)的機(jī)器人三原則是在1940年由被譽(yù)為“機(jī)器人學(xué)之父”的科幻作家阿西莫夫所提出的：

第一條，機(jī)器人不得傷害人類，或看到人類受到傷害而袖手旁觀。

第二條，機(jī)器人必須服從人類的命令，除非這條命令與第一條相矛盾。

第三條，機(jī)器人必須保護(hù)自己，除非這種保護(hù)與以上兩條相矛盾。

馮華山表示，如果違背“機(jī)器人三原則”，將人工智能應(yīng)用到戰(zhàn)爭中，將帶來恐怖的結(jié)果。更重要的是如果機(jī)器人在執(zhí)行自我學(xué)習(xí)的過程中失去或脫離人的監(jiān)控，按照程序自行排列、演進(jìn)，那么就有可能形成超越人類理解的內(nèi)部邏輯，從而出現(xiàn)缺乏約束、失控、反人類的可能性。所以，堅(jiān)守原則和國家的規(guī)定對(duì)人工智能使用的安全性而言至關(guān)重要。

人工智能倫理安全如何把控？

從全球范圍來看，美國政府較早關(guān)注到這一問題，2016年在白宮文件中呼吁開展研究，并在《美國國家人工智能研究與發(fā)展戰(zhàn)略規(guī)劃》中明確了提高公平、可解釋性，符合倫理道德的設(shè)計(jì)，確保系統(tǒng)安全可靠等要求。

2017年，霍金、馬斯克、DeepMind創(chuàng)始人戴密斯等全球數(shù)千名專家和企業(yè)代表，簽署有關(guān)倫理的阿西洛馬人工智能23條原則，呼吁業(yè)界遵守，共同保障人類未來的利益和安全。

中國人工智能學(xué)會(huì)基礎(chǔ)委員會(huì)常務(wù)委員陳志成在接受中新社國是直通車采訪時(shí)表示，我國對(duì)人工智能倫理的重視也上升到國家層面。

2019年2月，科技部部長王志剛宣布成立新一代人工智能治理專業(yè)委員會(huì)，并在第一屆治理專委會(huì)的第一次會(huì)議上討論起草相關(guān)的人工智能技術(shù)的標(biāo)準(zhǔn)和使用規(guī)范。2020年6月，國家新一代人工智能治理專業(yè)委員會(huì)發(fā)布了《新一代人工智能治理原則—發(fā)展負(fù)責(zé)任的人工智能》，提出了人工智能治理需遵循的8條原則：和諧友好、公平公正、包容共享、尊重隱私、安全可控、共擔(dān)責(zé)任、開放協(xié)作和敏捷治理。

在中國，很多企業(yè)也在積極參與探討，如百度提出人工智能倫理的4條原則，包括人工智能的最高原則是安全可控等。騰訊則提出“可用、可靠、可知、可控”的理念，倡導(dǎo)科技向善。

來自：國是直通車

編輯：陳昊星

責(zé)編：魏晞