我們生活在一個(gè)技術(shù)快速進(jìn)步的時(shí)代，昨天的純虛構(gòu)是今天被廣泛采用的消費(fèi)產(chǎn)品。這些技術(shù)創(chuàng)造了一個(gè)高度互聯(lián)的禮物。它們預(yù)示著一個(gè)更加互聯(lián)和自動(dòng)化的未來(lái)，在這個(gè)未來(lái)，那些問(wèn) Alexa 為什么天空是藍(lán)色的孩子長(zhǎng)大后將比我們今天更適應(yīng)人工智能。他們帶來(lái)了一系列比任何科幻故事都復(fù)雜得多的道德和倫理問(wèn)題。

眾所周知，要消除技術(shù)的影響是非常困難的。人工智能 (AI) 已經(jīng)在我們的設(shè)備、汽車和家庭中無(wú)處不在。我們積累能力，并認(rèn)為它們是理所當(dāng)然的，因?yàn)樗鼈儠?huì)帶來(lái)好處。但時(shí)不時(shí)地，停下來(lái)想想這些技術(shù)帶來(lái)的潛在危害是個(gè)好主意。要做到這一點(diǎn)，我們必須看看我們擁有什么，它在哪里以及它可以去哪里。

AI控制的武器將出現(xiàn)在未來(lái)的戰(zhàn)場(chǎng)上。盡管有抗議（稍后會(huì)詳細(xì)介紹），但這還是會(huì)發(fā)生的。制作一個(gè)便宜的、全自動(dòng)的系統(tǒng)，可以檢測(cè)、跟蹤和接觸致命火災(zāi)的人是微不足道的，并且可以在具有業(yè)余愛(ài)好者水平的家庭車庫(kù)中完成。這不是科幻小說(shuō)。這是事實(shí)。（需要更多證據(jù)嗎？只需觀看“絕命毒師”的最后一集。）

各種說(shuō)明、操作視頻，甚至現(xiàn)成的、訓(xùn)練有素的 AI 軟件都可以在線獲取，可以輕松適應(yīng)現(xiàn)有武器。業(yè)余愛(ài)好者用于彩彈槍和氣槍的自動(dòng)炮塔已經(jīng)證明能夠擊中超過(guò) 70% 的移動(dòng)目標(biāo)。

為了正確看待這種能力，陸軍步槍資格課程只要求一名士兵擊中 58% 的固定目標(biāo)，才有資格成為他們武器的神射手。擊中 75% 固定目標(biāo)的士兵將獲得神槍手資格。只需要一些基本的工程或足夠的修補(bǔ)，就可以用現(xiàn)成的軟件、變焦相機(jī)和一個(gè)裝有致命槍支的精細(xì)控制平移/傾斜機(jī)構(gòu)來(lái)建造一個(gè)重型炮塔。

用于決策的人工智能

在短期內(nèi)，人工智能將用于軍事應(yīng)用以幫助決策者。汽車行業(yè)已經(jīng)將 AI 集成到車輛中，以分析駕駛情況，并通過(guò)平視顯示器為駕駛員提供增強(qiáng)現(xiàn)實(shí)，以幫助避免事故。

此類系統(tǒng)通過(guò)判斷附近車輛的減速、分析道路標(biāo)記的背景或使用額外的傳感器來(lái)增強(qiáng)低能見(jiàn)度霧中的導(dǎo)航來(lái)工作。汽車制造商甚至集成了故障安全技術(shù)，如果駕駛員不采取行動(dòng)，可以制動(dòng)汽車以避免碰撞。軍方將部署這種相同類型的技術(shù)來(lái)幫助士兵進(jìn)行決策。

人工智能將用于分析戰(zhàn)場(chǎng)，并通過(guò)平視顯示器和武器控制系統(tǒng)向士兵提供增強(qiáng)現(xiàn)實(shí)信息。此類系統(tǒng)將用于識(shí)別和分類威脅、對(duì)目標(biāo)進(jìn)行優(yōu)先排序，并顯示友軍的位置及其周圍的安全距離。此類系統(tǒng)將從戰(zhàn)場(chǎng)上的多個(gè)傳感器獲取信息，根據(jù)當(dāng)今士兵甚至不知道的信息生成圖片。在短期內(nèi)，人類士兵仍將控制大部分軍事行動(dòng)，但人工智能將根據(jù)龐大的數(shù)據(jù)集提供易于理解的分析和建議，這些數(shù)據(jù)集太大而無(wú)人協(xié)助的人類無(wú)法理解。

人工智能無(wú)處不在

基于人工智能的系統(tǒng)已經(jīng)滲透到我們的日常生活中。世界上最大的公司名單由建立在或嚴(yán)重依賴人工智能的公司主導(dǎo)，如蘋果、谷歌、微軟、亞馬遜和 Facebook。亞馬遜最近發(fā)布了 Rekognition，這是一種任何人都可以添加到軟件應(yīng)用程序的圖像和視頻分析工具。事實(shí)上，警方已經(jīng)在使用面部識(shí)別軟件。

2018 年人工智能市場(chǎng)超過(guò) 210 億美元，預(yù)計(jì)到 2025 年將增長(zhǎng)近 9 倍。人工智能系統(tǒng)提供預(yù)測(cè)分析來(lái)解釋人類輸入，確定我們最有可能想要什么，然后為我們提供高度相關(guān)的信息。

人工智能不再是為少數(shù)幾架價(jià)值數(shù)百萬(wàn)美元的戰(zhàn)斗機(jī)保留的技術(shù)。硬件技術(shù)的進(jìn)步提供了更便宜、更小、更強(qiáng)大的處理器，這些處理器可以以經(jīng)濟(jì)實(shí)惠的方式集成到單個(gè)士兵設(shè)備中，并被成千上萬(wàn)的人部署。硬件的這些進(jìn)步使“物聯(lián)網(wǎng)”成為可能，也將成為戰(zhàn)場(chǎng)物聯(lián)網(wǎng)。

美國(guó)陸軍作戰(zhàn)能力發(fā)展指揮裝備中心 (CCDC) 正在開(kāi)發(fā)智能武器瞄準(zhǔn)具，可以為步槍手和機(jī)槍手提供目標(biāo)信息。士兵將有一個(gè)瞄準(zhǔn)顯示器，通過(guò)將視線中的人分類為威脅或非威脅以及指示“友軍”和任務(wù)目標(biāo)的相對(duì)位置來(lái)幫助識(shí)別目標(biāo)。

聯(lián)網(wǎng)能力將進(jìn)一步允許自動(dòng)協(xié)調(diào)，為單個(gè)士兵分配優(yōu)先目標(biāo)，以便盡可能有效地消除所有目標(biāo)，并且不會(huì)因?yàn)樽尪鄠€(gè)士兵與同一目標(biāo)交戰(zhàn)而浪費(fèi)時(shí)間。聯(lián)網(wǎng)智能武器還將允許后勤系統(tǒng)在戰(zhàn)斗開(kāi)始后立即自動(dòng)啟動(dòng)補(bǔ)給行動(dòng)，提供一直到前沿的即時(shí)后勤。補(bǔ)給和運(yùn)輸資產(chǎn)將能夠開(kāi)始將卡車的補(bǔ)給品重新分配到戰(zhàn)場(chǎng)上的需要點(diǎn)。在戰(zhàn)術(shù)層面，當(dāng)士兵的武器達(dá)到基本戰(zhàn)斗負(fù)荷的末端時(shí)，小型機(jī)器人將能夠?yàn)閱蝹€(gè)士兵帶來(lái)裝滿的彈匣。

解決道德問(wèn)題

以上所有這些都將在未來(lái) 10 到 20 年內(nèi)出現(xiàn)。該技術(shù)存在，只是時(shí)間、開(kāi)發(fā)工作和成本效益比的問(wèn)題。

未來(lái)可能會(huì)實(shí)現(xiàn)更多自動(dòng)化。隨著這項(xiàng)技術(shù)的不斷發(fā)展，國(guó)防部和整個(gè)社會(huì)將面臨復(fù)雜的問(wèn)題。例如，已經(jīng)有可能包含 AI 安全功能，可以防止武器向某些“錯(cuò)誤”目標(biāo)開(kāi)火——即不向 AI 系統(tǒng)未歸類為“敵人”的目標(biāo)開(kāi)火——以減少附帶損壞或防止敵人使用友方武器。然而，這提出了一個(gè)非常有趣的問(wèn)題：武器故障安全意味著什么？當(dāng)士兵扣動(dòng)扳機(jī)時(shí)，什么錯(cuò)誤率使武器可能不開(kāi)火是“安全的”？

一些人對(duì)增加武器系統(tǒng)的自主性表示擔(dān)憂。禁止殺手機(jī)器人運(yùn)動(dòng)和國(guó)際機(jī)器人武器控制委員會(huì)等組織呼吁全面禁止自主武器的研發(fā)，并將人工智能研究?jī)H限于民用。

這種禁止開(kāi)發(fā)自主致命武器的呼吁，無(wú)論多么善意，似乎都忽視了一個(gè)事實(shí)，即他們最想阻止的技術(shù)（不分青紅皂白地殺死人類的自主機(jī)器）已經(jīng)存在?？梢园l(fā)現(xiàn)并殺死人類的自主武器將出現(xiàn)在戰(zhàn)場(chǎng)上，即使不是由美國(guó)或其他主要國(guó)家引入，因?yàn)樗璧募夹g(shù)已經(jīng)可用。

我們沒(méi)有看到主要軍隊(duì)部署此類系統(tǒng)的原因是缺乏區(qū)分合法目標(biāo)和非法目標(biāo)的能力。該領(lǐng)域的研究和開(kāi)發(fā)尚處于起步階段，并與有關(guān)如何精確定義合法軍事目標(biāo)的必要政策決策交織在一起?，F(xiàn)在停止對(duì)自主武器的研究并不能阻止不分青紅皂白地殺人的“屠宰機(jī)器人”；它只會(huì)阻止負(fù)責(zé)任的政府發(fā)展能夠區(qū)分合法軍事目標(biāo)和非戰(zhàn)斗人員并保護(hù)無(wú)辜生命的系統(tǒng)。

人為錯(cuò)誤怎么辦？

我們必須考慮這樣一個(gè)事實(shí)，即人類在戰(zhàn)斗中使用致命武器時(shí)會(huì)犯錯(cuò)誤。2015 年 10 月，美國(guó)轟炸阿富汗昆都士的無(wú)國(guó)界醫(yī)生醫(yī)院以及伊拉克和阿富汗數(shù)十萬(wàn)平民傷亡證明了這一現(xiàn)實(shí)。

我們基本上仍然擁有已經(jīng)存在大約 20 萬(wàn)年的相同“1.0 版”人類，人類的能力發(fā)展相對(duì)平坦。我們?cè)谏镭P(guān)的情況下的決策錯(cuò)誤率可能是恒定的。另一方面，機(jī)器精度正在以指數(shù)速度提高。在未來(lái)的某個(gè)時(shí)候，機(jī)器做出戰(zhàn)斗殺傷決策的準(zhǔn)確性將超過(guò)人類的準(zhǔn)確性。當(dāng)這種情況發(fā)生時(shí)，它提出了一系列有趣的問(wèn)題：當(dāng)機(jī)器不太容易出錯(cuò)時(shí)，讓人類參與武器系統(tǒng)的循環(huán)是否合乎道德？應(yīng)該只允許人類殺死人類的想法是否勝過(guò)將平民死亡降至最低的愿望？我們是否愿意接受額外的，可避免的死亡是為了讓人類完全控制致命的決定？我們?nèi)祟愋枰腥素?zé)備、有人“負(fù)責(zé)”和確切的報(bào)復(fù)，比將痛苦最小化的理性利益平衡更重要嗎？

這種讓人類保持控制的愿望以及當(dāng)前對(duì)自主系統(tǒng)的不信任意味著中期（也許是未來(lái) 30 到 50 年）出現(xiàn)的下一個(gè)系統(tǒng)很可能會(huì)繼續(xù)是半自主的。底層技術(shù)將不斷改進(jìn)，使人類操作員對(duì)這些系統(tǒng)越來(lái)越信任。

隨著時(shí)間的推移，我們應(yīng)該期待自動(dòng)化部分變得更加強(qiáng)大，人機(jī)界面也會(huì)得到改進(jìn)。這將使人類操作員能夠增加對(duì)多個(gè)系統(tǒng)的控制，同時(shí)降低人類必須直接控制的細(xì)節(jié)水平。

控制殺傷力

未來(lái)的半自動(dòng)化系統(tǒng)將通過(guò)人類對(duì)殺傷力的三個(gè)級(jí)別的控制來(lái)發(fā)展。我們目前在第一級(jí)運(yùn)作，部署致命武器的每個(gè)單獨(dú)扳機(jī)拉動(dòng)都需要人工批準(zhǔn)。

到了第二層，操作武器的人變得更像一個(gè)小單位的領(lǐng)導(dǎo)者；人類決定何時(shí)何地開(kāi)火，然后武器挑選出單個(gè)目標(biāo)并與它們交戰(zhàn)。人類保留命令?；鸬哪芰?。

第三個(gè)也是最抽象的層次就像一個(gè)營(yíng)或以上指揮官在行使指揮和控制。在這里，人類決定任務(wù)參數(shù)（例如左右邊界、運(yùn)動(dòng)走廊、預(yù)期結(jié)果、事件順序或約束）、選擇交戰(zhàn)區(qū)域并指定武器控制措施（例如，僅向確定的敵人開(kāi)火在移動(dòng)到目標(biāo)區(qū)域時(shí)首先開(kāi)火，在整個(gè)任務(wù)期間向交戰(zhàn)區(qū)域邊界內(nèi)未確定為友方的所有目標(biāo)開(kāi)火，或不在友方位置 10 米內(nèi)開(kāi)火）然后，武器系統(tǒng)執(zhí)行任務(wù)指令，發(fā)現(xiàn)和選擇目標(biāo)，并在事件展開(kāi)時(shí)在其參數(shù)范圍內(nèi)做出反應(yīng)，無(wú)需進(jìn)一步指導(dǎo)。

所有三個(gè)級(jí)別的控制都讓人類參與其中，并允許人類決定和定義有效目標(biāo)是什么。每個(gè)級(jí)別是否被認(rèn)為是可接受的取決于我們對(duì)讓一個(gè)人選擇“特定目標(biāo)群體”的要求的解釋有多廣泛，這是當(dāng)前國(guó)防部政策中使用的關(guān)于半自主武器的語(yǔ)言。

說(shuō)指定地理區(qū)域內(nèi)的所有人都是指定目標(biāo)群體的一部分是否足夠？人類直接觀察目標(biāo)區(qū)域以查看并確定該區(qū)域內(nèi)的所有人員都是合法的戰(zhàn)斗人員（并且如果情況發(fā)生變化可以?；穑┦欠裰匾?？如果傳感器有足夠的能力區(qū)分制服和服裝，那么將任何穿著敵軍制服的人都指定為指定目標(biāo)群體的一部分就足夠了嗎？考慮到傳感器和自動(dòng)化功能，目標(biāo)描述需要具體到什么程度，才能達(dá)到人為控制的標(biāo)準(zhǔn)？

態(tài)度和世代變化

我們還應(yīng)該考慮隨著社會(huì)對(duì)人工智能的信心增加，政策可能會(huì)如何發(fā)展。當(dāng)前策略反映了當(dāng)前自動(dòng)化系統(tǒng)的新生狀態(tài)。然而，基于人工智能的系統(tǒng)正在整個(gè)社會(huì)中不斷改進(jìn)和擴(kuò)散。當(dāng)我們按下快門釋放按鈕時(shí)，相機(jī)不再拍照；相反，我們相信 AI 軟件會(huì)決定每個(gè)人何時(shí)微笑并記錄最佳圖像。我們的人工智能系統(tǒng)針對(duì)我們提供量身定制的廣告。人工智能系統(tǒng)無(wú)需人工批準(zhǔn)即可在世界各地的證券交易所進(jìn)行數(shù)百萬(wàn)美元的交易。

我們的孩子在這樣一個(gè)世界中長(zhǎng)大，在這個(gè)世界里，他們可以向 AI 驅(qū)動(dòng)的設(shè)備提出問(wèn)題，不僅能得到正確答案，而且設(shè)備還能識(shí)別他們并在給出答案時(shí)按姓名稱呼他們。再過(guò)20年，其中一些孩子將成為戰(zhàn)場(chǎng)上的將軍。在不到一代人的時(shí)間里，我們應(yīng)該期待社會(huì)對(duì)人工智能的態(tài)度能夠適應(yīng)技術(shù)改進(jìn)帶來(lái)的可靠性。

由于人工智能傳感器系統(tǒng)將提議的目標(biāo)評(píng)估為威脅，武器系統(tǒng)上的循環(huán)中的人在什么時(shí)候停止決定是否應(yīng)該使用武器并開(kāi)始點(diǎn)擊“批準(zhǔn)”按鈕？如果家庭法院法官因?yàn)檎J(rèn)為孩子與父親不相似而拒絕了 DNA 親子鑒定的結(jié)果，法庭上就會(huì)震驚（隨后是快速上訴）。當(dāng)對(duì)技術(shù)性能的信心足夠高以至于不同意系統(tǒng)告訴您的內(nèi)容變得不可想象時(shí)會(huì)發(fā)生什么？當(dāng)我們的軍事法庭武器操作員在他們超越武器系統(tǒng)時(shí)將友方單位置于危險(xiǎn)之中時(shí)，會(huì)發(fā)生什么？??在這一點(diǎn)上，為什么人是這個(gè)過(guò)程的一部分，他們扮演什么角色？社會(huì)對(duì)自主系統(tǒng)的態(tài)度將會(huì)改變。

結(jié)論

允許創(chuàng)建人工智能武器系統(tǒng)的技術(shù)是不可避免的，如果不存在的話。不再可能阻止人工智能武器獨(dú)有的研究，同時(shí)允許對(duì)有用的民用應(yīng)用的研究繼續(xù)進(jìn)行，因?yàn)槠溆嗟难芯款I(lǐng)域都是雙重用途。此外，已經(jīng)可以使用現(xiàn)有技術(shù)創(chuàng)建基本但功能強(qiáng)大的自主武器系統(tǒng)。馬離開(kāi)了谷倉(cāng)。

我們現(xiàn)在需要做的是認(rèn)真討論人工智能技術(shù)的道德和倫理影響。但它必須從當(dāng)前技術(shù)狀態(tài)的現(xiàn)實(shí)、已經(jīng)存在的能力出發(fā)，并認(rèn)識(shí)到不良行為者將來(lái)會(huì)濫用任何技術(shù)。我們不僅應(yīng)該考慮我們當(dāng)前的道德和倫理，還應(yīng)該考慮社會(huì)規(guī)范將如何隨著時(shí)間的推移而變化，就像他們一直做的那樣。

我們對(duì) AI 的倫理和道德影響所做的工作將在很大程度上告訴后代我們?nèi)绾纹胶饫硇院颓楦嘘P(guān)注，以及我們擁有什么樣的性格和價(jià)值觀。

戈登·庫(kù)克（GORDON COOKE）是西點(diǎn)軍校模擬中心主任，美國(guó)西點(diǎn)軍校軍事教學(xué)系副教授。他擁有博士學(xué)位。史蒂文斯理工學(xué)院的生物力學(xué)和機(jī)械工程碩士學(xué)位，以及史蒂文斯的軍械工程和生物醫(yī)學(xué)工程研究生證書。從西點(diǎn)軍校畢業(yè)并獲得機(jī)械工程學(xué)士學(xué)位后，他曾在第 11 裝甲騎兵團(tuán)擔(dān)任戰(zhàn)斗工程師軍官，然后在美國(guó)陸軍軍備研究、開(kāi)發(fā)和工程中心 (ARDEC) 擔(dān)任了 12 年的平民研究工程師，現(xiàn)在被稱為美國(guó)陸軍作戰(zhàn)能力發(fā)展司令部軍備中心。在 ARDEC 期間，他在軍備研究生院任教五年。Cooke 被選為初級(jí)和高級(jí)科學(xué)獎(jiǎng)學(xué)金，獲得了 Kurt H. Weil 碩士候選人獎(jiǎng)，并兩次獲得美國(guó)陸軍研究與發(fā)展成就獎(jiǎng)。他是 Acquisition Corps 的成員，并在生產(chǎn)、質(zhì)量和制造方面獲得了 III 級(jí)認(rèn)證。

本文發(fā)表在《陸軍 AL&T》雜志 2019 年夏季刊上。