本文來源：極客公園

本文作者：趙子瀟

在極端情況下，如何判定技術與人的過錯？

Uber 的案例給出了一個比較清晰的答案，只是這答案不一定正確。

9 月 16 日，曾經(jīng)轟動一時的「自動駕駛殺人案」有了初步判決結(jié)果。美國亞利桑那州馬里科帕縣的檢察官表示，坐在駕駛位的安全員 Rafaela Vasquez 被控過失殺人罪，但她所在的公司 Uber 在這起事件中不會面臨刑事指控。

第一起自動駕駛致死案事故現(xiàn)場｜網(wǎng)絡

這是全世界范圍內(nèi)第一起自動駕駛汽車撞人致死的交通事故，由此也引發(fā)了行業(yè)當中不小的震動。當然，比起行業(yè)影響，這起事故本身反映的情況更值得我們討論：人與機器共同犯下的錯誤，一定要由人來承擔所有罪過嗎？

當「安全員」變成「背鍋員」

雖然案件的最終判決結(jié)果還未確定（10 月 27 日案件將舉行初審），但安全員將面臨兩年半的有期徒刑。目前，當事人 Rafaela Vasquez 拒絕認罪。

距離事發(fā)已經(jīng)過去了兩年半的時間，我們先來做個簡單回顧：

2018 年 3 月，Rafaela Vasquez 作為安全員乘坐的 Uber 自動駕駛汽車在亞利桑那州進行自動駕駛測試時，撞到了一位推著自行車橫穿道路的女性，致其死亡。

根據(jù)美國國家運輸安全委員會（National Transportation Safety Board，以下簡稱 NTSB）調(diào)查結(jié)果顯示，當時車輛時速為 62km/h，而道路限速 50km/h。

在整起事故當中，安全員并未擔負起她應盡的責任。眾所周知，在當下自動駕駛測試中，絕大多數(shù)車輛都會配備 1-2 名安全員，如果車輛出現(xiàn)意外，安全員需要隨時接管。但是在本案中，安全員 Vasquez 并沒有專注在道路上，而是時不時低頭看右下方中控臺上的手機。在行車記錄的視頻當中，事故前半秒鐘她才抬起頭來，但為時已晚。

車內(nèi)安全員視角，事發(fā)前半秒安全員才發(fā)現(xiàn)道路前方的行人｜YouTube

如果安全員不在車上看手機分心的話，事故是完全可以避免的。這是警方得出的結(jié)論，因此判定結(jié)果把責任全部推給了安全員。

「殺人的是人，不是機器。」如果最終判決就是這樣的結(jié)果，難免有些草率了。

在 NTSB 的調(diào)查報告中，Uber 的自動駕駛技術明顯存在缺陷。在撞到行人前的 5.6 秒時，Uber 的自動駕駛解決方案（Autonomous Driving Solution，以下簡稱 ADS）已經(jīng)檢測到行人，但從未準確地將她歸類為「人」。幾秒鐘之內(nèi)，自動駕駛系統(tǒng)把它識別為未知物體，然后識別為車輛，然后變成自行車，卻一直沒有自動剎車。

等到自動駕駛判定為即將發(fā)生碰撞時，機器已無法及時剎車。這又是系統(tǒng)的一個 bug 類設計：它沒有考慮到突然發(fā)生碰撞的可能性，因而沒有設計緊急制動，而是純依靠安全員的干預來避免碰撞。

車外視角，直到事故發(fā)生自動駕駛系統(tǒng)也沒有識別出行人｜YouTube

Uber 的自動駕駛技術當時也不算多先進。加州交管局 DMV 之前發(fā)布的年度接管報告表示，Uber 的自動駕駛汽車在測試過程中需要安全員頻繁接管，平均每 37km 就要進行一次人工干預，對比目前業(yè)界公認第一的自動駕駛公司 Waymo，后者在 2018 年每 1000 英里測試人工接管的次數(shù)為 0.09。

更不可思議的是，Uber 還停用了車輛本身的前方碰撞預警和自動緊急制動系統(tǒng)，一輛本身就配備安全系統(tǒng)，加裝眾多傳感器的自動駕駛系統(tǒng)的智能汽車，最依賴的結(jié)果還是人。

北京市安理律師事務所汽車和人工智能業(yè)務負責人何姍姍在接受極客公園（ID：geekpark）采訪時表示，Uber 的自動駕駛車輛的確存在產(chǎn)品缺陷，從這個角度來看，Uber 作為技術背后的企業(yè)應該負擔安全事故責任。但這起案件的結(jié)果代表著美國對于新技術比較寬容的態(tài)度，「如果同樣的事件放在德國這種監(jiān)管比較嚴格的國家，結(jié)果會很不一樣?！?/span>

NTSB 的最終調(diào)查結(jié)果認為，安全員事發(fā)時看手機分散了注意力，并且 Uber「安全文化不足」導致事故發(fā)生。

從事實上看，這起事故是由安全員的疏忽與自動駕駛技術問題共同造成的。技術存在明顯的紕漏之處，在尚不完善的情況下無法避免；同樣，安全員的疏忽也無法完全避免。兩個主體都存在現(xiàn)有條件下無法規(guī)避的缺陷，卻承擔了截然不同的懲罰。從法律上給出的結(jié)果，人承擔了全部的刑事責任，技術無罪。不承擔刑事責任的 Uber 需要做的就是改進自動駕駛技術的缺陷。

很明顯，在這起事件當中，安全員變成了「背鍋員」。

技術的長期挑戰(zhàn)

人類學家瑪?shù)铝铡た巳R爾·埃利什（Madeleine Clare Elish）在研究航空領域自動化背景下美國對于航空事故的判定時發(fā)現(xiàn)，盡管大趨勢是飛機的控制越來越轉(zhuǎn)移到自動駕駛，但對于飛行事故的責任判定仍舊集中在飛行員身上。

她認為，在高度自動化的系統(tǒng)與責任歸屬的實際分配方式之間存在著巨大的不匹配。因此，她得出結(jié)論：法律責任和責任的概念未能與技術進步保持同步。

在 Uber 自動駕駛案中，似乎是一樣的道理。

在自動駕駛的測試中，安全員的作用在一整套系統(tǒng)的驗證測試中僅占據(jù)很少部分，絕大部分狀況下，自動駕駛技術都能處理行駛中的問題。安全員在這種情況下需要在一種無需干預的情況下保持持續(xù)的注意力，這件事對于人性來說，是個巨大的挑戰(zhàn)，也和企業(yè)希望安全員做到的理想目標有一定差距。安全員需要遵守的規(guī)則和他們簽署的協(xié)議，實際相當于簽了一個「背鍋」條款，在現(xiàn)實狀況中存在巨大風險。Uber 無人車致死案就是一起鮮明的案例。

何姍姍表示，高級別的自動駕駛環(huán)境中，盡管有汽車的「黑匣子」可以記錄相關數(shù)據(jù)，但在責任的劃分上也會出現(xiàn)困境，需要在技術層面和未來立法層面做改觀和突破。

華盛頓大學法學院的機器人學法學教授 Ryan Calo 表示，安全員的過失導致行人身亡，這是一個簡單的故事；如果對公司提起訴訟，必須要講述一個更加復雜的故事，「涉及自動駕駛汽車的工作原理和 Uber 的錯誤之處」。

事實上，現(xiàn)如今也沒有一條法律能夠證明，L4、L5 級別的自動駕駛事故中哪一方該承擔哪一部分的責任，需要通過汽車內(nèi)外部攝像頭等設備記錄的數(shù)據(jù)來判斷最終的責任歸屬。

不僅是法律上的界定，從技術發(fā)展的角度來看，都會是一個社會性的難題。人類社會對于新技術的一大挑戰(zhàn)，就是技術本身還沒有準備好，人卻高估了技術能做的事情。

特斯拉在發(fā)布旗下輔助駕駛系統(tǒng) Autopilot 之后，全球范圍內(nèi)發(fā)生了多起交通事故，原因在于駕駛員過于信任這套輔助駕駛系統(tǒng)，高估了它的能力。即便特斯拉在 Autopilot 的宣傳當中重點強調(diào)，它只是 L2 級別輔助駕駛，行駛過程中駕駛員必須隨時關注道路并接管，但還是有人無視這一規(guī)則，歸根結(jié)底就是對于新技術過于信任。

2020 年 6 月，一輛處在輔助駕駛狀態(tài)的特斯拉撞上了前方橫著的卡車｜網(wǎng)絡

Uber、Waymo 等公司在做的 L4 級別自動駕駛多數(shù)情況下依舊需要安全員的存在，恰好說明了至少在目前，技術都不可能達到完美的狀態(tài)。

MIT 曾經(jīng)提出過「人機共駕」的課題研究，這項研究存在的基礎就是短期內(nèi)人不會從自動駕駛汽車中消失，在低級別的自動駕駛當中，仍然要「以人為中心」。在這樣的預期之下，人與技術共存將是未來長期的狀態(tài)，從以人為中心到以機器為中心轉(zhuǎn)變的過程中，也會引發(fā)法律和道德上一系列框架的設定。

相應地，在自動駕駛領域怎么判斷安全員所處的位置，進而調(diào)整安全員體系；甚至在人與機器協(xié)作的領域里，怎么思考以人類視角與機器視角分配工作與責任，其實都是我們應該去細化的方向。

技術的目的是服務于人，幫助人類反脆弱，解決人類之前不容易解決的問題，而不是給人類加上更復雜的枷鎖，讓其背負更大的責任。如果人要為技術背鍋，道理上無法講得通，任何時候，人都不應該成為技術高速發(fā)展的「犧牲品」。

~END~