在算法黑箱化的情況下，人工智能系統越復雜出現操作失誤的可能性就越大，問責也變得越困難。如果讓人工智能系統的開發者、制造者為算法失誤承擔無限的連帶責任，就會妨礙人工智能的發展。

季衛東丨中國法與社會研究院院長

近些年人工智能成為社會熱點，在各方面的應用以及相關產業的發展日新月異，給人類帶來很多沖擊、興奮以及不安。與此同時，人工智能也已經滲透到日常生活世界，就像狐貍精悄悄溜進人們的書齋、琴房以及市井。所以，我決定選擇關于數字化、數據驅動、人工智能的治理以及法制創新的話題。

這也是我這些年關注的一個研究方向。上海交通大學人工智能研究院攜手中國法與社會研究院成立全國第一個“人工智能治理與法律研究中心”，2020年7月10日在世界人工智能大會法治論壇上舉行了揭牌儀式，由我擔任負責人，也想借此機會介紹一下我們的問題意識和發展目標。從自己的專業法社會學以及數字化的信息溝通技術（ICT）導致的法律制度創新的角度切入，簡單論述以下四個問題：

1.人工智能引起的法與社會變遷；

2.自動駕駛的權利、責任以及倫理；

3.數據里的經濟價值和人格尊嚴；

4.智能網絡的平臺治理與代碼支配。

（一）人工智能引起的法與社會變遷

日常生活各方面的數字覆蓋：特別是在2016年AlphaGo擊敗人類職業圍棋頂尖選手之后，人工智能開始引起社會的廣泛關注。機器學習、深度學習使人工智能發生質變，進化后的人工智能又使人類社會發生質變。人工智能引起的社會變化主要有哪些方面？我認為最主要的是數字覆蓋，使世界具有實體和虛擬雙重結構，使我們越來越普遍地生活在電腦空間里。

在中國，日常生活各方面的數字化速度非常快，覆蓋面也非常廣。到現在，大部分日本人還是傾向于用現金在實體店購買商品。2009年我回國后才知道，中國的年輕人那時已經很習慣在淘寶網購物，價格實惠，也很省事和節約時間。在淘寶網購物使用支付寶，是數字貨幣的一種形態。

后來又有微信支付，現在上海的地下車庫都采取支付寶或微信支付的方式掃碼付費。在餐廳、早點攤位以及農貿市場，人們也廣泛采取移動支付方式。快遞和外賣也特別流行，尤其在新冠疫情防控期間，有利于在保持社交距離的狀態下滿足日常生活需求。還有交通一卡通，包括車輛電子保險的普及等等。

從這些現象可以看到，中國的日常生活越來越數字化，幾乎被數字全覆蓋了。

這次疫情更進一步地加強了這個數字覆蓋過程，如群體的體溫檢測、健康碼、人臉識別驗證，結果導致整個社會被數字化技術全面覆蓋。這是一個非常重要的變化。

數字全覆蓋的社會使得我們的日常生活世界產生了電子復制版，所有的活動痕跡可以記錄下來，轉變成大數據。這樣就可以在非常廣泛的領域采用人工智能對大數據進行分析，進行預測。在這里，數據的規模越大、質量越好，人工智能的功能也就越強、可預測程度也就越高。總之，這就是當今社會、尤其是中國發生的一種非常本質性的變化：無所不在的數字覆蓋和智能躍進。

經濟活動的重點對象從資源到數據：在數字覆蓋和智能躍進的背景下，數據的經濟價值就會越來越明顯地呈現出來。

例如淘寶網，可以根據消費場景的行蹤，分析購買人的經濟狀況、行為方式、目前的需求、偏好，再根據這些信息和演算結果推送出相應的商品廣告、確定生產計劃以及營銷模式。

也就是說，在數字覆蓋的背景下，企業可以通過人工智能對大數據的分析和預測揭示個人的隱私、推斷社會的發展趨勢，獲得競爭的優勢以及盈利的機遇。在這個意義上可以說，數據是有經濟價值的。

馬云曾經說過：數據就是21世紀的石油，數據就是人工智能社會的生產資料。數字化的經濟就是由大數據和人工智能來驅動的。人工智能系統的聯結、交錯、互動，會構成智能網絡化社會。通過智能技術收集數據、應用大數據進行分析和預測，從而決定社會運作方式，我們的整個社會已經變成了一個數據驅動的社會。

在這里，數據不僅具有經濟價值，甚至還成為溝通的媒介、交易的通貨。顯而易見，中國在數據的收集和利用方面是具有獨特優勢的。

在中國，大約70%的優質數據由國家掌握，沒有很強的隱私意識和排他性的權利設置來構成數據的壁壘，這就使各個領域的數據更容易匯集到一起進行處理。也就是說，數據空間沒有被過于強勢的數據主體格局、沒有形成小國寡民的碎片化狀態。

在這樣的狀況下，數據規模與人工智能功能的正比例關系法則就會更加強有力。數據的數量越多、質量越高，人工智能的算法和算力就會越發達，數據的經濟價值也就越高。所以，中國的數字經濟增長的速度和效益是非常驚人的。當然，在這里我們必須指出，還是不能忽視個人信息安全和隱私保護不足等問題。應該找到一種兼顧數字經濟發展與個人信息和隱私保護的制度安排。

為了保護個人信息安全、隱私以及數據權利，為了促進網絡交易平臺的發展，歐盟曾經做過一個很有代表性的嘗試。在1996年，歐盟制定了一個嚴格保護數據庫權利的規定，試圖賦予數據以排他性的所有權，試圖通過絕對所有權的觀念來確保數據的收集和利用限定在法治的軌道上，防止濫用數據的事態發生。

但是，這個法律規定的實施效果并不理想；在歐盟，迄今為止還沒有出現像中國BAT（百度、阿里巴巴、騰訊）、美國GAFAM（谷歌、亞馬遜、臉書、蘋果、微軟）那樣的數字科技交易平臺巨頭。因為數據或者信息本身具有流動性，如果賦予排他性的數據庫權利以及數據所有權，就會犧牲流動性，壓抑數字經濟以及網絡交易平臺的發展。但是，我們也不能把隱私和個人信息安全作為大數據和人工智能時代經濟發展的犧牲品，因為這樣會摧毀自由的基矗關鍵是如何在功利主義與個人自由之間找到適當的平衡點，防止或減少我們為數字覆蓋付出的隱私代價。

市場交易的形態從物品到服務：市場交易的形態也發生了非常大的變化。比如之前的影碟、光盤，是影視和音樂發燒友的重要財產，大家都會設法通過購買來收藏。但到了現在，可以直接在網上下載收看和收聽，只需臨時購買網絡服務，而不需要擁有實體的產品。

還有轎車，也曾經是個人的重要財產乃至身份的象征，但是現在網約車盛行，是否擁有一輛漂亮的轎車并不那么重要了。在這個意義上，出行的座駕也由實體的物件轉化成臨時購買的交通服務形態。既有的現代法律體系都強調所有權，強調以物品為基礎的個人權利的保障。在智能網絡化社會，當市場交易的主要形態從物品轉向服務時，光碟就消失了，人們覺得買車不如租車，消費者對物品的占有欲望勢必減弱。

與此相應，以物權為基礎的法律體系也勢必發生非常大的變化，商場監管的方式同樣也會與過去大不相同。例如阿里巴巴的平臺戰略促使大量廠商、供應商都到這個巨型平臺上來營銷，這就會帶來法律規制的新問題。為了避免阿里巴巴自己的商譽被透支、濫用，為了保障服務的規格和質量，杜絕假冒偽劣商品，這個平臺就必須肩負起監管的職責。

在某種意義上也可以說，交易平臺在相當程度上已經代替政府發揮監管的作用，這也是行政服務民營化、市場化的一種方式。當然，與此同時政府還要對巨型的交易平臺進行監督和管理，防止壟斷和不正當競爭。

社會系統變化的三個基本特征：由于物聯網（特別是5G物聯網）的發達、人工智能廣泛的應用，導致了不同人工智能系統之間發生密切的關系，互相作用，導致了智能網絡化的趨勢。人工智能系統各自的目標不同，有可能會發生沖突，它們的互動關系有可能導致的出乎意料的后果。本來人工智能是要進行預測的，但是在人工智能網絡化、人工智能可以深度學習的情況下，不可預測性、不可解釋性的問題反倒頻繁發生。

在有些場合，人工智能越發達，復雜化程度越高，達到的結果精確性越強，人們反倒很難準確地說明這到底是怎樣實現的。這就是所謂算法黑箱化。從人工智能治理的角度來看，我們當然希望算法是透明的、可以解釋的，但實際上卻很難解釋清楚算法的原理和機制，因果關系無法驗證。這就使得問責原則很難落實。所以算法黑箱化是我們要關注的社會系統實質性變化的第二個方面。深度學習使得人工智能超出人類預設的計劃和程序，能夠自己歸納出新的行為模式，并根據這樣的模式進行運作。

在這里，自然而然會導致對人工智能發展的發展的一個憂慮，即失控。也就是說，人工智能系統的觀察、學習、思考、判斷、行動能力提高之后，就有可能產生自我意識和獨立性，機器自主化了，人類無法對人工智能進行有效的控制。機器人還有可能造反，轉而傷害人們。社會系統的上述三種變化，都會影響到制度安排，對法律體系構成嚴峻的挑戰。

在很多方面似乎代碼取代法律：在人工智能時代，技術規格往往具有非常重要的意義。有時候，代碼可能使法律中現有的權利不能按規定實施，要進行改變。代碼的框架有可能使得原來的法律制度安排不得不發生一些變化。在有些場合，事實已經先行，使得法律與現實脫節的問題凸顯出來。

人工智能在越來越多地滲透到社會當中去的時候，算法本身就決定了很多事物的運行方式。有一種說法叫做算法獨裁，就是指人工智能的算法、軟件、代碼框架支配一切的事態。在這樣的情況下，法律體系確實面臨著嚴峻的挑戰。包括區塊鏈對密碼資產通過網絡共識的方法進行管理，這也是與過去所設想的法律支配是不一樣的。

經濟和社會全面的數字化迫使法律采取應對舉措：目前中國及其他國家，人工智能應用系統發展的速度非常快，數字經濟似乎處于野蠻生長的階段。然而如果過早地進行法律規制，采取強制性措施管理大數據產業和人工智能開發，就有可能壓制科技以及數字經濟。

另一方面，人們也會抱有深深的憂慮，因為人工智能的高歌猛進，很有可能把人類社會鎖進一個特定的路徑相關，將來想退也退不出來，或者退出時花費的成本太大。因此，我們應該及時對物聯網、大數據以及人工智能的治理和制度設計進行思考和討論，采取軟硬兼施的適當對策。

其中一個非常重要的應對方式就是強調人工智能開發的倫理、原則、政策以及法律的綜合治理。如果片面采取法律的規制措施，有可能限制人工智能技術以及相關數字經濟的發展，所以我們認為在現階段軟法比硬法更重要。我認為，只有通過這種方式，才能更好地適應目前既要保護人工智能發展，又要對其進行適當限制、防止野蠻生長的社會需要。上海交通大學人工智能治理與法律研究中心聚焦算料（大數據）、算法以及算力中的倫理與法理關系問題，試圖構建相應的知識圖譜，推動人工智能時代的制度創新。國內法學界以及相關業界都非常關注這方面的進展。

最近上海的商湯智能產業研究院和北京的曠視科技有限公司等來與我們洽談在人工智能的治理和數據法律等方面開展合作。另外，人工智能技術也廣泛應用到法律適用的過程之中，特別在司法領域推進迅猛，包括電子法院、智慧司法、基于大數據的文書自動生成等等。人工智能作為法律決策輔助系統的嘗試各國都在積極行動。人工智能直接用于法律決策的情況更復雜一些，涉及很多技術上、價值上的障礙，目前還處于初級階段，還在摸索之中。

（二）自動駕駛的權利、責任與倫理

在上述背景下，我們再來探討一些具體的問題，先看自動駕駛。

2020年6月27日，上海開始啟動滴滴自動駕駛網約車的服務。之前長沙試行自動駕駛網約車遭到出租車司機的集體抵制，美國亞利桑那州的自動駕駛車輛引起人身事故后各國的態度變得更加慎重。無論如何，自動駕駛普及之前還有很多法律問題有待解決。

首先要考慮共享乘車服務提供者的資質和信用。目前BAT都在提供自動駕駛領域的服務，它們的戰略會影響到自動駕駛的服務狀況，也會影響權利義務的設置。其次，現有的《道路交通安全法》第19條規定駕駛者的資格要件，人工智能是否也需要獲得駕駛執照？第三，如何界定自動駕駛車輛的智能化級別與法律的關系？

一旦導入人工智能，開始只是發揮輔助性作用，或者部分操作自動化；但到了附條件自動駕駛或者完全自動駕駛，軟件系統本身就成為責任主體。如果出了問題，是找汽車廠商、程序開發商，還是數據提供商追究賠償責任？這個責任如何認定？如何分配？第四，人工智能的利用者具有不同的類型，但無論是消費利用還是商務利用，就法律而言，似乎都應該采取利用者免責的原則。

對于自動駕駛而言，利用者基于合同接受服務。這時交易的對象不是車輛，而是移動服務，車輛只是人們移動而提供的一種服務形態。自動駕駛汽車的主要特征是使用了人工智能軟件。如果車輛在抵達目的地前拋錨了，意味著服務終結還是換乘其他出租車？在交易對象是車輛時由買主承擔后來的風險，但在交易對象是服務時是不是由賣主永遠承擔后續風險？法律上缺乏明文規定。

按理應該把硬件和軟件相區分。如果問題出在軟件，你就不能追究汽車廠商的產品責任。但是，嵌入車輛的軟件的更新責任又在誰呢？是汽車廠商、還是軟件供應商？在車輛故障或因自動駕駛軟件瑕疵引起的事故時，會引起一系列復雜的新問題。還有，自動駕駛的人類監控和介入如何進行？如果發生緊急情況，突然由自動改為手動時也會出現混亂，在這種場合責任如何追究？既然上海已經有自動駕駛網約車上路了，這些問題就會迫在眉睫，需要有關機關及時調研和立法，制定自動駕駛的交通安全制度的設計方案。

（三）數據里的經濟價值和人格尊嚴

再看數據的法律問題光譜帶。

不言而喻，人工智能離不開數據。人工智能的應用、進一步發展、預測能力的提高都有賴于數據。數據和人工智能之間存在一種正比例的關系。數據的法律問題光譜帶包括兩端：一端涉及財產權（數據的經濟價值、數據處理模型和算法等等的知識產權），另一端涉及個人信息安全、隱私的保障。在現階段的中國，人口規模大約十四億、網民人數大約八億，每天都會產生大約900兆字節的海量數據。

根據2018年的統計，中國大數據產業相關人才的規模全球第一，占比59.5%，比第二位的美國高出37.1個百分點。更值得留意的是，中國數據的公有化程度極高，大約70%以上的優質數據資源由國家掌控。這種狀況有利于打破各種局部疆界充分調動數據資源來發展產業經濟，也勢必促進人工智能在國家治理和法律制度運作方面的廣泛應用，但也把個人數據安全和隱私保護問題以更加尖銳的形式呈現出來。

物聯網、大數據以及人工智能的“鐵三角”，在某些場合很可能剝奪公民對個人信息的自我處分權（隱私權）、人格尊嚴以及法律面前平等的權利。例如常見的電商和網絡平外把個人消費信息作為學習數據使用，分析行為樣式并發布對標廣告，這是否已經構成對隱私權的侵犯是需要認真考慮的。特別是遺傳信息包含那些與生俱來的特性，一旦由人工智能進行解讀和外泄就很容易影響個人入學、就業以及加入商業保險，大幅度減少某些公民的人生機遇和選擇空間。

在上述兩端之間，還存在著數據經濟價值的實現和利益分配問題。巨型的網絡交易平臺利用數據產生利潤，但數據主體是誰？因數據而產生的利潤的分配是否公正？這些都是非常復雜的法律問題。

關于人工智能引起收入懸殊的問題，有人建議通過向機器人征稅，但中國更強調的是通過財政部門來實施合理的、精準的社會二次分配。在這里，制度設計不得不面對某種兩難困境：注重個人信息和隱私的保護就有可能妨礙數據以及人工智能方面的產業發展，注重數據驅動的經濟效益卻又容易侵害個人尊嚴和隱私，甚至引發信息安全問題。要兼顧這兩個方面，就需要認真對待制度設計問題。

值得深入探討的一種對策是：中國應該考慮設立數據托管機構，對寄存個人數據的主體給予適當的積分獎勵。數據托管機構對數據進行匿名化處理，企業可以在通過資質審查后采取繳納使用費的方式來獲得和處理數據，而數據主體也可以適當分享數據產業的利益。在日本，已經出現了設立復數信息銀行的構想，個人可以像存款那樣把信息儲蓄到銀行，企業向信息銀行借貸個人信息。在中國，也許公共性質的數據托管機構更適合國情。

（四）智能網絡的平臺治理與代碼支配

美國學者勞倫斯萊斯格教授在1999年提出一個命題：Code is law，代碼就是法律。如今這樣的例子很多。比如，為了保護電視節目的著作權，規定所有的DVD制作按某個技術標準只能復制一次，不能再復制到其他DVD上，以防不法者盈利。但這樣也會妨害正常的學習和欣賞。

無論如何，這種現象說明技術規格在相當程度上取代了法律來決定人們的行為方式。目前上海實行的“一網管通”上有政府機關的幾乎所有服務項目，健康碼成為一個非常方便的應用場景。

然而有關信息收集、數據處理的權限和程序卻并沒有明確，所依據的法律根據也不清楚，并且可以瞬間改變。實際上，通過網絡平臺進行數字化治理以及經濟活動，各種服務關系很難用法律來明確界定權利、義務關系。

由此可見，人工智能的技術規格和數據的安全分級標準的制定工作已經迫在眉睫，立法也必須及時跟上。在這種背景下，也許將出現“代碼與法律并行”的局面。中國存在“禮法并行”的文化傳統，還有現代的“法律與政策并行”實踐經驗，對于代碼與法律并行的治理方式也許不會產生抵觸。正是在這里，我們可以找到治理方式創新的契機或者切入點。

眾所周知，現代法治特別強調的是自由、個人權利的保障。在這里，自由是以隱私和個人財產權為基矗為此需要分權制衡的機制設計，對權力行使進行監督和限制。

由于人工智能的高效性，我們要通過人工來對人工智能進行制衡是有困難的。當人工智能廣泛應用于政治決策和法律決策，當算法黑箱化，對權力的監控和問責就會變得比較困難。在這樣的情況下，用人工智能來對人工智能進行制衡，用技術來對技術進行制衡也許就是一個合理的選項，這樣的分權制衡機制或許今后將變得非常重要。

在這里，值得特別注意的數字化信息溝通技術是區塊鏈。區塊鏈最初是與比特幣、數字通貨聯系在一起的。在這次疫情防控中，中國已經把區塊鏈協議用于社區治理，包括信息登記、體溫檢測、口罩發放等。從人工智能時代防止對個人隱私的侵犯、通過制衡機制設計解決法律問題的角度來看，區塊鏈可能會發揮關鍵的作用。簡單來說，區塊鏈協議的本質在于使隱私黑箱化，并使系統中樞工作完全自動化。

通過挖礦方式，為人們利用區塊鏈提供誘因，并通過區塊鏈達成網絡共識。在這個過程中通過具體的智能合約方式，明確各自的權利和義務。人工智能技術的算法黑箱化，區塊鏈技術的隱私黑箱化，兩者形成相反相成的關系，這是一種非常有趣的格局，會對今后的社會治理和法律秩序產生深刻的影響。

（五）結論

總而言之，人工智能是一個規則嵌入系統，它可促使法律的規范嚴格執行，形成硬法。但是，在智能網絡化的情況下，不同人工智能系統之間的互動關系非常頻繁而復雜，單憑硬法不免有些簡單粗暴，必須借助軟法來補充和協調，需要加強溝通和程序公正。

另外，在算法黑箱化的情況下，人工智能系統越復雜出現操作失誤的可能性就越大，問責也變得越困難。如果讓人工智能系統的開發者、制造者為算法失誤承擔無限的連帶責任，就會妨礙人工智能的發展。為了使這種責任有限化，為了確保智能合約的違約責任能夠依法追究，有必要承認機器人的主體資格。實際上，只有當機器人有主體資格時，以人工智能來制衡人工智能的構想才能落到實處。

最后，再梳理一下與人工智能相關的法律問題，可以分為裝置、網絡、數據、算法、服務等五個方面進行探討。在這樣的背景下，人工智能引起的法律范式創新有什么呢？

一是從物權到服務評價的權利觀念變化；

二是從法律到代碼的規范形態變化；

三是承認機器人權，以便追究智能合同的違約責任并使人工智能開發者、生產者的責任有限化。

顯然，我們面對的法律體系與過去大不相同的。進入2020年以來，我們在不斷見證歷史的巨變。讓我們也一同見證人工智能時代的法制巨變吧！

（源自紐約聊齋第12期云沙龍）