從2004年至今，美軍無(wú)人機(jī)的轟炸已經(jīng)在巴基斯坦的某個(gè)地區(qū)殺死了2500~4000人，其中絕大多數(shù)死者都被美國(guó)政府歸類為極端分子。轟炸對(duì)象的選擇背后，很可能是美國(guó)天網(wǎng)計(jì)劃，采用機(jī)器學(xué)習(xí)算法對(duì)5500完民眾進(jìn)行打分。但本文作者Christian Grothoff 和 J.M. Porup
從2004年至今，美軍無(wú)人機(jī)的轟炸已經(jīng)在巴基斯坦的某個(gè)地區(qū)殺死了2500~4000人，其中絕大多數(shù)死者都被美國(guó)政府歸類為“極端分子”。轟炸對(duì)象的選擇背后，很可能是美國(guó)天網(wǎng)計(jì)劃，采用機(jī)器學(xué)習(xí)算法對(duì)5500完民眾進(jìn)行打分。但本文作者Christian Grothoff 和 J.M. Porup 認(rèn)為，這種算法會(huì)帶來(lái)很大的誤報(bào)率，而0.18%的誤報(bào)率意味著99000名無(wú)辜民眾被錯(cuò)誤地標(biāo)記為“恐怖分子”。在這些死亡的人數(shù)中，又有多少是無(wú)辜的民眾？
作者Christian Grothoff在法國(guó)**信息與自動(dòng)化研究所（Inria）領(lǐng)導(dǎo)一支研究團(tuán)隊(duì)。他從UCLA獲得了計(jì)算機(jī)科學(xué)博士學(xué)位。他也以自由記者的身份進(jìn)行科技和**安全方面的報(bào)道。
J. M. Porup是一位網(wǎng)絡(luò)安全方面的自由記者，居住在加拿大多倫多。當(dāng)他死后，他的墓志銘將會(huì)寫上“承擔(dān)違約責(zé)任”幾個(gè)字。他在Twitter上的賬號(hào)是@toholdaquill。
全文如下：
專家表示，這種“樂(lè)觀到可笑”的機(jī)器學(xué)習(xí)算法是“徹頭徹尾的胡說(shuō)八道”。
在2014年，同時(shí)負(fù)責(zé)領(lǐng)導(dǎo)美國(guó)中情局（CIA）和國(guó)安局（NSA）的主管人宣布，“我們根據(jù)元數(shù)據(jù)來(lái)殺人（we kill people based on metadata）”。現(xiàn)在，重新翻看先前披露的斯諾登檔案——被殺害的人中有許多可能都是無(wú)辜的。
去年，Intercept披露了一些詳細(xì)描述NSA“天網(wǎng)”計(jì)劃的文件。從這些文件中可以得知，“天網(wǎng)”涉及到通過(guò)巴基斯坦的移動(dòng)通信網(wǎng)絡(luò)對(duì)民眾實(shí)行監(jiān)控，隨后使用機(jī)器學(xué)習(xí)算法，基于5500萬(wàn)民眾的蜂窩網(wǎng)絡(luò)元數(shù)據(jù)，嘗試著為其中每一個(gè)人是否是一名恐怖分子的可能性打分。
先前在戰(zhàn)犯法庭開(kāi)庭前給出過(guò)專家證詞的Patrick Ball——他是一位數(shù)據(jù)科學(xué)家，也是人權(quán)數(shù)據(jù)分析組織的研究主管——用“樂(lè)觀得可笑”和“徹頭徹尾的胡說(shuō)八道”來(lái)形容NSA的這個(gè)方法。Ball告訴我們，NSA在訓(xùn)練“天網(wǎng)”用于分析蜂窩元數(shù)據(jù)的機(jī)器學(xué)習(xí)算法上的一個(gè)瑕疵，讓它的結(jié)果在科學(xué)上是不可靠的。
據(jù)新聞?wù){(diào)查局（Bureau of Investigative Journalism）所言，從2004年至今，美軍無(wú)人機(jī)的轟炸已經(jīng)在巴基斯坦的某個(gè)地區(qū)殺死了2500~4000人，其中絕大多數(shù)死者都被美國(guó)政府歸類為“極端分子”。鑒于有一份“天網(wǎng)”PPT的歸檔時(shí)間寫著“20070108”，這種機(jī)器學(xué)習(xí)程序可能早在2007年就已經(jīng)開(kāi)始了研發(fā)。
隨后數(shù)年，巴基斯坦可能有數(shù)以千計(jì)的無(wú)辜民眾都被這個(gè)“在科學(xué)上不可靠”的算法錯(cuò)誤地標(biāo)記為恐怖分子，讓他們不幸身亡。
｜大數(shù)據(jù)的塞壬之歌
“天網(wǎng)”的工作方式就像一個(gè)現(xiàn)代典型的大數(shù)據(jù)業(yè)務(wù)應(yīng)用。這個(gè)程序收集來(lái)元數(shù)據(jù)、將它們儲(chǔ)存在NSA的云服務(wù)器上，提取相關(guān)信息，然后應(yīng)用機(jī)器學(xué)習(xí)的方法來(lái)辨別執(zhí)行既定行動(dòng)的線索。除了不像商業(yè)應(yīng)用那樣試圖向目標(biāo)人群兜售某樣?xùn)|西之外，這種活動(dòng)——考慮到美國(guó)政府在巴基斯坦的整體業(yè)務(wù)重心——可能也涉及到美國(guó)政府的另一個(gè)機(jī)構(gòu)，CIA或者軍方，通過(guò)掠食者無(wú)人機(jī)和地面暗殺小隊(duì)（death squads）來(lái)執(zhí)行他們的“尋覓——修正——收工（Find-Fix-Finish）”策略。
從GSM的元數(shù)據(jù)中，我們可以測(cè)量每個(gè)被選中的人的生活模式、社交網(wǎng)絡(luò)、以及出行習(xí)慣等方面。
除了要處理記錄下的蜂窩手機(jī)通話數(shù)據(jù)（所謂的“DNR”，也就是被叫號(hào)碼識(shí)別數(shù)據(jù)，包括通話時(shí)間、通話長(zhǎng)度、誰(shuí)呼叫誰(shuí)等數(shù)據(jù)），“天網(wǎng)”也收集用戶的位置信息，建立詳細(xì)的出行檔案。關(guān)閉手機(jī)則被當(dāng)做是試圖逃避監(jiān)控的跡象而受到“天網(wǎng)”的標(biāo)記。天真地相信更換SIM卡就能防止被追蹤、并且這么做了的人，也會(huì)受到“天網(wǎng)”的標(biāo)記（燒入手機(jī)的ESN、MEID或是IMEI會(huì)讓手機(jī)即使換了SIM卡也會(huì)被追蹤痕跡）。
對(duì)海量的元數(shù)據(jù)進(jìn)行出行模式、基于行為的分析、以及其他“補(bǔ)充內(nèi)容”的分析，以此判斷“恐怖分子程度（terroristiness）”。
幻燈片稱，即使是更換手機(jī)也會(huì)被探測(cè)到并受到標(biāo)記。這種探測(cè)，我們只能猜測(cè)（因?yàn)榛脽羝蠜](méi)有對(duì)這一點(diǎn)進(jìn)行詳細(xì)介紹），可能是基于其他元數(shù)據(jù)（比如現(xiàn)實(shí)世界中的用戶位置、社交網(wǎng)絡(luò)等）不變的基礎(chǔ)上的。
有了完整的元數(shù)據(jù)集，“天網(wǎng)”就能拼湊出一個(gè)人典型的日常軌跡——和誰(shuí)一起出行、有哪些共同聯(lián)系人、和朋友們一起通宵、去其他**旅行或是**地搬離了。總體而言，這些幻燈片顯示，NSA的機(jī)器學(xué)習(xí)算法使用超過(guò)80種不同的屬性來(lái)為人們的“恐怖分子程度”打分。
幻燈片告訴我們，這個(gè)程序的假設(shè)是，恐怖分子與普通居民在其中一些屬性的行為上有顯著的區(qū)別。然而，在Intercept去年的披露中可以清楚地看到，被這個(gè)機(jī)器學(xué)習(xí)程序打出**分的是Ahmad Zaidan，半島電視臺(tái)在伊斯蘭堡的分社社長(zhǎng)。
得到**評(píng)分的人是PROB AHMED ZAIDAN，他去過(guò)Peshawar和Lahore。他長(zhǎng)期擔(dān)任半島電視臺(tái)在伊斯蘭堡的分社社長(zhǎng)。
據(jù)Intercept報(bào)道，Zaidan為了采訪叛軍、報(bào)道新聞，經(jīng)常前往有恐怖活動(dòng)的地區(qū)。不過(guò)，這種機(jī)器學(xué)習(xí)算法背后的NSA工程師們不但沒(méi)有質(zhì)疑產(chǎn)生這種可笑結(jié)果的機(jī)器學(xué)習(xí)方法，反而在他們內(nèi)部的報(bào)告會(huì)中鼓吹Zaidan的例子證明了“天網(wǎng)”的勝利，其中一張幻燈片上將Zaidan標(biāo)為“基地組織成員”。
｜給機(jī)器輸入數(shù)據(jù)
訓(xùn)練機(jī)器學(xué)習(xí)算法，就像是在訓(xùn)練一個(gè)貝葉斯垃圾郵件過(guò)濾器：你將已知的垃圾郵件和已知的非垃圾郵件輸入給它。從這些“確定事實(shí)（ground truths）”中，算法學(xué)習(xí)怎樣正確地過(guò)濾垃圾郵件。
同樣地，“天網(wǎng)”程序的一塊關(guān)鍵部分是將“已知的恐怖分子”數(shù)據(jù)輸入給機(jī)器學(xué)習(xí)算法，以此來(lái)教會(huì)算法探測(cè)相似的人群。
問(wèn)題是，能輸入給算法用來(lái)學(xué)習(xí)的“已知的恐怖分子”數(shù)量較少，而就算NSA就這個(gè)問(wèn)題發(fā)布一份調(diào)查收集數(shù)據(jù)，真正的恐怖分子們也不可能回答。NSA內(nèi)部文檔顯示，“天網(wǎng)”使用“已知的聯(lián)絡(luò)員”數(shù)據(jù)作為確定事實(shí)，默認(rèn)假定其他人都是無(wú)辜的。
巴基斯坦有大約1.92億人口，到2012年底時(shí)——也是工作人員作“天網(wǎng)”報(bào)告的時(shí)候——蜂窩手機(jī)持有量在1.2億左右。NSA分析了5500萬(wàn)移動(dòng)手機(jī)的數(shù)據(jù)。鑒于有5500萬(wàn)人的數(shù)據(jù)和80個(gè)要考慮的變量，人工處理數(shù)據(jù)、探索其中的意義顯而易見(jiàn)是不可能的。所以，就像其它任何一個(gè)大數(shù)據(jù)應(yīng)用一樣，NSA用機(jī)器學(xué)習(xí)來(lái)幫助——或者也許是替代，幻燈片上沒(méi)有說(shuō)到——人類，進(jìn)行推理和判斷。
“天網(wǎng)”的分類算法分析了元數(shù)據(jù)和確定事實(shí)數(shù)據(jù)，然后基于元數(shù)據(jù)為其中的每一個(gè)人都生成了一個(gè)分?jǐn)?shù)。這個(gè)做法的目標(biāo)是，為恐怖分子生成較高的分?jǐn)?shù)，為剩下的無(wú)辜人群生成較低的分?jǐn)?shù)。
為了做到這一點(diǎn)，“天網(wǎng)”算法使用的是隨機(jī)森林算法，這種算法被經(jīng)常用在這類大數(shù)據(jù)應(yīng)用上。事實(shí)上，據(jù)上周新披露的斯諾登文檔的說(shuō)法，英國(guó)的政府通信總部（GCHQ）似乎也用到了相似的機(jī)器學(xué)習(xí)方法。“這看上去像是，當(dāng)說(shuō)到讓機(jī)器學(xué)習(xí)算法做出選擇的技術(shù)時(shí)，就是隨機(jī)決策森林，”倫敦大學(xué)學(xué)院（UCL）安全與隱私工程副教授George Danezis在一篇博客中對(duì)披露的文檔這樣分析道。
隨機(jī)森林法在訓(xùn)練集數(shù)據(jù)中隨機(jī)選擇子集來(lái)創(chuàng)造決策“樹(shù)”的“森林”，隨后通過(guò)對(duì)這些樹(shù)的預(yù)測(cè)做平均來(lái)將結(jié)果綜合到一起。“天網(wǎng)”的算法從每個(gè)手機(jī)用戶身上都提取80個(gè)屬性，然后為他們生成一個(gè)分?jǐn)?shù)——就像一個(gè)垃圾郵件過(guò)濾器。
做完這些以后，“天網(wǎng)”要選擇一個(gè)閾值——超過(guò)這個(gè)值的手機(jī)用戶會(huì)被分類為“恐怖分子”。幻燈片中展示了當(dāng)閾值被設(shè)定為50%漏報(bào)率（false negative）時(shí)的評(píng)估結(jié)果。這個(gè)時(shí)候，原本將會(huì)被分類為“恐怖分子”的人中有一半就被分到了無(wú)辜民眾的類別，以此讓誤報(bào)率——無(wú)辜民眾被錯(cuò)誤地歸類成“恐怖分子”——盡可能的低。
當(dāng)然，我們不能肯定的是，在這次展示中使用的50%漏報(bào)率，是否就是在生成*終的獵殺名單時(shí)使用的閾值。不管怎么樣，如何處理無(wú)辜的誤報(bào)情況仍然是一個(gè)問(wèn)題。
“他們這樣做的原因，”Ball解釋說(shuō)，“是因?yàn)槁﹫?bào)越少，誤報(bào)就肯定越多。這是不對(duì)等的：有那么多的正確拒斥（true negative），如果降低閥值以減少漏報(bào)1個(gè)人，這就將增加數(shù)以千計(jì)人的誤報(bào)。所以有這樣的決策。”
統(tǒng)計(jì)算法能夠在誤報(bào)率很低的情況下找出聯(lián)絡(luò)員（courier），如果能允許我們錯(cuò)失其中的半數(shù)人。
一張NSA的幻燈片自夸道，“統(tǒng)計(jì)算法能夠在誤報(bào)率很低的情況下找出聯(lián)絡(luò)員（courier），如果能允許我們錯(cuò)失其中的半數(shù)人。”
但是，NSA所謂的“很低”，到底是多低？
｜“徹頭徹尾的胡說(shuō)八道”
Ball告訴我們，問(wèn)題在于，NSA是如何通過(guò)確定事實(shí)來(lái)訓(xùn)練算法的。
NSA將已知的7個(gè)恐怖分子的數(shù)據(jù)放入隨機(jī)選擇的10萬(wàn)人的數(shù)據(jù)子集（通過(guò)他們手機(jī)上的MSIDN/MSI來(lái)辨別）中，以此來(lái)評(píng)估“天網(wǎng)”程序。他們向?qū)W習(xí)算法中輸入其中6個(gè)恐怖分子的數(shù)據(jù)進(jìn)行訓(xùn)練，然后讓天網(wǎng)程序找出第7個(gè)恐怖分子。上面那張幻燈片展示了誤報(bào)的概率。
“首先，能用來(lái)訓(xùn)練和測(cè)試模型的‘已知的恐怖分子’數(shù)量非常少，”Ball說(shuō)道，“如果他們測(cè)試模型時(shí)使用的記錄與訓(xùn)練模型時(shí)使用的一樣，那么他們對(duì)擬合性的評(píng)估就是徹頭徹尾的胡說(shuō)八道。通常的做法是，一開(kāi)始就從數(shù)據(jù)集中分離出一部分?jǐn)?shù)據(jù)、不參與訓(xùn)練過(guò)程，這樣的話測(cè)試時(shí)用到的記錄就是這個(gè)模型從未見(jiàn)過(guò)的了。如果沒(méi)有這一步，他們對(duì)分類效果的評(píng)估就樂(lè)觀到可笑了。”
這么說(shuō)是因?yàn)椋?0萬(wàn)名居民是隨機(jī)選擇出來(lái)的，而7名恐怖分子則來(lái)自于一個(gè)已知的小群體。隨機(jī)選擇出不到總體的0.1%的迷你數(shù)據(jù)子集，那么居民們的社交圖譜密度就會(huì)大幅降低，但是“恐怖分子”群體內(nèi)部的關(guān)聯(lián)度仍然很高。科學(xué)上可靠的統(tǒng)計(jì)分析會(huì)要求NSA在隨機(jī)選擇子集之前就將恐怖分子混入普通居民的數(shù)據(jù)集中——但是由于恐怖分子的數(shù)量過(guò)少，這沒(méi)有實(shí)際操作意義。
這可能聽(tīng)起來(lái)僅僅是一個(gè)學(xué)術(shù)問(wèn)題，但是，Ball說(shuō)道，這實(shí)際上高度傷害了結(jié)果的質(zhì)量，并*終傷害了將從人群中預(yù)測(cè)出恐怖分子并將之暗殺的準(zhǔn)確程度。在這種情況下，進(jìn)行質(zhì)量評(píng)估是尤為重要的，因?yàn)槲覀冎离S機(jī)森林法會(huì)過(guò)擬合它的訓(xùn)練集，產(chǎn)生過(guò)度樂(lè)觀的結(jié)果。因此NSA的分析并不能很好地展現(xiàn)出這個(gè)方法質(zhì)量如何。
揭秘：美國(guó)天網(wǎng)文檔泄露，機(jī)器學(xué)習(xí)算法或錯(cuò)誤殺害數(shù)千人
在5500萬(wàn)人中，0.18%的誤報(bào)率意味著99000名無(wú)辜民眾被錯(cuò)誤地標(biāo)記為“恐怖分子”。
如果能夠允許漏報(bào)的人（真正的“恐怖分子”）存活下來(lái)一半，那么NSA 0.18%的誤報(bào)率依然意味著成千上萬(wàn)的無(wú)辜者被錯(cuò)誤地分類為“恐怖分子”，并可能為他們帶來(lái)死亡的命運(yùn)。即便是NSA*樂(lè)觀的結(jié)果——0.008%的誤報(bào)概率——也仍然意味著許多無(wú)辜民眾的死亡。
“誤報(bào)率的那張幻燈片上，注意**一行，寫著‘+固定的選擇器（Anchory Selectors）’，”Danezis對(duì)我們說(shuō)，“這是關(guān)鍵，而具體的數(shù)字卻沒(méi)有報(bào)道……如果你對(duì)5500萬(wàn)人口應(yīng)用0.18%的誤報(bào)率，你實(shí)際上可能會(huì)殺害成千上萬(wàn)的無(wú)辜民眾（5500萬(wàn)的0.18%是99000）。然而，如果你是在一個(gè)你已經(jīng)預(yù)測(cè)是恐怖主義盛行的群體上應(yīng)用這個(gè)誤報(bào)率——因?yàn)椋热缯f(shuō)他們位于一群恐怖分子的兩跳鄰居關(guān)系（two-hop neighbourhood）之內(nèi)——那么你殺死的無(wú)辜民眾會(huì)少一些。
除于明確反對(duì)“殺死多少無(wú)辜者是可以被接受的”這個(gè)話題，這也假定了一個(gè)前提：有許多恐怖分子需要被識(shí)別出來(lái)。“我們知道，在一個(gè)群體中，‘真正的恐怖分子’的比例是非常小的，”Ball指出，“正如Cory說(shuō)的那樣，如果這個(gè)前提不是正確的，那么我們都已經(jīng)（被他們殺）死了。所以，很小的誤報(bào)率也會(huì)讓很多人被錯(cuò)誤地認(rèn)為是恐怖分子。”
“更重要的一點(diǎn)是，”Ball補(bǔ)充道，“這個(gè)模型完全忽略了‘真正的恐怖分子’中那些與用來(lái)訓(xùn)練模型的‘真正的恐怖分子’在統(tǒng)計(jì)上表現(xiàn)極為不同的家伙。”
｜在大多數(shù)案例中，0.008%是個(gè)不錯(cuò)的出錯(cuò)率
0.008%的誤報(bào)率對(duì)于傳統(tǒng)的商業(yè)應(yīng)用而言是非常非常低的。當(dāng)出錯(cuò)的結(jié)果是把廣告投放到錯(cuò)誤的人身上、或是向某人錯(cuò)誤地收取高昂的會(huì)員價(jià)時(shí)，這個(gè)誤報(bào)率是可以接受的。然而，即使是0.008%的巴基斯坦人口，也意味著有15000人可能會(huì)被誤判為恐怖分子并成為軍隊(duì)的打擊目標(biāo)——更不用說(shuō)無(wú)意中被卷入暗殺的路人，或者首先來(lái)到現(xiàn)場(chǎng)的先遣急救員（first responders）了。
安全專家Bruce Schneier表示同意。“大數(shù)據(jù)在政府層面的使用和企業(yè)層面的使用在本質(zhì)上就不同，”他告訴我們，“對(duì)精確度的要求意味著同一種技術(shù)可能不再適用。如果Google的應(yīng)用出了錯(cuò)，人們會(huì)看到不想買的汽車的廣告。而如果政府的應(yīng)用出了錯(cuò)，他們就會(huì)殺害無(wú)辜者。”
日內(nèi)瓦公約禁止殺害平民，美國(guó)是簽約國(guó)之一。然而，關(guān)于天網(wǎng)程序的許多方面仍然是未知的。例如，天網(wǎng)是一個(gè)閉環(huán)系統(tǒng)嗎，或者說(shuō)，對(duì)于它根據(jù)元數(shù)據(jù)篩選出的恐怖分子用戶，分析師是否會(huì)在暗殺實(shí)行前審查每一個(gè)用戶的檔案？是否有在致力于抓捕這些“恐怖分子”嫌疑人、對(duì)他們開(kāi)庭審判？鑒于生成獵殺名單的機(jī)器學(xué)習(xí)算法有明顯缺陷，美國(guó)政府如何要確保它不會(huì)殺害無(wú)辜的人？
“對(duì)于使用天網(wǎng)是否是一種戰(zhàn)爭(zhēng)罪行這件事，我尊重律師的看法，”Ball說(shuō)道，“這是壞的科學(xué)，該死的這毫無(wú)疑問(wèn)，因?yàn)榉诸愒诒举|(zhì)上就是概率性的。如果你要判處一個(gè)人死刑，通常我們有一個(gè)‘超出合理懷疑’的標(biāo)準(zhǔn)，這和你談?wù)摲謹(jǐn)?shù)接近“可能的恐怖分子”的那些人，完全就不是一回事。而這假定了分類器處在篩選恐怖分子的流程的**階段——我很懷疑這樣的設(shè)置，因?yàn)椋芎?jiǎn)單，我們沒(méi)有足夠的“已知的恐怖分子”的例子，來(lái)讓隨機(jī)森林為它們生成一個(gè)不錯(cuò)的模型。”
遭泄露的NSA幻燈片提供了強(qiáng)有力的證據(jù)，表明有數(shù)以千計(jì)的無(wú)辜民眾被貼上了恐怖分子的標(biāo)簽。被貼上標(biāo)簽以后會(huì)發(fā)生什么，我們就不知道了。我們不了解全貌，NSA也不怎么可能會(huì)幫我們填補(bǔ)這個(gè)空白。（我們?cè)?jīng)多次試圖從NSA那里獲得關(guān)于這個(gè)問(wèn)題的評(píng)論，但直到這篇文章刊發(fā)前它都沒(méi)有給出回應(yīng)）
算法正越來(lái)越多地統(tǒng)治著我們的生活。據(jù)
石家莊網(wǎng)站建設(shè)了解，從運(yùn)用“天網(wǎng)”的邏輯搜尋巴基斯坦的“恐怖分子”，到運(yùn)用相似的方法在國(guó)內(nèi)搜尋“毒販”、“抗議者”或者只是對(duì)政府持有異議的人士，只需要邁出小小的一步。“基于元數(shù)據(jù)”來(lái)殺人，正如Hayden說(shuō)的那樣，當(dāng)它發(fā)生在遙遠(yuǎn)的土地上的時(shí)候是很容易被人忽略的。但當(dāng)天網(wǎng)應(yīng)用在我們身上的時(shí)候會(huì)發(fā)生什么——如果它現(xiàn)在還沒(méi)有的話？
|