深網（Deep Web）覆蓋的內容包羅萬象，其中包括有動態網頁，已屏蔽網站（需要你回答問題或填寫驗證碼進行訪問），個人網站（需要登錄憑證才能進行訪問），非HTML/contextual/script內容和受限訪問網絡等等。但由于各種原因，Google等搜索引擎無法索引到暗網的內容。
諸如.BIT域名這一類受限訪問的網站所注冊的DNS（域名服務系統）根服務器不受ICANN（互聯網名稱與數字地址分配機構）管理。這些網站運行在非標準頂級域名的標準DNS服務器當中。想要訪問這些地下網絡（Darknets）需要通過Tor這類軟件來進行訪問。而這些地下網絡活動是組成深網大部分共同的利益的基礎。
深網的用途
聰明人在網上購買毒品的時候是不會在普通瀏覽器輸入這些敏感的關鍵字的。因此，他需要一種不公開的IP地址和物理地址的匿名上網方式進行非法活動。同樣的，毒品的賣家也不想在網上開店后被人查出具體位置。如果注冊的域名或網站的IP地址是真實存在，那么很容易就會被查水表。
除了購買毒品的需求以外還有其它很多原因需要使用到匿名上網。比如：有人想要從政府的監控中跟他人進行秘密通訊，知情人想要向記者透露爆炸性新聞但不想暴露自己的身份，某些政治制度嚴格的國家的不同政見人士想要安全地向全世界告知他們國家正在發生什么事情。這些原因都致使他們用到深網的匿名功能。
另外，那些公眾人物想密謀暗殺他人需要保證自身不會留下什么尾巴。其它需要保持匿名的非法服務還有類似販賣非法護照和信用卡。同樣，那些要泄露他人的私人信息的猥瑣佬也要通過匿名的方式保證自身安全。
表網 VS 深網
討論深網的時候一個不得不說的概念就是“表網（Clear Web）”。它與深網完全相當，能夠被傳統的搜索引擎索引，可以通過無需任何特殊配置的標準Web瀏覽器瀏覽Internet。這種稱之為“可搜索互聯網（searchable Internet）”便是表網。
暗網 VS 深網
很多人誤解暗網（Dark Web）與深網（Deep Web）兩個概念，甚至一些研究人員把它們當成等價關系。但是！！暗網不是深網！！它僅僅只是深網的一部分。暗網依賴于地下網絡。在暗網，兩者之間的通訊網絡是受信的。Tor的“無形的互聯網”項目（Invisible Internet Project（I2P））便是一個暗網系統的例子。
深網分析器（DeWA）是為了追查惡意軟件的作者，探索新的惡意威脅，提取深網中有意義的數據，搜查新的惡意軟件活動等目標而設計的。
深網分析器包含五個部分：
System Overview
數據分析模塊
深網分析器的第一個模塊是數據收集模塊，數據收集模塊通過下面的主站爬取新的URL：
我們的監測系統的數據基于：
數據收集模塊在發現新域名后生成數據索引，同時還對各個URL組件進行流量分析。這些分析操作能夠使我們發現新的惡意軟件活動。
通用深網網關
前面我們已經提到過，深網的資源很難爬取。需要通過TOR和I2P這類專用軟件代替DNS和TLD作為網絡地址解析工具。為了方便快速訪問深網的資源，我們部署了一個Charon（一個可以使用URL發送HTTP請求到目標服務器的透明代理服務器）。
根據URL的種類，Charon連接到：
頁面偵察
對于每個收集到的URL都要執行“偵察”操作。即嘗試連接到URL并保存響應的數據。當發生錯誤的時候，偵察器保存所有錯誤信息供使用者查看錯誤是由域名解析，服務器端錯誤或傳輸失敗等原因造成的。HTTP請求失敗之后，偵察器會保存整個HTTP頭部，這個頭部可以用來偵察惡意軟件對應的主機。當然，這種情況只是針對特定的HTTP請求。
當成功的時候，偵察器使用無界面瀏覽器（Headless Browser）從下載下來的頁面提取相關的信息：
數據富集
數據富集（Data Enrichment）由偵察的數據組成，針對每個偵察成功的頁面執行以下操作：
聚類算法生成的WordCloud就已經包含了重要的信息。該算法的工作流程如下：
數據富集模塊讓分析人員可以快速從一個網頁當中獲得主旨。
存儲和索引
訂閱的URL和偵察的信息都根據不同標準的索引方式保存到Elasticsearch集群。偵察信息作為每個網頁文檔的索引，并由Elasticsearch提供搜索功能。這種關聯關鍵字的方式通過文本查詢就可以搜索成千上萬的網頁。每個URL組件的URL信息也作為統計信息保存起來，它可以用于確定一個系統的主機名以及查看這個URL的流行程度。其它用途還有：給定一個主機名和參數就可以查看它第一次訪問情況，或者找出哪些URL訪問次數最頻繁等等。
UI和可視化
為了訪問和操作數據，我們需要借助三個不同的前端系統：
在本節當中，我們將展示一些用我們的系統收集到的深網應用場景。
首先先來看下在過去兩年間收集到的所有現有深網網頁的語言分布情況。
有兩種方法可以進行語言檢測：一是使用Python的第三方guess_language模塊，它基于Trigram算法實現，并支持離線使用。二是使用Google翻譯。在使用的時候需要比較兩者的探測質量避免造成數據偏差。例如，Google翻譯有“未知語言（當網頁沒有數據的時候）”的概念。而且默認情況下是使用英語。因此一個不慎就容易造成巨大的數據偏差。
下圖顯示網頁語言的分布情況，在統計的時候我們已經過濾掉小于1KB的數據量的語言（因為數據量太小說不上話）。
可以看到深網網頁主要以英文為主，在所有域名當中占到75%。第二是俄國，然后是法國（可能包括法國和加拿大）。
接下來我們看一下過去兩年間收集到的所有域名的URL調用方法（HTTP，HTTPS，FTP...）。HTTP（s）協議占到了22.000。如果過濾掉這些數據，可以看到如下圖所示的有趣數據：
超過100個站點使用了IRC(S)協議。這些都是正常的聊天服務器。當然，它們也可以作為進行違法交流場或作為僵尸網絡（Botnet）的通信渠道使用。同種類型的還有運行在TOR的聊天服務器的7 XMPP（類似Jabber所使用的）域名。
一些深網犯罪活動的例子
深網里面提供非常好的翻譯環境供人們交易商品或服務，并提供保證人們在交易時的匿名性。雖然缺乏身份證的交易雖然存在很大的風險，但同時也提供了相對的安全性。這種方式使得深網網民可以自由地販賣交易非法商品或服務。此外，不同于地下網絡犯罪，深網大多數活動都對“真實世界”起著重大的影響作用。
在這里我們無法擔保這些商品或服務的真實性，只針對性討論那些真實存在的網站廣告。而且我們無法覆蓋所有產品和服務，在這里主要介紹幾個重要的交易類型。
販賣護照和國籍
即使是假的護照或身份證也是非常好用的證件。這些證件不單單可以用于出國（包括買家不容易出現交叉），也可以用于開設銀行賬戶，申請貸款，購買房地產等等。所以毫無疑問，護照和身份證都是一種很有價值的商品。有幾個深網網站都聲稱它們出售正式的護照和身份證，價格在不同國家和不同賣家之間也各不相等。
這類服務很難保證說沒人購買。特別是那些在異國他鄉但護照身份證被騙/盜/丟失的人為了繼續留在該國家可能就會購買這些非法證件。
USA Citizenship for sale for under 6000 USD http://xfnwyig7olypdq5r.onion/
Pricing information and samples for fake passports and other documents http://fakeidigyiumbgpu.onion
參考：
盜賣帳號
盜賣帳號絕不僅限于深網，表網地底下這種類型的交易也很常見。在過去我們寫了大量關于俄羅斯和中國這方面的報告。其中，信用卡、銀行賬戶，在線拍賣網站和游戲可能是最常見的盜賣帳號類型。
表網上不同的網站之間價格也相差甚大。但成熟的商品往往都會有一個人們普遍接受的定價標準。通常會有兩種售賣方式：高質量經過已驗證的帳號，但需要提供明確的帳號余額。大量未經驗證的帳號，但需要保證至少一部分有效。第一種銷售方式成本雖然高了一些，但可能帶來更多的高質量的買家。而批發帳號售價會相對便宜一些。
Unverified accounts sold in bulk – 80% valid or replacement offered http://3dbr5t4pygahedms.onion/
可以發現深網出售的商品都能在表網找到對應的商品。所以說表網不是沒有這種類型論壇，只是深網上看起來逼格更高一些。
Replica credit cards created with stolen details http://ccccrckysxxm6avu.onion/
參考：
暗殺服務
這也是深網里面最黑暗的服務之一，這類服務提供暗殺服務和殺手出租服務，如果放在表網上那絕對是愚蠢至極。深網存在幾個這樣的服務提供商，而且在他們網站也公開說明他們是如何保證業務的機密性。一個網站明確說明：它們不提供殺手們過去的工作證明，以及以往的客戶反饋情況和暗殺成功的證明。相反，他們使用比特幣作為信譽象征。最后，只有當殺手展開暗殺并提供證明，才能獲得傭金。
C’thulu Resume – Assassination Services for Hire http://cthulhuuap7ch47k.onion
從上圖可以看到，服務的價格隨著目標的死亡方式，受傷方式和地位的不同而不同。最近，Ross Ulbricht就因利用絲綢之路進行販毒被判刑而企圖雇傭五個殺手干掉他的合伙人。
還有另外一種不同的服務，稱之為“眾包暗殺”。在DeadPool這個網站里面，用戶提出潛在的暗殺目標，然后其他人向“死亡之池”扔比特幣。暗殺者預測目標大概什么時候以什么方式死亡。如果這個人確實死了，而且符合預測的結果，那么暗殺者就可以獲得這筆錢。至今為止已經提出了四個名字，然而還沒有錢進入池中。我們可以猜測這是一個釣魚網站。
Deadpool – Crowd Sourced Assassination http://deadpool4x4a25ys.onion
參考：
比特幣和洗錢
比特幣（Bitcoin）本身是為了匿名流通而設計的貨幣。因此它經常使用在購買非法商品或服務上面（當然也可以購買合法的東西）。雖然只要不把比特幣跟你的真實身份打上掛鉤就可以保證在交易的匿名性。但是，每筆比特幣的交易都是完全公開的。所以，盡管比較困難，調查人員追查資金的流通情況還是可行的。
有一些服務可以提高你的貨幣在系統中的匿名性，使得這些貨幣流通情況更難以追查。這些服務通常把你的貨幣在網絡蜘蛛上進行微交易后再返回到你手上。在這個過程你會丟失少許貨幣（通常減去少量的手續費），但可以使得你的交易過程變得更加難以追查。
EasyCoin – Bitcoin laundery service http://easycoinsayj7p5l.onion
比特幣洗錢服務可以提高資金在比特幣系統流通的匿名性。但人們最希望的還是從系統從把比特幣通過其它方式轉換為現金。深網有轉換現金的匿名服務：它們基本都是通過Paypal，ACH，西聯匯款或者直接發送郵件給你現金。
WeBuyBitcoins – Exchanging Bitcoin for cash or electronic payments http://jzn5w5pac26sqef4.onion
像WeBuyBitcoins這類網站在表網提供非匿名但相對較高的匯率的交易。對于犯罪分子來說可能原意承擔更大的風險獲得更多的現金。另外還有一種選擇是：使用比特幣購買假幣。
Buying counterfeit 20 USD for approximately half the price of face value http://usjudr3c6ez6tesi.onion
參考：
泄漏政府，執法部門，法人的信息
黑客文化是一種一群志同道合的人組成的松散式或封密式的組織。由于這種性質，組織之間很容易發生競爭沖突。發生沖突時“Dox”對方是一種常見的做法，Dox是指通過計算機檢索，黑客等行為把對方的個人信息發布到網絡上。獲取對方個人信息方法有很多，但通常會結合公共數據，社會工程學和黑客攻擊幾種方法收集對方的個人信息。
Cloudnine Doxing site – note it requests SSN, medical & financial info and more http://cloudninetve7kme.onion
但是Dox現象不僅限于黑客之間，針對敵手公司，名人，公眾人物的Dox也是很常見的。暴露的信息也不僅限于黑客獲取到的信息，也可能是內部人員透露的。一般情況下都把信息提交到維基解密（Wikileak）上。深網也有這種類型的網站，允許提交這些信息。
很難保證這些信息的真實性。但通過泄漏的信息包括：生日，SSN，個人email地址，手機號碼，居住地址等等。Cloud Nine這個網站列出了一些可能“Dox”信息：
Apparent personal email account of Barack Obama (unverified) http://cloudninetve7kme.onion
Apparent leaks of LEA (unverified) http://cloudninetve7kme.onion
A leak for Kim Kardashian among other hacker related dox http://cloudninetve7kme.onion
參考：
病毒
正如前面提到過的，深網最常見的就是販賣毒品和武器。但在這篇文章中我們不打算深入探討這些細節，因為已經有很多文章報告了深網販賣病毒的事情。但我們想強調的是，即使是運維“絲綢之路”販賣毒品的Ross Ulbricht最近也被判無期徒刑。販賣毒品對于本文分析深網的分量來說并不是很重要。
深網里面販賣的毒品類型眾多，有煙草，大麻，迷藥，可卡因等等。
The Peoples Drug Store – selling Heroin, Cocaine, Ectasy and more http://newpdsuslmzqazvr.onion
Grams – the Deepwebs search engine for drug http://grams7enufi7jmdl.onion
除了專門的商店和討論外，還有一個非常受歡迎的網站“Grams”。網站風格有些類似Google，而且提供簡單的搜索引擎允許搜索毒品。它在深網里面已經成為那些想購買毒品的人的旗幟性網站。
我們甚至發現TOR里面有些網站還提供大麻的培植環境：現場的溫度，水分，還有植物的生命周期。
Growhouse – showing temperature and live streaming of Cannabis plant http://growboxoo2uacpkh.onion
Drugs dealer in the Deep Web
我們只所以要在這一節介紹深網里面的毒品報告是因為想強調：就像絲綢之路一樣，它會記錄下你的犯罪行為。深網根本上并不是一個好的解決方案。一方面買家希望向你購買毒品，另一方面還需要有賣家提供貨源。市場和論壇只是作為一個交易轉接點，你要是不想使用它，那么只要商品的雙方需求量夠大，立刻會有其它市場伴隨需求而誕生。
參考：
惡意軟件
深網和惡意軟件之間在許多方面上能夠完美結合在一起。特別是當使用深網作為C&C控制服務器基礎設施使用的時候能夠利用TOR和I2P強大的加密功能隱藏位置信息保證網站和服務的匿名性。這使得調查人員很難使用傳統的方式檢查服務器IP地址和登錄詳情等等。此外，這些網站和服務使用起來很簡單。所以不必驚訝為什么那么多網絡犯罪分子使用TOR作為C&C。通常惡意軟件捆綁了TOR的客戶端。這種趨勢最早在2013年開始，當時MEVADE惡意軟件還造成了TOR流量劇增，2014年之后流行的是類ZBOT惡意軟件家族。
舉個例子，VAWTRAK惡意軟件是一種通過釣魚郵件進行擴散的銀行木馬。每個樣本都使用C&C服務器提供的IP地址列表進行通訊，IP地址列表向TOR主機網站下載（通常是一個icon文件，一般命名為favicon.ico）。這種方式的好處是保證犯罪服務器的匿名性。但這不是所有人都能訪問，只有那些受到病毒感染的系統才能訪問C&C服務器。
Vawtrak C&C showing the legitimate looking Favicon http://4bpthx5z4e7n6gnb.onion/favicon.ico
web服務器通過favicon.ico文件配置C&C控制服務器（大多數運行在openresty/1.7.2.1）。我們可以通過搜索這些網站的完整列表下載每天最新的C&C。
Example of fetched HTTP headers from C&Cs
Identified TOR-based C&Cs (1)
Identified TOR-based C&Cs (2)
另一個使用深網的惡意軟件是CryptoLocker。CryptoLockeree是一款ransomware勒索軟件的變種，它通過加密受害者的個人文檔和資料，并在受害者再次訪問的時候重定向到它的網站以達到勒索目的。CryptoLocker可以自動調整付款頁面的語言和支付手段。TorrentLocker是CryptoLocker的變種，它使用TOR作為主機，并使用比特幣作為支付方式。這就說明了為什么犯罪分子為什么要使用深網作為基礎設施，因為它確實更加安全。下面的截圖是深網分析器捕獲到的兩種語言的付款頁。
Cryptolocker C&C automatically formatted for a victim in Taiwan and Italy http://ndvgtf27xkhdvezr.onion
Breakdown by Victims and Countries
下面是一個有關惡意軟件盜取機密信息的例子。在我們的搜索方法當中，我們使用一個最近和最短的時間窗口作為查詢字符串，這樣我們可以快點發現深網里面新的威脅。
在這個例子中，xu和xd兩個參數在過去一周人氣劇增。xu關聯超過1700個的字典值并組成二進制對象文件。進一步觀察發現，xu使用NionSpy竊取授權憑證（通常是網上銀行等），然后收集鍵盤記錄并發送到深網中。與此同時，xd用于注冊感染新的僵尸網絡。注冊信息包含受害者機器名和操作系統版本號，通信的參數類似下面的JSON字符串：
[REDACTED]2xx.onion:80/si.php?xd={“f155”:”MACHINE IP”,”f4336”:”MACHINE NAME”,”f7035”:”5.9.1.1”,”f1121”:”windows”,”f6463”:””,”f2015”:”1”}
通過泄漏出來的數據收集分析注冊相關的信息，構建顯示每天新增的受害者圖表。
Automated Analysis on Prevalent Query-String Parameters
Number of new Infections (and Leaked data, in bytes) per day.
最后值得一提的是：一款名為Dyre的木馬將I2P作為C＆C服務器的備份選項。正常情況下則使用表網的DGA。這個木馬作為一個BHO的MiTMs運行在瀏覽器的網上銀行上。攻擊者可以通過后門訪問受到感染的受害者銀行門戶。DeWA介紹這個惡意軟件的時候說到：在過去的6個月間，受到I2P感染的受害者的數量明顯增加。
Traffic to Dyre’s I2P infrastructure.
參考：