公司要弄自動化的掃描工具，目前市面上的工具都無法針對業務進行檢測，所以只能自己開發。辣么，就有個問題，爬蟲需要自己去寫。。。
之前自己也寫過相關的爬蟲，但是要么是半成品，要么就是垃圾代碼…很多都無法直接引用，所以，在強大的KPI考核下，強迫自己代碼重構。用Python寫起。
本身在爬蟲上輕車熟路，很輕易就寫出了一個根據多線程的爬蟲，完成整站掃描，但是問題來了，效率如何提高。仔細觀察下掃描的鏈接就發現，它爬取了很多鏈接，都是一些重復性比較高的鏈接，例如以下：
這些鏈接都是靜態的頁面，也就是一些新聞之類的，頁面架構的都差不多，這個情況我們自己知道，但是爬蟲是不了解的。它只是按照我們指定的規則去做，所以導致爬蟲效率降低。
在我預想的情況下，一些靜態的頁面，我們是可以減少抓取的，通過減少抓取我們可以提高整體的效率。例如：
http://www.xxx.com/news/ziyue/2014/1029/61069.html
http://www.xxx.com/news/ziyue/2014/1029/61070.html
http://www.xxx.com/news/ziyue/2014/1029/61071.html
這三個URL中，我們只需要抓取一條作為典型，完全就能達到我們的需求，不需要將所有的抓下來。因為大家都知道，這是偽靜態生成的。那么問題來了，該怎樣去做這個規則？小伙伴可能有想法說：“你怎么知道這種靜態頁面就一定架構一樣呢？” 好吧，我不確定，但是我有辦法去確定。現在就以上面的URL做個拆分了解下：
http://www.xxx.com/ 這個是host
/news/ziyue/2014/1029/ 這個是具體的目錄，或者說是具體的文章歸類。
61069.html 這個是具體的頁面。
上面分析后，小伙伴又有新的問題：“莫裝逼，你怎么知道人家的URL一定按照這個標準來？” 好吧，對此我整理了下我所發現的URL組合規則，目前很多URL都是以以下幾種方式組成的。
1）靜態頁面型：
http://[host]/xxx/xxx/xxx/[int|string].html
2）rewrite型：
http://[host]/xxx/xxx/xxx/[string|int]
3）目錄型:
http://[host]/xxx/xxx/xxx/Catalog/
4）不固定型:
http://[host]/xxx/xxx/xxx/file.[asp|php|aspx|do|jsp]?[string|int]=[string|int]
找到了這些規律后，應該考慮怎樣去把爬蟲的質量提升起來，降低重復率，然后就有了以下奇葩的實驗：
1）先建立規則：
2)?然后針對這些規則進行引用、測試。
運行結果諸如:
確實達到了我期望的結果…. 本文只是拋磚引玉，可能代碼略挫。各位大俠輕拍，射射。
【實驗前】
【實驗后】
