其實開發(fā)網(wǎng)絡爬蟲并不是很難，可以說沒有技術含量，難點復雜的問題（比如DOM樹解析定位、字符集檢測、海量URL去重）都已經(jīng)被前人解決了，包括代碼本身也很簡單。網(wǎng)絡爬蟲類似于游走在機器的文件查找你需要的文件信息，爬蟲任何人都可以做，但一定需要穩(wěn)定操作并快速及時獲得成功，那就需要一樣東西動態(tài)ip。

 

首先爬蟲用戶比較關心的問題是：

 

1.爬蟲是否支持多線程，爬蟲能不能使用ip代理，能不能抓取重復數(shù)據(jù)。 爬蟲主要負責遍歷網(wǎng)站和下載頁面，爬取js產(chǎn)生的信息與網(wǎng)頁信息提取模塊有關，往往需要通過ip代理服務器來完成，通常需要花費大量時間來處理頁面，所以ip代理軟件就是一種策略是利用爬蟲來遍歷網(wǎng)站，遇到需要解析的頁面時，將頁面的相關信息提交給瀏覽器，完成對JS生成信息的提取。  

 

2. 爬蟲可以爬取ajax信息嗎？  

 

網(wǎng)頁上有一些異步加載的數(shù)據(jù)，有兩種方式抓取這些數(shù)據(jù)：使用ip代理軟件或者分析ajax http請求，生成ajax的url自己請求，獲取返回的數(shù)據(jù)。 如果您自己生成Ajax請求，那么使用開源爬蟲有什么意義呢？ 其實需要用到爬蟲的線程池和URL管理功能（比如斷點爬取）。  

 

3. 爬蟲如何提取網(wǎng)頁信息？  

 

爬蟲一般都集成了網(wǎng)頁提取工具,主要支持兩種類型的規(guī)范：CSS SELECTOR 和 XPATH。  

 

4. 爬蟲是如何保存網(wǎng)頁信息的？  

 

有些爬蟲自帶一個負責持久化的模塊。 可以通過簡單的配置，爬蟲提取的信息可以持久化到文件、數(shù)據(jù)庫等中，也有一些爬蟲不直接為用戶提供數(shù)據(jù)持久化模塊。 如 crawler4j 和 webcollector。 讓用戶在網(wǎng)頁處理模塊中添加提交數(shù)據(jù)庫的操作。

5. 爬蟲被網(wǎng)站屏蔽怎么辦？  

 

爬蟲被網(wǎng)站屏蔽了，一般可以采用動態(tài)ip就可以解決。 但是，如果你的爬蟲不直接隨機變動的代理ip地址切換，這樣的用戶往往需要用到靜態(tài)ip，使用固定ip地址來完成任務。

 

6. 網(wǎng)頁可以調用爬蟲嗎？  

 

在Web的服務器端調用爬蟲你可以像平常一樣使用它，這些爬蟲都可以使用。  

 

7. 爬蟲速度怎么樣？  

 

爬蟲速度慢，往往是因為用戶線程少，網(wǎng)速慢，或者持久化數(shù)據(jù)時與數(shù)據(jù)庫交互慢，這些東西往往是由用戶的機器和二次開發(fā)代碼決定的，這樣的爬蟲速度非常好。  

 

8. 如果代碼寫對了數(shù)據(jù)爬不出來，是不是爬蟲有問題？ 換別的爬蟲能解決嗎？  

 

如果代碼寫對了，數(shù)據(jù)爬不出來，改其他爬蟲一樣爬不出來。 在這種情況下，要么是網(wǎng)站屏蔽了你，要么是您抓取的數(shù)據(jù)是由 javascript 生成的，因為爬取的這份數(shù)據(jù)是無法通過改變爬蟲來決定的。  

 

爬蟲目前主要是用于詳細數(shù)據(jù)結構的設計，比如爬取線程池和任務隊列，大家都可以控制，所以我覺得，找一個好用的就好了，如果業(yè)務復雜的，就必須經(jīng)過復雜的二次開發(fā)才能滿足需求。由此可見，爬蟲爬取數(shù)據(jù)時，動態(tài)ip代理軟件是必不可少的可靠工具！