爬取js的必要性在這里就不必多說了,也就是直接請求html并不會返回js所加載的數據,只有經過瀏覽器渲染后才回出現數據,比如在http://s.tool.chinaz.com/same 查詢出的數據是經過js加載的(一方面為了數據不會被搜索引擎爬取,另一方面降低服務器并發負載)。 這種情況python一般可以用PhantomJS實現,這個工具…繼續閱讀 »