pot爬蟲工具是一款下載爬蟲的工具,使用Electron制作封包,軟件有點大,圖標也沒去改,軟件直接用Compiler的抓取的。再麻煩點就使用selenium解決js的異步 加載問題。相對比較大型的需求才使用框架,主要是便于管理以及擴展等。
軟件說明
一個為了爬取網站數(shù)據(jù),提取結構性數(shù)據(jù)而編寫的應用框架。 可以應用在包括數(shù)據(jù)挖掘,信息處理或存儲歷史數(shù)據(jù)等一系列的程序中。
軟件功能
其最初是為了頁面抓取(更確切來說網絡抓取)所設計的, 也可以應用在獲取API所返回的數(shù)據(jù)或者通用的網絡爬蟲。