pot爬蟲工具是一款下載爬蟲的工具,使用Electron制作封包,軟件有點(diǎn)大,圖標(biāo)也沒去改,軟件直接用Compiler的抓取的。再麻煩點(diǎn)就使用selenium解決js的異步 加載問題。相對(duì)比較大型的需求才使用框架,主要是便于管理以及擴(kuò)展等。
軟件說明
一個(gè)為了爬取網(wǎng)站數(shù)據(jù),提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架。 可以應(yīng)用在包括數(shù)據(jù)挖掘,信息處理或存儲(chǔ)歷史數(shù)據(jù)等一系列的程序中。
軟件功能
其最初是為了頁(yè)面抓取(更確切來說網(wǎng)絡(luò)抓取)所設(shè)計(jì)的, 也可以應(yīng)用在獲取API所返回的數(shù)據(jù)或者通用的網(wǎng)絡(luò)爬蟲。