InfoSpider爬蟲工具箱

InfoSpider爬蟲工具箱可以幫助你從各大軟件和網(wǎng)站當中拿出你自己的數(shù)據(jù)內(nèi)容，本軟件需要在一定的編程知識下面才能夠進行使用，你需要通過各種庫來進行軟件的安裝，所支持的數(shù)據(jù)源非常的多，用戶能夠從這些數(shù)據(jù)源當中爬取你自己的數(shù)據(jù)內(nèi)容，感興趣的話就快來下載這款InfoSpider爬蟲工具箱！

InfoSpider爬蟲工具箱軟件

INFO-SPIDER 是一個集眾多數(shù)據(jù)源于一身的爬蟲工具箱，旨在安全快捷的幫助用戶拿回自己的數(shù)據(jù)，工具代碼開源，流程透明。支持數(shù)據(jù)源包括 GitHub 、QQ 郵箱、網(wǎng)易郵箱、阿里郵箱、新浪郵箱、Hotmail 郵箱、Outlook 郵箱、京東、淘寶、支付寶、中國移動、中國聯(lián)通、中國電信、知乎、嗶哩嗶哩、網(wǎng)易云音樂、QQ 好友、QQ 群、生成朋友圈相冊、瀏覽器瀏覽歷史、12306 、博客園、CSDN 博客、開源中國博客、簡書。

軟件特色

安全可靠：本項目為開源項目，代碼簡潔，所有源碼可見，本地運行，安全可靠。

使用簡單：提供 GUI 界面，只需點擊所需獲取的數(shù)據(jù)源并根據(jù)提示操作即可。

結(jié)構(gòu)清晰：本項目的所有數(shù)據(jù)源相互獨立，可移植性高，所有爬蟲腳本在項目的 Spiders 文件下。

數(shù)據(jù)源豐富：本項目目前支持多達24+個數(shù)據(jù)源，持續(xù)更新。

數(shù)據(jù)格式統(tǒng)一：爬取的所有數(shù)據(jù)都將存儲為json格式，方便后期數(shù)據(jù)分析。

個人數(shù)據(jù)豐富：本項目將盡可能多地為你爬取個人數(shù)據(jù)，后期數(shù)據(jù)處理可根據(jù)需要刪減。

數(shù)據(jù)分析：本項目提供個人數(shù)據(jù)的可視化分析，目前僅部分支持。

文檔豐富：本項目包含完整全面的使用說明文檔和視頻教程

安裝說明

安裝python3和Chrome瀏覽器

安裝與Chrome瀏覽器相同版本的驅(qū)動

安裝依賴庫 pip install -r requirements.txt

工具運行

進入 tools 目錄

運行 python3 main.py

在打開的窗口點擊數(shù)據(jù)源按鈕, 根據(jù)提示選擇數(shù)據(jù)保存路徑

彈出的瀏覽器輸入用戶密碼后會自動開始爬取數(shù)據(jù), 爬取完成瀏覽器會自動關閉.

在對應的目錄下可以查看下載下來的數(shù)據(jù)(xxx.json), 數(shù)據(jù)分析圖表(xxx.html)

相關新聞

通過編寫好的軟件在特定的網(wǎng)站也軟件當中爬取你自己所想要的內(nèi)容！