数据采集 2019 - 静态动态网站数据 批量采集下载工具

Python

数据采集 2019 - 静态动态网站数据 批量采集下载工具

截止 2018 年 05 月最新版本为 2018.5 版。

下载-解压后点击 "digital_collect.exe" 即可使用，无需单独安装

After download-decompression, click on "digital_collect.exe" to use, no need to install separately

首次使用会提示安装 "Microsoft Visual C++ 2015 Redistributable" 及 "Adobe Flash Player"

First use will be prompted to install "Microsoft Visual C ++ 2015 Redistributable" and "Adobe Flash Player"

自动 "批量" 挖掘 "深网 暗网" 内容的爬取 "数据采集" 工具

http://collect.digitser.cn/

http://forum.digitser.cn/thread-2253-1-1.html

软件仓库

https://github.com/digitser

https://digitser.sourceforge.io/

https://pan.baidu.com/s/1TV70__Be1ta0ney1-tudFQ

主要特性


通用特性


发展历史

时间	版本	说明	备注
2015.05	2015	Digitser 团队在研究 "工业4.0 大数据" 时，有意无意中发现了大幅提高工作效率的最佳方式	研发了一系列原型测试脚本，此时，还没有 GUI 图形用户界面
2016.05	2016	"首选项窗口" 可一键切换 "标准-CMD 调试" 模式 GUI (图形用户界面)，方便 "调试 编写" 插件、脚本 Digitser 团队开发出了具有一些 "工业4.0 大数据" 理念的 App 原型产品，并开始系列化 "小程序" 自带无重要操作 "5 分钟" 倒计时 "自动退出" 功能 App 所有 "菜单" 可撕离，方便随时调用其下功能	采用 Python2.7 作脚本-插件编程语言 采用 "Apple 公司 Safari" HTML5 浏览器核心及 Qt4.8/C++ GUI 框架开发
2017.05	2017	"数据采集" 产品逐渐成熟，开始对外 "实名认证-授权" 发布 添加了很多 Python QT/C++ HTML5 BootStrap3 "代码开发" 流程优化相关小程序 "高速模式" 小程序会根据 "CPU 运行" 情况调用 "CPU 线程" (最多调用所有线程 100% CPU 资源) 还有一些其它功能小程序，譬如：文本批处理、版本管理、编码转换、文件处理、RE 正则表达式、语音助理等	采用 Python3.4 作脚本-插件编程语言 采用 "Apple 公司 Safari" HTML5 浏览器核心及 Qt4.8/C++ GUI 框架开发
2017.11	2018	此为过渡版本 完善帮助文档-视频教程 把性能可优化小程序升级到 "高速模式"	采用 Python3.4 作脚本-插件编程语言 采用 "Apple 公司 Safari" HTML5 浏览器核心及 Qt4.8/C++ GUI 框架开发
2018.01	2018.5	完善帮助文档-视频教程 新增网站下载、网站爬取等小程序 为 Python HTML 选项卡添加 "字符补全" 功能 所有 App 首次采用 "暗黑色 (保护视力)" 全扁平化外观 开始全面兼容 HTTPS 协议，把性能可优化小程序升级到 "高速模式" 新增 Python2.x 3.x 代码 "运行-调试"，Python Shell 及 Windows CMD 交互功能	采用 C 编程语言优化核心运行效率 采用 Python3.5 作脚本-插件编程语言 采用 "Google 开源 Chromium" HTML5 浏览器及 Qt5.9/C++11 GUI 框架开发
待定	2019		采用 C 编程语言优化核心运行效率 采用 Python3.5 作脚本-插件编程语言 采用 "Google 开源 Chromium" HTML5 浏览器及 Qt5.9/C++11 GUI 框架开发

"长按二维码" 或 "扫一扫" 关注 "德云社区" 微信公众号

x1ax1a

中国智能工业化的世界就要到来了