Portia - 用 Python 编写 无需编程知识的开源可视爬虫工具 Portia 是一个用 Python 编写无需任何编程知识,就能可视爬取网站数据的开源工具。无需下载或安装任何东西,因为,Portia 是运行在您的 Web 浏览器中。 Scrapinghub 的 Portia 项目完全开源且可被导出,还可用于其它开源项目,为用户提供所有自由和开放源码好处。 通过点击您想爬取的页面元素创建一个爬取模板,然后,Portia 会创建一个蜘蛛,从而对网站类似页面进行爬取。具体工作原理:首先,用 Portia 注解网页,以确定希望提取的数据;然后,Portia 会基于这些注解,理解如何从类似网页爬取数据。 Portia 是 scrapyhub 开源的一款可视化爬虫规则编写工具。Portia 提供了可视化的 Web 页面,只需通过简单点击,标注页面上需提取的相应数据,无需任何编程知识即可完成爬取规则的开发。这些规则还可在 Scrapy 中使用,用于抓取页面。 ![]() 运行 Portia 运行 Portia 的最简单方式,是使用 Vagrant。 自动 "批量" 挖掘 "深网 暗网" 内容的爬取 "数据采集" 工具 http://forum.digitser.cn/thread-2253-1-1.html 软件仓库 https://digitser.sourceforge.io/ https://pan.baidu.com/s/1TV70__Be1ta0ney1-tudFQ 先克隆 Portia 储存库:
然后,在 Portia 目录内,执行:
"长按二维码" 或 "扫一扫" 关注 "德云社区" 微信公众号 版权声明: 本文为独家原创稿件,版权归 德云社区,未经许可不得转载;否则,将追究其法律责任。 |