开源爬虫 ── 专业、强大的万维网资源定向抓取、爬抓工具

网络爬虫 又称网页蜘蛛、网络机器人、在 FOAF 社区常称网页追逐者。网络爬虫 是一种按照一定规则，自动抓取万维网信息的程序或脚本。另外一些不常使用名称还有蚂蚁、自动索引、模拟程序或蠕虫。

随着网络的迅速发展，万维网成为大量信息的载体，如何有效提取并利用这些信息成为一个巨大挑战。搜索引擎 (Search Engine)，譬如：传统搜索引擎 AltaVista、Yahoo!、Google、百度、360 搜索、好搜、搜狗、Bing 等作为辅助人们检索信息的工具，已成为用户访问万维网的入口和指南。但是，这些通用搜索引擎也存在一定局限性。譬如：

01、不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心网页；

02、通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深；

03、万维网数据形式丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取；

04、通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。

为解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关链接，获取所需要的信息。与通用爬虫 (general purpose web crawler) 不同，聚焦爬虫并不追求大的覆盖率，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

网路爬虫是搜索引擎的核心，他们的算法和结构上的细节被当作商业机密。当爬虫的设计发布时，总会有一些为了阻止别人复制工作而缺失的细节。人们也开始关注主要用于阻止主要搜索引擎发布他们的排序算法的 “搜索引擎垃圾邮件”。

爬虫通常会执行几种类型的 URL 规范化来避免重复抓取某些资源。URL 一般化也被称为 URL 标准化，指的是修正 URL 并使其前后一致的过程。这里有几种一般化方法，包括转化 URL 为小写的，去除逗号（如 ‘.’  ‘..’ 等），对非空的路径，在末尾加反斜杠。

网络爬虫通过使用 http 请求的用户代理 (User Agent) 字段来向网络服务器表明他们的身份。网络管理员则通过检查网络服务器的日志，使用用户代理字段来辨认哪一个爬虫曾经访问过以及它访问的频率。

用户代理字段可能会包含一个可以让管理员获取爬虫更多信息的 URL。邮件抓取器和其他怀有恶意的网络爬虫通常不会留任何的用户代理字段内容，或者他们也会将他们的身份伪装成浏览器或其他知名爬虫。

对于网路爬虫，留下用户标志信息十分重要；这样，网络管理员在需要的时候就可以联系爬虫主人。有时，爬虫可能会陷入爬虫陷阱或使一个服务器超负荷，这时，爬虫主人需要使爬虫停止。对那些有兴趣了解特定爬虫访问时间网络管理员来讲，用户标识信息是十分重要的。

开源爬虫

在网络爬虫系统框架中，主过程由控制器、解析器、资源库 3 部分组成。控制器的主要工作是负责给多线程中的各个爬虫线程分配工作任务。解析器的主要工作是下载网页，进行页面的处理，主要是将一些 JS 脚本标签、CSS 代码内容、空格字符、HTML 标签等内容处理掉，爬虫的基本工作由解析器完成。资源库是用来存放下载的网页资源，一般采用大型数据库存储，如 Oracle 数据库，并对其建立索引。

01、控制器

控制器是网络爬虫的中央控制器，它主要是负责根据系统传过来的 URL 链接，分配一线程，然后启动线程调用爬虫爬取网页的过程。

02、解析器

解析器是负责网络爬虫的主要部分，其负责的工作主要有：下载网页功能，对网页文本进行处理；譬如：过滤功能、抽取特殊 HTML 标签的功能、分析数据功能。

03、资源库

主要是用来存储网页中下载下来的数据记录的容器，并提供生成索引的目标源。中大型的数据库产品有：Oracle、Sql Server 等。

其它爬虫