网络爬虫的设计

网络爬虫的设计与实现

王　娟，吴金鹏

（）贵州民族学院计算机与信息工程学院，贵州贵阳５５００２５

摘　要：搜索引擎技术随着互联网的日益壮大而飞速发展。作为搜索引擎不可或缺的组成部分，网络爬虫的作用显

它的性能直接决定了在庞大的互联网上进行网页信息采集的质量。设计并实现了通用爬虫和限定爬得尤为重要，虫。

关键词：网络爬虫；通用爬虫；限定爬虫

（）中图分类号：ＴＰ３９３　　　　　文献标识码：Ａ　　　　　文章编号：１６７２７８００２０１２００４０１３６０２－－－

先爬虫就是从一系列的种子节点开始，把这些网页中的

０　引言

网络爬虫也称网络蜘蛛，它为搜索引擎从万维网上下载网页，并沿着网页的相关链接在Ｗ是一ｅｂ中采集资源，

也是搜索引擎的重要组个功能很强的网页自动抓取程序，

成部分，爬虫设计的好坏直接决定着整个搜索引擎的性能及扩展能力。

网络爬虫按照系统结构和实现技术，大致可以分为：通用网络爬虫、主题网络爬虫、增量式网络爬虫、深层网络爬虫。实际应用中通常是将几种爬虫技术相结合。

“子节点”提取出来，放到队列中依次进行抓取。被访问过过程如图２所示

。

的节点放入到另一张表中，

　　

图１　通用爬虫工作流程　　　　图２　宽度优先爬虫过程　　　

１．３　爬虫队列设计

爬虫队列设计是网络爬虫的关键。因为爬虫队列要

１　通用爬虫的设计与实现

１．１　工作原理

所以依靠本地链表或者队列肯定是不存储大量的ＵＲＬ，够的，应当寻找一个性价比高的数据库来存放ＵＲＬ队列，ＢｅｒｋｅｌｅＤＢ是目前一种比较流行的内存数据库。根据爬ｙ　

虫的特点，Ｈａｓｈ表成为了一种比较好的选择。但是在使用Ｈａｓｈ存储ＵＲＬ字符串的时候常用ＭＤ５算法来对ＵＲＬ进行压缩。在实现了爬虫队列之后就要继续实现Ｖｉｓｉｔｅｄ表了。如何在大量的ＵＲ哪些是被访问过Ｌ中辨别哪些是新的、）。的呢？通常使用的技术就是布隆过滤器（ＢｌｏｏｍＦｉｌｔｅｒ　利用布隆过滤器判断一个元素是否在集合中是目前比较高效实用的方法。１．４　设计爬虫架构

通用网络爬虫根据预先设定的一个或若干初始种子以此获得初始网页上的ＵＲ在爬行过ＵＲＬ开始，Ｌ列表，

程中不断从ＵＲ进而访问并下Ｌ队列中获一个个的ＵＲＬ，载该页面。页面下载后页面解析器去掉页面上的ＨＴＭＬ标记后得到页面内容，将摘要、ＵＲＬ等信息保存到Ｗｅｂ数据库中，同时抽取当前页面上新的ＵＲ保存到ＵＲＬ，Ｌ队列，直到满足系统停止条件。其原理如图１所示。１．２　爬行策略

为提高工作效率，通用网络爬虫会采取一定的爬行策略优先爬取重要的网页。常用的有深度优先和宽度优先策略。宽度优先算法的设计和实现相对简单，可以覆盖尽可能多的网页，是使用最广泛的一种爬行策略。

一个爬虫如何利用宽度优先遍历来抓取网页呢？在爬虫中，每个链接对应一个ＨＴＭＬ页面或者其它文件，通

。整个宽度优常将ＨＴＭＬ页面上的超链接称为“子节点”

爬虫框架结构如图３所示

。

图３　爬虫结构

，，作者简介：王娟（女，湖南邵东人，硕士，贵州民族学院讲师，研究方向为数据挖掘、网络安全；吴金鹏（男，山西晋中１９８３－）１９８９－）

人，贵州民族学院本科生，研究方向为计算机科学与技术。

第４期　　　　　　　　　　　　　　　王　娟，吴金鹏：网络爬虫的设计与实现·１３７·

其中：ＬＦｒｏｎｔｉｅｒ含有爬虫当前准备抓取的①ＵＲ　根据给定的ＵＲＵＲＬ；ＮＳ解析模块用来解析域名（Ｌ②Ｄ

；决定从哪个Ｗｅｂ获取网页）③解析模块提取文本和网页的链接集合；④重复消除模块决定一个解析出来的链接是否已经在ＵＲＬＦｒｏｎｉｅｒ或者是否最近下载过。　

下面通过实验来比较一下我们设计的爬虫抓取网页见图４、图５

。

与原网页的对比，

ＩＰ地址：２１０．４０．１３２．８

贵州大学：

主机域名：ｗｗｗ．ｚｕ．ｅｄｕ．ｃｎｇ

２１０．４０．０．５８ＩＰ地址：根据ＵＲ就要根据ＩＬ得到ＩＰ地址之后，Ｐ地址对某一地区的ＩＰ作出限制。但是需要有一个ＩＰ与地区对应网上很多这样的数据库都是收费的，在此我们的数据库，

使用的是腾讯公司推出的一款免费数据库“ＱＱＷｒ．ｙ”，只要输入ＩＰ地址就可以查到对应ＩＰ地址所在的区ｄａｔ域。

　　

　

　　图４　原网页　　　　　　　　图５　抓取网页

输入：２１０．４０．０．５８输出：

贵州省贵阳市：贵州大学输入：２１０．４０．１３２．８输出：

贵州省贵阳市：贵州民族学院

根据Ｉ将限制地区的ＩＰ地址制作一张列表，Ｐ地址写爬虫如果检测到要抓取的Ｉ就入列表，Ｐ地址属于该列表，放弃抓取，这样一个限定爬虫就完成了。

通过比较可以发现，由于原网页有动画等多媒体元素，虽然爬虫无法抓取下来全部内容，但基本上是一个完整的爬虫。

２　限定爬虫的设计与实现

限定爬虫就是对爬虫所爬取的主机的范围作一些限制。通常限定爬虫包含以下内容：①限定域名的爬虫；②限定爬取层数的爬虫；Ｐ的抓取；③限定Ｉ④限定语言的抓取。

限定域名的抓取，是一种最简单的限定抓取，只需要根据当前ＵＲＬ字符串的值来作出限定即可。

限定爬虫爬取的层次要比限定域名更复杂。限定ＩＰ是限定抓取中最难的一部分。通常分为限定特定ＩＰ和限定某一地区的Ｉ只要通过Ｐ。限定特定ＩＰ抓取较为容易，如果主机ＩＵＲＬ就可以获得主机ＩＰ地址，Ｐ在被限制的

列表中就不抓取。否则正常工作。

想要限定Ｉ首先要根据主机字符串获得ＩＰ抓取，Ｐ地址。下面我们通过实验来得到ＩＰ地址：

贵州民族学院：

主机域名：ｗｗｗ．ｚｎｃ．ｅｄｕ．ｃｎｇ

３　结束语

本文介绍了爬虫的工作原理，重点介绍了通用爬虫和并通过实验证明本文设计的爬虫限定爬虫的设计及实现，可以达到预期效果。

参考文献：

［］］何国辉，吴礼发．网络爬虫技术的研究［电脑知识与技１Ｊ．　孙立伟，

（）术，２０１０１５．

［］］于洪波．网络爬虫技术研究［东莞理工学院学报，２Ｊ．２０１１　于成龙，

（）３．

［］自己动手写搜索引擎［北京：电子工业出版社，３Ｍ］．２００９．　罗刚．［］］（）网络爬虫的设计与实现［电脑知识与技术，４Ｊ．２００９１１．　唐波．［］搜索引擎中网络爬虫的研究［武汉：武汉理工大学，５Ｄ］．２０１０．　龚勇．

（责任编辑：杜能钢）

ＴｈｅＤｅｓｉｎａｎｄＩｍｌｅｍｅｎｔａｔｉｏｎｏｆＷｅｂＣｒａｗｌｅｒ　　　　　　ｇｐ

：，ＡｂｓｔｒａｃｔＷｉｔｈｔｈｅｒｏｗｉｎｏｆＩｎｔｅｒｎｅｔｓｅａｒｃｈｅｎｉｎｅｔｅｃｈｎｏｌｏｄｅｖｅｌｏｓｒａｉｄｌ．Ａｓａｎｉｎｄｉｓｅｎｓａｂｌｅａｒｔｏｆｓｅａｒｃｈｅｎ　　　　　　　　　　　　－ｇｇｇｇｙｐｐｙｐｐ　　

，，ｉｎｅｗｅｂｃｒａｗｌｅｒｉｓａｒｔｉｃｕｌａｒｌｉｍｏｒｔａｎｔｉｔｓｅｒｆｏｒｍａｎｃｅｄｉｒｅｃｔｌｄｅｔｅｒｍｉｎｅｓｔｈｅｕａｌｉｔｏｆａｔｈｅｒｉｎｗｅｂａｅｉｎｆｏｒｍａ　　　　　　　　　－ｇｐｙｐｐｙｑｙｇｇｐｇ　　　　ｔｉｏｎｉｎｌａｒｅＩｎｔｅｒｎｅｔ．Ｔｈｉｓａｅｒｄｅｓｉｎｓａｎｄｉｍｌｅｍｅｎｔｓｅｎｅｒａｌｃｒａｗｌｅｒａｎｄｌｉｍｉｔａｔｉｖｅｃｒａｗｌｅｒ．　　　　　　　　　　　　ｇｐｐｇｐｇ

：Ｗ；；ＫｅＷｏｒｄｓｅｂＣｒａｗｌｅｒＧｅｎｅｒａｌＣｒａｗｌｅｒＬｉｍｉｔａｔｉｖｅＣｒａｗｌｅｒ　　　ｙ