搜索引擎的评价_选择以及检索结果的融合和调整
计 算 科机学
幽
增刊
索搜引擎 的 评 价选 择 及 检以 索结 果 融 合的 和调整
彭 洪 汇 林 栓作 北京大 学 息科信学 系 北京
、
”
,
・
・
,
蛋,
,
,
,,
引言
前 目人 们在 上 查找 信 的息 主 工要 具是
,
六部分 是 相关工 作 最后 总 结是 以 及 进对 一 的工
步作
展的
望。
索搜 擎 但引 是现 有 搜的索 引 检擎 索效 果不 够 理 想 主 要 题问 在 查全于 率 和查 准率不
当高中,
,
,搜 索 引攀和元
搜 索引攀
搜 索引 擎 通常 是 采 爬用虫 程 闭序在 网 上 络遍历
采 以 文 档集然 后 对 采集 来回 文的档 建 立 索 引 数据 ,
引索 更 新不 时及检 索结果中有 死链接
,
结果
排 序 不 准 确 用 有结 果的 被埋 没 不在 相关 的结 果
重复 结果 相 内同 容甚至 同一 档文在 结 中果
。
库 用户 过通 搜索 引擎 供 的提 检 索接 口 提出查 询
条。
件 搜 引索擎 根 据 条件 其 索对引 数据 库 中 的 文档进
行 匹 配 满 将足条 件 结的返 果回给 用 决户 搜 定索引 ,
,
多
出 现 次所
长
。同
时 不同搜 索引 的擎 据数 筱 库盖面 各
有
,千 秋
引索 和 检 索 算 法有各 特征 因 而检索 效果 各有 因
为 这 些 原 因 为 了得 到全 面 和 准 确 检的索 结
,
检擎索效 果的关 键 术 技 是 文档采 集 和 索 引 方 法检 索结果 排 序算 法
。’
,元
搜 索擎引的 工作 方 式 用 是户通 过查 询 接口
果
人 往们 往 不 得不 反复 调 用 个 多搜 引擎 索 此因
,对
提
出 一 个查 询请 求 元搜 索 引擎 将其 转 发 到 多个搜
多 ,个 搜索引擎 的 索检 果结进 行 合 融处理 是 很 有 意义
这 的 想种 法似类 通于 过单一 接 口 访 问 分布 的 异
类。
索 引擎 以
它们 各 的自 请求 格
,式 ,
,取回 它 们检 索的。
结 并果 行进处 将 最 理后结 果反 馈 给 户用从 功 能 上
数据 它库 就是 元 索搜引擎 设图计思 想的 源来,
。
讲来它 更 像 是 一 过 个滤 道通 以多 搜 索个引 的 输擎出
结 果 作 输 为入进 行处 理 然 后 输 出 结果元 搜 索
,,。
本 文
介 绍了一个 元 索搜 引 系统擎
・
。
它
根据 用 户需,
,
引
擎的关 键 作工在 于以 下 几 个 方 面选择 调 用哪 些
求
择 选多 个 适合的 搜 索引 擎 行进 检索 采 用效 果很
搜索
擎引结果 融 合算 法在 搜索 擎引检 结果索 础基
进行上 扩展 处 理
,
,
好
的 融 合算法对 它 的 们 检索 结 进 果行 析分处 理不
仅大 大 提高 了 查 率全 和 准查 率 改还 善 了搜 索擎引
其的 他问 题
并 扩 展 了搜 引索擎 的功 能 在用 户 察看
。,
系 统设 计和
运行 程流
是结 果 的时候 它从 相 关 反 馈 息信进 一步 学习用 户 的,
需 对求结进 行果 调整
,本
文 者作设 和计实 现 的 一个 元 搜索 引擎 系统 结其,
本
文 内 组容织 如 第 下 部分 一言引第 二 分 介
绍 部 索 搜引擎 和 元 搜索引擎 第 三 分部 介绍 元 搜 索引
构如 图 所 示 它 主要 包括 用 接户 口主 控块模搜
。
索
、
、引擎检 索
处 理 模块 合融处 理 模 结 块 发果送 反与馈
学 习 模 块据 库数 和分析 搜 索 引擎 器描 述文 件这 些、
、
、
、擎 系统
的设
第 计四部 分 介 绍
关的
键 技 术
第 五 部分 介 绍
的检
索 试测 况 情
第组
部成
分。
国
家 然科自学 墓金 和 家国” 资划 助项目 计
“
”
补 原救始 搜 索引 的珍 缺 陷。
用户
评
价查
叶 询 求请转化
丝 索搜程线
数据库
结 日 果
目条取提
搜描 索描 迷迷 文 引 文件攀
有些搜 索 引擎 支不 逻持 检 索 辑功 能如 果 它
们提供 能高 质 量 的检结索果 ,
在 选择 搜 索 擎引,
时
仍会考虑 它 们根 据 户用 的 条件
采用两
种
法 办来 弥 补 它 的 们不足 种一方 式是 用 先 检 条 件索 的 中 一个 集 该搜子索 擎引可 以支 持的 对 其进 行 检 索 后 将检 然索 结 条 果的 真目实 档文 下载 下来
,
行进分 析 二 通是过 对该 搜 引擎 索 进 多 次 检行 活索 动 来 得到 结果如 用 果户 提交 的是 逻 辑或查 询 则 以,
“
”
其 中 每 的 查 个询词 对 搜 索 擎引 做 一 次检 然索 后将 ,
这
些检 索的结 果 合 并 来 起作 该 逻为 辑检 索 的 结 果 如果 用 户提 交的是 逻 辑与 查 询 则 其以 中的 每个
,
“
”
关键 词 作一 检 索 次取获结 果 后 然 断判哪 些 结果 出,
图,
系统 结构
与 运 行程 流 示意图
,
现
所 有 在关 键的词检 索 中 种这对逻 辑与 的扩
展。
“”
支将持 付出 巨 大的代 在价有 别的 考 虑 时 予不 用
,采
。
用户 过 通询接查口 交 查 询 请提求 然 后
结
果 融 合 处 理
从中提 取 出 键关 以 词 及其查他询参 数 结 合 它 累
积,
首
,先
将
来所 有自 搜索引 擎的 结 果 放到
。
。
下来 的 一些 知 如 识网络 状 况搜 引索 性 能擎系 统
、
、
一 个 单
一 的 列表
,
中状
况 制 订来本 次 询查的 执 行方 案采 用 哪 些擎
引
,,
其次 并 合结 果 表列 重 复 的 条中目 除重
复 的 算 法 如 首 先 下并归完 相全 的同比
、较。
。
消
从每 个 引 擎取获 多少 信 息
是 否要 对结果 进 行 扩 展处
理等等 接 下来
,
对
个要 检每的搜索索引
、
‘
启动攀 一 个检 索 程线‘
,
。
这
,些
、
是 行 并
的、
、
的相似
性 如 果 机主
,
地址
分析相
的
描述 文件 将 用 户的 求请 转化
为的请
,
同 路径 完全 相 同 则 为是认同 一个文 件如 果只 路 径 是最的 多
,
求后格 并 发式送给
根 据、
根据 用
户 需 要,
、
从
。、
取获
一
、
同如
。
、
数量定 的 结 果 页面 多 个 并 发 以子线 程
然,
后的文 名 也件 认为 是同 个一 文件如 果 是 只
的文 描述文 件分 析 这些 页 提 取面出 其 中 的结
,
件 相 同名 而 机主 地址 或路 径 存 在 差异 则要 综合 文
,
果条 目当 所 有的 检 索线程 都 完 了 成之后 或超 了过
预 定的时 间限制
,就
对 已 经得 获 所 有 的 结
果
, 档元 的 信 比较 比较息文 档 的 元信 息如 题标作 者 摘 要 大
、 ,
、、
进 。 行 融合处 理 然 后将最后 结 果 返回 给 户 用用 户察 看
结 的果过程 以及 相关价将会评反 馈 据给 对此剩 下 的 结果进 行调 整。
小等 如 标果题或作 者 相同则 察摘看 要 如果 相 同,
,。
则认 为 是 同 文 档一如 果有类 似 信息 但不 能确 就
,
定分
析 真 实文
。本
检索的和 信 息处 理 机制
面介
绍
消除 重复的 算法 取 得了 好 很的 效果 同,
时
没 有 因 此而 过 多影 响系 性 统能
。
,在
进 行 信 检息 索和 处 中理几的
个
特色 问
第题 三 对果 结 表列排序 确 重 要 性 定 关 相 性 这个 过 程是 分 布 式信 检息索 的 一 中个重 要 问 题困
元 搜 索 引 的 效擎 很 果大程 度 上取决 于 这 部 分 作
工,
、。
,
搜索 引攀 描述 件 文由于原 始 搜 索引 擎的动 态 变 化如 果 将访 问它
,
。认 为一条 检 索结 果 重 要 的性和 相 关 度程取 决 于 三个 方 面 检索 到 条结这果 搜的索 引 擎个 数,
的 代 码 固 们 在定元 搜 索引 擎 程主 中显 然序 是不 合 理 的 有 些元 索搜 引擎采 用模块化 的方 式 对 每个 索搜,
各
个搜 索 引擎对该 条 检 索果结 评 价
的
,,
镇
攀引开 一 发个 问访模 块 可 以 动 态 加
载,,
。
。
则
率
。
检
到 索 该结果 的 这些 搜索 擎 引 身 的 检本 索效 综
合考虑 这了些 素 总 因结 出了一 个 检,
。
提 出了一 种 更 的 解好决办 法 它给 出 了一种 搜 索引 攀 形式 化描 方述 法 对于 每 原 始 搜索个 引 擎 只要
,按
结果索评公 价 假式设一 记 条录
现出在
,
个索搜的 最
照
这个 式形化 描 述 其 建
为立 个一描 述 文
件,
,
引
擎的 搜 索 结 果里 其 中
第
,
,
个 搜 引索
就擎可 以 根 这据 个 件文将 查 询 请求转 化 为搜 该索 擎 能引 处 理的 请 求 式格并 对 它 能返回 的 结 进行解果 析
。
对
的得
分 评 为
,价
,,
那
么为
认
,
终
得
分为
提价 取出 其的 中 条 目这 样无 改需 动任 何 序代 码 程就能 添加 和 减 少原 始 搜素 引 以 擎及 适应 它 们 的 变动 备了极具好的扩 展和适 应 能 力 。
,
一
“
・
・
,
买
‘
,,
,
・
,
,
‘
,
其中 凡 是 第个搜索 引
镇擎
检 的索效 率 评
・・
。 是
一 个 数参 相当 于一个 放 器大代 节 见 表价了 检 到索这 记 条录的 引擎 数 个对其 得 分的 影
, 响,
取
的 检 索 条 涉 及 件 生活 到 识知 文史资 料 计算机
知 科识 研领 域事时潮 流 不等同 方 面 共一有 、
、
、
、
,,
检
组其
取值 可依该次检 活 索动 采用 搜索的引 擎 个 数
而
索词
据根 这 检 些条索 件 选对择 的索搜 引擎和
进行检索 每 次索检选 择前 面
,的, 。
定
比 如
说
,
,取越值大 则每多 一 票 一多个
搜
。 ,
。,
条结果进
索引 擎 检索到 该条 结果 生 产的 价 就值越 大 四第根 据 用户 的 要求作 进 一 步的 处理
行
分析 以 断判 其 相 情关 况 果 如检 索结 数果里 不 足 则 察 所看有结 果 后 最计 统 所有检 索 中相关结
。果
的扩 展 处理 功能 括 检 查 结 包果 条目 指 向 页的面
的
数 量 平和均 相关 度 验实 结果表 明
于 单个 搜 索引擎具 有 突 出 的 检效索 果和
,
相
,对
是否 存 在 回取 结 条果目 的 实 文 真 档 作本 分 析 以文
便得到 更 准 确 的 相 关度 对处 后 理 结 果 进行的 聚类
,
, 一上些 优 的 秀 搜 元 引擎 相索当 没 给 出 测 的 图 表数 据
试。
受篇
幅所 限这 儿
以方 便用 户 检 阅的聚 方 类式包括 按站点 聚 类和按
内容
聚 类
相
关反 恤学习 和调 整对
于 用持 户 定 意 见 的肯 档文
,,
相关工 作提
取其特 ,
,
上有一 种 工 具是用 一 个 页 面 集 了很成 多
征然后 对 剩 下 的 结果 条 进目 行析分 将有类 特似
征 的 优先 反 给馈 用 户如 果 剩 下的 结 果中 没 有足 类够
搜
索 擎 的 引 询 查入口 这 种工具 并 不 称能 之为元
,搜
家
引擎 它 们 的一个 典 型是
。
幻一
一
。
的似 则 用这些 特 征 对 户 的 检 索用 条件 进 查行扩
,询
是 一
个建立 在 六搜 个 索擎引 上 的一 个
展 困 然 后再 进行 一 次 索 检为 户用 到 有 价值找的 结
,,
搜 元 索擎引 其特
点 采是用
了。。
构 结使 用 一
个,
果。
作
为用 户 接 口 针它对 个 每 搜 引擎索写 搜索 堆引 的价 和 选评择法
方 的信息 来源 原始搜 索 引擎 检的索 结 了 一 个搜 引擎 类 索它 的数据 融合 过 程 基 是于返 回纪 录的 排序 位 进置 的行
一,。
果的质 是 量非常 要重的
。
设
计 一了全 套
,面,
〕
有 比
较全 面 的用 户 接口 提 供
,
的
索搜引 擎索 检 效果 评估方 法 估评 的主要 依 据 是
比
较丰富 的 逻 辑查 询 能 功对不 支 持某些 功 能的搜
。
多
检次索 活 动的 记 数录据 其 中 主 要分 是部上 面 提到
的用 户相关 反馈 价 评是分 层 次来进 行的 于 基 单 条检索 结果 记 录 的 评 基 于价一 次 检索 活动 的 评
价 ,,,
。
引索
擎,
可 以将 结果 记 录指 向 页的面
,
。
取
回来 行 进 分
析还可 以提
死链供接查检,
。
,
对文 档的 合融是 基于得 分 进 的行
它基
于 检 词 索的评价 基于 检索 领 域的评 价 整 体检索
消
重 除链接 的 比复 较路径 的 算法 具有较好 效的
果,
性
能 评的 对 于 价 用户 出给 查询的词 如 果 系 统中
有
,川
专 注 研 究 大于 量的 搜 索 擎引在
各
索 搜引 关擎 于该 词 的评价 数 则据选 这择个 评 价,
不
同 主 题 或 领 域 的 检 效 索率分 析 问 一 访 搜 个 引索
数据
最优的 一些 搜 索引擎 进 检索行 此时
,式,
中
的
擎 要 的需 资源 代价 据 此 为 户 的检 索用请求挑 选
,
最是
于 查基 询词 的 检 性 能索评 价否 则 如 果 判能断 出 查 词 询 于 属哪 个 领域并 且 统 系有 中
,各,
合 适 的 搜 索引擎 进 行 索 文【检中 介 绍的元 搜 索引擎 用 采 邻相主 题 标 示
,原
始 搜索 引擎 在 该领 域 的 评 价 数 据则选 择领 域 最
技术来
确 定哪 些 索搜引 擎以哪 专 业 些 内 为容主 题主
题 并 转交给 对 应的搜 引擎
索
。优的 一 搜些索 引 擎 行 检 索 进此 式
,
时中
的
的
‘‘
是
同
时通 过查 询 词扩 展 技 术 定 来 用 位户检 索 属 哪于 个吸
取了一 些 成 功 统系的 点优同 也时 具,
基
于领 的域检索评 价否则
,
。
就
择 整体选 检是整
索
能 性 优 的最 一些 搜 索 擎 引此 时式
,体
检 索 性 评 能 根价据 基 于 查询 词的 价评 基或于
领有
己 的自 点
特,,
特的 色 在 给于出 了 一套 完
域 的 评价 图 具有较 好 的 果 效因 为 不 的同 索搜引擎 有 其强项 和 弱项
,
整
的 评 价体系 对 搜 索引 擎 的 检 性 索 能 作出全 面 的 评 价据 此 选 最择合 适 的 搜
索 擎 以 提引高 信 源息的
“
”
“
”
除。 检 了 效 索果 评价之 外 馈
速 度 目前
,
还
分 析 了各
质 量搜 设计 了 独特 的搜 索 擎 引 述方 法描使 具它 突
,有
索
引 擎 访 问 的 代 价这主 要是 它们 的 响 应 时间 和 反没
有 访 问收 费 的 搜 索引 擎
出 扩的 展 和 适性应 能 优 力秀 融的 合处 算理 法 果效
很 好可 以 接收 用 户反 馈 进并行 快速学 习 和 整
调。
检
索效 果 分析和测 试
我们 取选 了 组一条 件对
进行检 索
。
并进一 步 的工 作 和 结论
,,
为
了让用 使户
,
更用 方 便 我们考 虑 供 自然 语 言提查 询 口 现接有
的一 些检 索 工 具 供提 自了语 言然查 但 询是要 做 到
和
别 搜的索 引 的 擎 检 索结 果进行 横 向 比对参 加 对 评比测 有的 常 用 中文的搜 索引 擎和 若 常干 用 的英文
理想
的果并 非效 易事 一另种径 途是 用 采互 的 交方式 让 用 能 户逐步 确地 表 达精他 查 询的请求 比 如 采,
,
。
搜
索 引 擎包 括 几 个英 文元搜索 引擎中文 搜 索擎
引领 域目 前 没还 有投 入使用 元 的 搜索 擎引产 品 所选 ・
・
,
。
查询词用 展的方扩
法
〕。
外另
,
还
将续继完善转
第页
据些这特
,征
,
可
以 算 计它 模和板 库 模 板
的 中似 性 找 到相 最 相 似的 模板 只 要 似相达 到 一定的 程 度取
就, 可 以 认 它确应 该 用 哪 模个 去板
提 信不 规 息范所 以 难 以 立 建涵盖 所有 领 准 确域率高 的对相说 来建结 束语
,
,
。
由
于
,
信息
取
, ,
立提提 取个某 定 领 特域 信息 的
性。
更
有具可行,
信意
文 档内结 点 只 是 描 文述 结档构 对一 个 遍历 棵整树 对真 正 保 存据 数的 是叶结
点
。本
文 描 述 的 内 提容 取和 模式 提 取 方法 较 之目
,
前 主 的流
。
,
两 个 有 特点自 地动 匹配 模 板和 。
于每一 叶个 点 从结语义 典 词 查找 相应 义语然后从 ,
,
异
信息构 的 集成 但是 也 存 在 些一不 足 模板 库 的 建 立需 要经 验 个 网别站 的 信 息 提 取 确准率 不 高
,
输
入 的
文
档中 取提 相应 信 息 的 后 根 然据,
,
描
述 的 结 构 包 这 些 信 装息生
成文
。
档参考 文 献
,
实 结验果
测试 对 象囊 括了 北京 主 的要 子 电 商城 其中
有
,
仙・
了
,
而
讨,
幻
,
之
类的 综 合型 电 商城 也子有,
。网上
书
城 之类 的 专卖 子 商 电 城 表中 的识 别 率
的
被匹配
,
一
伴
一
一
】
档文数 应 该 匹配的
档文数信
息 完
整性 描 述了 成 的生表
文
档信 息完 整 程
度
实脸结
咖
‘
,果
一
卜・
沐
・
・
侧
对 试象
文数
, ,档,
性 档数文 识 率 信辨息 完 性 整
好
叱
讲
,
商 城
城 吕亡
阿
。
商
城 城书
喇
,
,
好非 常 好
比较好比较好 比 较好
访
冲,
,
二
新
浪商城
卓 商城 城 中趁华网 商 州
商 城城
,
,
,,
汽 川公
甲
记
‘
一
卜
,
一般
纬厉
】
上接
页
第
,
、 卿
。元
。心
,的融
合 法算提 高 率 效查全 查率 率
准,
吨
伪
,一, ,
飞
正一处 在 一 个 急剧 膨胀 时 期的为 了 方
便地,利用
上 的 资 源 人们 借 助于各相 关学
,, 。
, 比
,一
科 研 究 成 果 开 的 发各种 有 用 的 工具 搜索 擎 引是 其中
最 用 的常 工具 一之 有 关 信 检 息索 研的究 一 直
涌
在,
,
,
行 进 们 人 一 在直 追求 方 便 高 效 的 检工 具
索
,,
。
一
,
作
为 个 元 一搜索 引擎 它 的设计 和 所 采 的用 信息 取获技 术使 它不 失 一为 具个有 实 用 意 义的 用 应
,
,系
“ ,
,砚
统
。
头公
,
参考 献
,
文,
洲
从‘
,,
山,
曲颐
,,
,
肚
萝 反云
一
咖
仑,
习
一众
,
一
改
卜,・
玩
】
,‘
,
,
,‘
,‘‘
块,
砒
,
,・
。
任
从
眼
,