Deep Web技术在科学数据共享平台中的应用

<1>标签包含的HTML代码中，没有任何内容的，或者一个文本框都没有的表单排除。

<2>关键字过滤。如果表单中的文字，表单元素的属性包含例如“注册”、“登陆”、“密码”等关键字，或者表单属性中包含google、baidu等搜索网站 的网址的，则排除该表单。

3.2查询接口的抽取与集成

查询接口模式抽取主要是查询接口属性和控件约束元素的获取与分析，把它们按照逻辑关系重组成一个个属性添加到接口模式集合中。为了让用户更容易理解和使用查询接口，设计者通常会融入多种类型的视觉特征，主要包括位置、布局和外貌等特征。例如基于Dom树抽取，基于视觉的网页分割算法等进行模式抽取。

本系统采用基于Dom树的方式进行抽取。一个表单的元素通常包括隐藏文本框 hidden、文本框text、复选框。heckbox、单选框radiobox.卜拉框select、按钮button。基本上，每个表单元素的附近都有文字标签表示这些元素的意义。查询接口的抽取就是获取这些元素，并且从表单中分析、匹配，获得每个元素的标签。本系统中，抽取的结果将以xml格式写成站点配置文件。

通过大量观察，我们使用一系列启发式规则来抽取查询接口。根据这些规则，我们记录了表单元素的属性及其各自的标签，生成xml格式的文件作为查询接口 的配置文件。配置文件记录了站点资源和和表单form的信息。表单信息中，包含了6个组，分别记录了隐藏文本框hidden、文本框text、复选框checkbox、单选框radiobox.卜拉框select、按钮button的情况，每组信息都记录了元素的 基本属性以及程序分析得到的标签。

集成配置文件是根据各个查询接口配置文件生成，采用了局部集成方式。集成配置文件的生成需要一个标签匹配的过程。匹配分精确匹配，模糊匹配两轮。第一轮是精确匹配，即字符串完全相等的匹配。成功匹配的将不再参加 第二轮的匹配。在模糊匹配中，如果表单元素标签含有全局名称的所有字符，并且相对顺序一致，则认为是成功匹配。

3.3查询的提交

查询的提交模拟了用户通过浏览器访问网站，填写表单提交查询的过程。查询提交的过程如下: （1）访问查询接口网站，获得网站的头部信息。因为实际应用中，存在一部分网站通过头部信息记录用户查询信息，缺少这些信息就会导致不能正确传递查询条件。

（2）填写提交的参数。对于文本框元素，根据集成接口配置文件填写参数，对于卜拉框、单选框、隐藏文本框则使用网页本身的默认值，对于复选框则全选所有的值。

（3）提交查询，获取返回结果。如果网站返回跳转码，则继续跟踪访问，直到返回成功码或错误码停IF。用户查询界面如图3所示。

3.4结果页面的抽取

结果页面的抽取首先需要分解网页中有用的信息单元和无效的信息单元，也即网页清洗技术，从Web页面中划分出精确的信息单位，并根据Web页面信息加工的后续应用需求，将网页中不需要的部分剔除掉，同时抽取出有用的信息。

网页清洗主要有三步:首先是去除页面中的注释、脚本、样式等无关信息，然后再将页面或为若干块，大致可以分为文本数据块、链接块、图像块。最后按照语义对各块作进一步的区

分，从文本块中分出广告等杂质信息块，从链接块中分出相关链接块、导航链接块等。经过上述处理后，Web页面在结构和语义上都被划为细粒度的信息块，然后就可以对这些数据进行后续的信息加工处理，抽取出更加详细的数据信息。

基于Web的信息抽取，大致有三种，一种是基于html Dom树结构，一种是基于人工智能的语义抽取，一种是基于规则定义方式。Dom树方式，虽然很好的显示数据相互之问的依赖关系，但是在数据抽取上效率不是很好，它需要将html标签解析为Dom树，然后对其进行树结构操作，尤其是对树结构的 遍历上比较耗费资源。人工智能中语义抽取方法，是利用领域中数据的元数据 描述信息进行语义判断，虽然可以部分实现自动化抽取数据的效果，但需要建立大量的语义库，而语义库的建立是现在人工智能领域中一项棘手问题。基于规则的抽取方法，是利用网页中数据的固定显示格式，配置抽取规则，然后对网页数据进行抽取，这种方式，配置上也小是很复杂，只要指定好抽取规则，可以快速的抽取到数据信息。

基于领域的DeepWeb搜索弓}擎是针对一些特定的网络资源，一些特定的网站 进行数据抽取，在特定的网络资源中，数据显示格式呈现出一种结构化的、有规律的样式。如文献资源，常见的数据项有标题、作者、出处、发表时问、摘要等相关信息。而这些网站数据在特定的网站中结构上相当稳定，基本上都是以列表的形式呈现给用户。而这些数据在html源码中的格式基本一致，其数据的格式基本上可以按照数据域、数据块、数据项分。数据域是包括要抽取信息 的最小子集(在html结构中是以html标签的形式)，数据域中包括多个数据块(即数据记录)，数 据项是抽取的最小字段(即要抽取出的数据)。

在该系统的实现中，首先将Web数据划分为三种数据区:数据域、数据块、数据项。其中数据域包括多个数据块，数据块包括多个数据项，数据项就是我们要抽取的数据信息。

抽取信息结构的划分是根据html结构，根据页面的Dom树结构和正则表达式 相结合方法抽取出特定数据区。通过指定数据域、数据块、数据项的首尾标识信息 (这是配置的内容，需要查看网页的源码，也可以部分的做成自动匹配，但是匹配的准确度不是很高)，然后再利用正则表达式进行准确、快速抽取出数据信息。只要准确配置，只要是页面上出现的数据都能抽取出来。同时，页面平台也是实现了 翻页查找数据的功能，通过正则表达式抽取出网页中下一页的链接信息，可以自动模拟表单提交，检索网页中多页数据，同时对多页数据进行抽取。

多页数据的处理是利用正则表达式抽取出网页中所有链接，然后对链接的URL进行比对，判断其value的属性值，然后抽取出其url继续后续同样的抽取工作。平台实现后的效果如图4所示。

4结束语

我们所设计的系统为用户提供了统一的访问接口，使得用户可以方便地进行 科技文献、专利信息、标准信息的查询。将本系统进行适当的参数调整，也可以应用于其他领域。Deep Web技术在科学数据共享平台中的应用是一次 成功而且有意义的尝试。Deep Web数据集成还有巨大的研究空间，仍需不断进行探索。

参考文献:

[1]刘伟，孟小峰，孟卫一.Deep Web数据集成研究综述[J].计算机学报，2007, 30 (9):1475-1489.

[2]钟听，伏玉探.书籍搜索领域DeepWeb数据集成系统[J].计算机技术 与发展，2008 18 (9).

[3] Cai D, Yu S, Wen J, at al. Extracting Content Structure for Web Pages Based on Visual Representation [C]In AP Web, 2003, Xi' an, 2003:406-417.

[4]Cai D, Yu S, Wen J, at al. VIPS:a Vision-based Page Seg-mentation Algorithm[R].Microsoft Research Technical Report, MSR-TR-2003-79 2003.

[5]李朝，彭宏叶，苏南，张欢，杨亲遥.基于DOM树的PJ适应性Web信息抽取[J]. 计算机科学，2009 36 (7).

[6]廉成洋，毛宇光，黄玉明，基于启发式规则的Web信息抽取技术研究[J]. 计算机技术与发展，2009 19 (8).