导航菜单

基于中间件技术的数据整合方案设计与实现

杨晓鹏 黄琛 黄晓川

(江西省教育考试院,江西 南昌 330038)

【摘要】传统的面向应用的各类教育考试系统,尽管数据丰富,但对于教育决策和数据挖掘还远远不够。本文采用中间件技术,利用XML与Web Services,以江西省各类国家教育考试系统为研究对象,对多源异构数据和软件平台的整合方案进行设计与实行。

教育期刊网 http://www.jyqkw.com
关键词 中间件;XML;Web Services;数据整合

0研究背景及意义

为更好地促进江西省教育考试招生科学研究的进一步改革和发展,建设各类教育考试系统数据整合平台具有重大意义。数据集成交换平台的建设能够整合现有的应用数据,解决异构数据库间的数据共享,能够加速各教育考试系统的整合,提高信息处理的速度,加强各教育考试部门之间的合作与交流,还可以避免数据库的异构性带来的资源浪费,大大提高数据资源的利用效率。

1基于中间件的数据整合技术研究

顾名思义,中间件就是处于中间的软件,其目的是屏蔽计算机软硬件之间的异构性,解决软件之间的互操作问题。

基于中间件技术的方法调用是通过对现有的功能进行包装,安装符合现代组件标准的各种业务属性和方法使之“改头换面”成为一个虚拟业务组件(Virtual Business Component)供其他符合组件标准的应用调用。

2Web Services数据整合框架

建立基于XML和Web Services的数据整合模型主要通过四个步骤:

(1)建立XML数据模型

为了对各种数据源进行统一处理,必须用一种公共模式来描述不同数据源的数据。一般来说,异构数据源集成系统的全局数据模式必须满足下面两点:

①能够描述各种数据格式,无论是结构化的还是半结构化的,无论是支持所有的查询语言还是简单的文本查询。

②易于发布和进行数据交换,集成后的数据可以方便地以多种格式发布和用于交换数据[1]。

(2)建立服务集成中间件

从数据源中通过服务集成中间件传输到任意需要数据的目的数据源中,要访问数据的外部应用程序也可以通过服务集成中间件以统一的形式来对各个异构数据源中的数据进行访问。

(3)建立从具体数据模式到公共数据模型的映射

需要在具体的存储机制与公共数据模型之间进行映射,并且每一个数据源都必须建立从自身到XML公共模型的映射。

(4)解决语义异构问题

下图为基于XML和Web Services的异构数据集成模型。在该集成模型中,采用XML Schema来描述每个局部数据源的模式信息以及全局模式信息。同时采用XPath以统一方式基于全局模式来查询数据[2]。

整个模型体系结构分为三层,分别是数据源层、服务集成中间件层、应用层。

(1)数据源层:处于最低层,是系统的数据提供者,在此应该包括各种类型的数据库、文件、多媒体等信息[2]。

(2)中间件层:向下协调各数据库系统,向上为访问整合数据的应用提供统一的数据模式和数据访问接口,提供必要的数据转换功能,进行数据与XML格式的相互转换,将数据存储到XML数据空间中,并维持XML数据空间与各异构数据源之间的映射关系[3]。

(3)应用层:根据具体的应用和用户环境,采用合适的信息访问技术或应用软件。应用层可以为Web浏览器或专用的客户端,对集成数据的应用服务器层进行数据访问。无论应用是C/S模式还是B/S模式,只要遵循接口层的接口规范,即可以有效地、透明地操作底层各类异构数据源[2]。

3数据整合方案的实现

3.1关系数据库与XML的结构转换

本文例举高中学业水平考试管理系统数据库JHSMS中Student、Course和Score三个数据表的结构信息(如图3所示),将数据库关系图的结构信息转为database.xml文件。

生成的database.xml如下,代码列举出Student表的模式结构,Course表和Score表类似。

3.2数据提取

通过JDBC与源数据库建立连接,产生相匹配的SQL查询语句,先查询出数据库中的所有非系统数据表,如高中学业水平考试管理系统数据库JHSMS中的数据表,然后前台客户端向后台服务器发送请求,读取数据表的列名,后台服务器从数据库中查询数据表的字段名,保存到XML文档中。部分代码实现如下:

3.3数据转换

首先新建一个XML空文档,根据传入的参数获取数据表名作为文档的根元素,然后运行SQL语句,查询数据库,提取数据表数据,将其作为<column>元素的子元素,用来保存每一条记录对应字段的值。最后将转换后的结果保存到之前新建的XML文档中[4]。

反之,将XML文档中的数据导入到数据库中,要先解析整个XML文档,遍历其中元素读取名称和内容,自动产生insert语句,最后执行insert语句将数据插入到数据中。下图为从XML文档转换到数据库的实现类XMLToDatabase类图。

4结论

通过数据整合,将有利于减少教育考试成本,充分发掘教育考试数据的潜在价值,更好地为教育管理、教育决策提供科学的依据,从而建立江西省国家教育考试各类考生自然信息、成绩信息及新生录取信息的安全长效管理机制。

教育期刊网 http://www.jyqkw.com
参考文献

[1]董丽.基于 XML 与中间件的异构数据源整合系统的设计与实现[D].武汉:武汉科技大学信息科学与工程学院,2005.

[2]田丰,韩晓冰.煤矿安全生产管理中异构数据集成研究[J].矿业安全与环保,2009,36(5):75-77.

[3]李玲俐.异构数据整合技术在钢铁企业信息系统中的应用研究[D].武汉科技大学,2005.

[4]张涛.基于XML和WebServices 异构数据转换的设计与实现[D].青岛:中国海洋大学,2009.

[责任编辑:汤静]

下载文本