数据预处理数据预处理是数据在进入数据仓库系统之前的处理过程，在这个过程中，需要将来自关系数据库、实时数据库或者文件系统等多个外部数据源的数据进行有效的抽取、清理、转化和综合，检查数据的完整性、一致性等质量指标，对其中的噪音数据、空值等进行处理，最后存入数据仓库[1]。数据预处理与数据仓库系统的关系数据预处理过程中要考虑以下几个问题[2]：
（1）异构平台下的数据透明性（2）数据准确性与实时性的平衡（4）成本与维护性联机分析处理（OLAP）联机分析处理，英文名称为On-Line Analysis Processing，简写为OLAP。
联机分析处理具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点，从而使用户对基于大量复杂数据的分析变得轻松而高效，以利于迅速做出正确判断。它可用于证实人们提出的复杂的假设，其结果是以图形或者表格的形式来表示的对信息的总结。它并不将异常信息标记出来，是一种知识证实的方法。
研究的主要内容（1）在传统教务管理系统数据库基础上，对数据进行清理，消除噪声和不一致，整合存放在不同数据库和文件中的数据。
（2）设计合理的系统模型，提取相关数据，采用适合的数据预处理算法，建立完备、正确、无冗余的`教务数据仓库。
（3）基于所建立的数据仓库，结合教务具体应用需求，开发OLAP 应用。
（4）设计交互性良好的用户界面，将分析结果用可视化和知识表示技术表示出来。
课题研究的主要技术路线教务管理系统中的组合数据清理技术以往常用的清理方法是根据不同的数据背景采用如平均、分类、聚类、预测、相关性分析等方法，对真实值进行估计，但比较通用的算法目前还没有。1969 年，J.M.Bates 和首次提出了组合预测的理论和方法以来，组合预测的理论在国内得到了广泛的应用和发展。本文从组合预测思想的出发，给出了数据清理的组合模型。该模型的思想是：
对于同一数据进行处理，可以用多种方法，每种方法都有各自的优点和缺陷，为了有效的利用各种模型的优点，回避其缺点，将不同的方法进行组合，只要选好权重便可以得到较好的处理结果。实践证明，任何一个独立模型，哪怕是效果不佳的模型，只要它含有独立的系统信息，当与一个较好的方法进行组合后同样可以改善结果精度，增强模型的可靠性。本课题使用遗传算法确定各种单一算法的估计结果的最优权，然后加权平均，得到一种相对通用的算法。实验表明，这种组合算法在大多数情况下比使用单一算法要精确。
数据仓库模型设计学校教务数据主要存储在关系型数据库中，大量的数据和数据模型，都是反映历届学生的学习情况和教师的教学任务以及教学计划，已开发的数据库系统基本上是面向事务处理的简单的管理信息系统。随着学校对决策信息需求的日益广泛、复杂和迫切，这些传统的数据库系统存在的问题也越来越明显：（1）原有数据库系统是面向OLTP 而不是面向OLAP 的；（2）原有数据库系统难以适应各类对象数据粒度的不同要求；在数据仓库中，系统体系结构是关键[3]。要成功地实施数据仓库，首先要拟订适合高校特点的数据仓库系统框架，一个真正实用、有效、灵活的数据仓库系统体系结构的建立是十分必要的。近年来，国际学术界正积极对数据仓库系统的体系结构展开研究，例如，美国大学的ADMS 系统[4],Colorado 大学的H2O 系统[5]和Stanford 大学的WHIPS 计划等。在对教务系统进行深入调研和需求分析的基础上，针对教务管理自身的特点，我们提出了一个集中式数据仓库(即中央教务数据仓库)、分布式数据集市(即部门学院级数据仓库) 和个人级数据仓库相结合的、适合教务管理的数据仓库体系结构下面就图中各个部分予以简要说明：
（1）信息源信息源(Information Source)即数据仓库的数据源。它可以是异种或异构数据库中的数据，也可以是数据文件、学校内部数据、市场调查报告或其它各种文档数据等。在本课题中，数据主要来自两种数据源：关系数据库（Interbase 和SQL Server2000）、文件系统（早期数据）。
（2）提取器提取器(Extractor)又称为包装器/监视器(Wrapper/Monitor)。它主要负责如下工作：
数据格式转换监视标明时间戳（3）集成器集成器(Integrator)主要负责将数据按数据仓库的各种规则（如一致的命名转换、一致的编码结构、一致的数据物理属性等）将数据正确加载到数据仓库中。由于信息源众多，数据集成是数据仓库建设中最关键和最复杂的一步，它包含下面几个方面：
数据过滤数据汇总数据合并（4）元数据元数据(Metadata)是关于数据的数据，它是数据仓库的管理性数据，在数据仓库的设计、运行中起着极其重要的作用，是整个数据仓库的核心。它描述了数据仓库的数据和环境，用于存储数据模型和定义数据结构、转换规则、仓库结构、控制信息等。
（5）中央数据仓库中央数据仓库的目标是进行决策支持，它是支持管理决策过程的、面向主题的、集成的、稳定的、时变的数据集合，它面向主题组织数据，每个主题对应一个客观分析领域，它可以为辅助决策分析集成多个部门、不同系统的大量数据。
为了满足不同应用对数据库的不同处理深度的要求，数据仓库中的多重粒度是必不可少的，其数据仓库中的数据组织结构分为四个级别，即早期细节级、当前细节级、轻度综合级和高度综合级四级粒度，如图3 所示。当前细节级保存来自集成器的当前细节数据，为单位当年的详细数据；早期细节级保存历史详细数据，一般保存5-8 年的历史数据。详细数据经进一步汇总，以综合的数据进入轻度综合级和高度综合级。随着时间的推移，由时间控制机制将当前细节级的老化数据转入早期细节（即转为历史数据）。
（6）数据集市与个人级数据仓库中央数据仓库使数据发生了质的变化，由原始的操作数据转化为适合分析的导出性数据。随着数据的不断载入，中央数据仓库将越来越庞大，若所有的决策分析工作都完全基于中央数据仓库，性能将十分低下。因此，有必要建立数据集市(部门级数据仓库)以及个人级数据仓库，形成一个分层的数据仓库环境，校级、院系级和高级管理（个人）级数据仓库浑然一体，以适应学校不同层次分析的需要，并与原有的操作型环境形成一个四层的体系化环境数据集市(Data Marts)是一种更小、更集中的院系级数据仓库。数据集市具有传统意义上的数据仓库的四个基本特征，它是按照某一特定的决策支持需求而组织起来的、针对特定主题的数据仓库。图4 的四层体系化环境可以很好地与学校的各个院系组织结构对应起来。例如，对于所有学校的总体成绩在教务处进行宏观管理，对于各个院系的成绩在院系级进行分析。高层管理的主要任务是进行战略决策，需要进行复杂的分析加工，个人级数据仓库面向这一层。 针对学校各个院系对数据访问的局部性，有必要为访问数据仓库十分频繁的关键业务部门建立自己的数据集市，以便节约开销，提高响应速度；对于一般通用业务的分析决策应用，建立一个通用的数据集市，并且建立一个学校高层管理人员使用的个人级数据仓库，以支持学校的宏观战略决策。这样，既可以提高解决分析效率，又便于对中央数据仓库进行有效的维护。
结束语本文基于实际工作经验，通过对数据仓库的关键技术的研究，在详细研究数据仓库体系结构、设计方法、实施策略及应用技术等相关知识后，结合教学管理具体要求，寻找适合教学管理决策需求的数据仓库模型设计和数据处理方法，设计建立完备、正确、无冗余的教务管理系统数据仓库模型，为以后进行决策分析提供有效的支持和依据。通过本文的研究，从理论和实践上提供一套有效的方法，为高校全面进行数据仓库建设、联机分析处理、数据挖掘研究与开发提供参考。建设科学合理的教务管理系统数据仓库，不仅有效地提高了高校信息管理和数据利用的能力，并且加强了高层教学管理决策的合理性和科学性，是高校提高综合竞争力的必经之路。
【有关教务管理的论文】相关文章：
本文来源：http://www.010zaixian.com/shiyongwen/2148260.htm