![]() ![]() |
|
深入讲解数据挖掘中的“数据归约技术” | |
作者:佚名 文章来源:不详 点击数 更新时间:2008/3/16 9:45:14 文章录入:杜斌 责任编辑:杜斌 | |
|
|
一、数据归约基本知识: 对于小型或中型数据集,一般的数据预处理步骤已经足够。但对真正大型数据集来讲,在应用数据挖掘技术以前,更可能采取一个中间的、额外的步骤-数据归约。本步骤中简化数据的主题是维归约,主要问题是是否可在没有牺牲成果质量的前提下,丢弃这些已准备和预处理的数据,能否在适量的时间和空间里检查已准备的数据和已建立的子集。 对数据的描述,特征的挑选,归约或转换是决定数据挖掘方案质量的最重要问题。在实践中,特征的数量可达到数百,如果我们只需要上百条样本用于分析,就需要进行维归约,以挖掘出可靠的模型;另一方面,高维度引起的数据超负,会使一些数据挖掘算法不实用,唯一的方法也就是进行维归约。预处理数据集的3个主要维度通常以平面文件的形式出现:列(特征),行(样本)和特征的值,数据归约过程也就是三个基本操作:删除列,删除行,减少列中的值。 在进行数据挖掘准备时进行标准数据归约操作,我们需要知道从这些操作中我们会得到和失去什么,全面的比较和分析涉及到如下几个方面的参数: (1)计算时间:较简单的数据,即经过数据归约后的结果,可减少数据挖掘消耗的时间。 (2)预测/描述精度:估量了数据归纳和概括为模型的好坏。 (3)数据挖掘模型的描述:简单的描述通常来自数据归约,这样模型能得到更好理解。 数据归约算法特征: (1)可测性 (2)可识别性 (3)单调性 (4)一致性 (5)收益增减 (6)中断性 (7)优先权 |
|
![]() ![]() |