数据预处理的方法 数据预处理的方法和工具

数据预处理的方法：

　　1、墓于粗糙集( Rough Set)理论的约简方法，粗糙集理论是一种研究不精确、不确定性知识的数学工具。现在受到了KDD的广泛重视，利用粗糙集理论对数据进行处理是一种十分有效的精简数据维数的方法。

　　2、基于概念树的数据浓缩方法，在数据库中，许多属性都是可以进行数据归类，各属性值和概念依据抽象程度不同可以构成一个层次结构，概念的这种层次结构通常称为概念树。概念树一般由领域专家提供，它将各个层次的概念按一般到特殊的顺序排列。

　　3、信息论思想和普化知识发现，特征知识和分类知识是普化知识的两种主要形式，其算法基本上可以分为两类：数据立方方法和面向属性归纳方法。

　　4、基于统计分析的属性选取方法，可以采用统计分析中的一些算法来进行特征属性的选取，比如主成分分析、逐步回归分析、公共因素模型分析等。这些方法的共同特征是，用少量的特征元组去描述高维的原始知识基。

　　5、遗传算法（GA，Genetic Algo}thrn)，遗传算法是一种基于生物进化论和分子遗传学的全局随机搜索算法。遗传算法的基本思想是：将问题的可能解按某种形式进行编码，形成染色体。随机选取N个染色体构成初始种群。再根据预定的评价函数对每个染色体计算适应值。选择适应值高的染色体进行复制，通过遗传运算(选择、交叉、变异)来产生一群新的更适应环境的染色体，形成新的种群。