大数据环境下数据质量关键问题研究

【类型】学位论文

【作者】范令 

【关键词】 映射归约模型 聚类算法 大数据技术 质量控制

【学位授予单位】中国海洋大学

【学位年度】2015

【学位名称】硕士

【分类号】TP311.131

【导师姓名】刘洁

【摘要】大数据时代悄然而至，数据质量也引起人们的关注。在提高数据质量方面，很重要的一部分是解决数据不一致性问题。当分布在多个节点的数据集成时，若提供的数据出现重叠，容易引起数据不一致性的问题。如何从若干个不一致的数据中获得理想的数据答案在数据清洗中就显得至关重要。本文给出了多种聚类分析的“样本差异性”和“类簇差异性”指标，系统分析了现有聚类算法:基于联通性的，基于质心的，基于密度的等聚类算法，并把聚类算法应用于解决数据的不一致性问题。br 随着信息时代的快速发展，数据呈现规模性、多样性、高速性和价值性等多种特性。

【全文挂接】 获取全文