当前位置 —论文—政治— 范文

数据类有关论文范例,与基于hadoop平台的混合推荐系统相关论文参考文献格式

本论文是一篇数据类有关论文参考文献格式,关于基于hadoop平台的混合推荐系统相关开题报告范文。免费优秀的关于数据及参考文献及系统结构方面论文范文资料,适合数据论文写作的大学硕士及本科毕业论文开题报告范文和学术职称论文参考文献下载。

摘要

随着科技的进步和网络的发展,人们不得不面对海量的信息数据,这些信息一般具有海量性、多态性、异构性、动态性、无结构化等特性.本文主要研究各种主流的推荐算法的优缺点,并在工程上设计推荐引擎组合.在对Hadoop平台上的分布式文件系统HDFS和计算模型Map/Reduce进行深入分析和研究的基础上,给出基于Hadoop平台的云计算混合推荐系统.

【关键词】云计算HadoopHDFSMap/Reduce混合推荐系统

1引言

推荐系统的设计与实现也面临这样的问题,现有的许多用户数据都是从网站日志里来获取,而对于流量非常之大的电子商务网站来说,数据量是非常之大的.而通常用户信息以及商品数据如果使用单机进行处理,那是不可完成的任务.所以推荐系统中算法以及数据的存储都需要分布式框架来进行处理.目前出现的大数据处理框架当中,Hadoop毫无疑问是最流行的框架之一,HDFS分布式存储框架以及MapRedu.

2Hadoop平台研究

Hadoop是一个分布式系统基础架构,是一个可以更容易开发和运行处理大规模数据的软件平台.Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem）,简称HDFS.HDFS有着高容错性（fault-tolerent）的特点,并且设计用来部署在低廉的（low-cost）硬件上.而且它提供高传输率（highthroughput）来访问应用程序的数据,适合那些有着超大数据集（largedataset）的应用程序.HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streamingaccess）文件系统中的数据.

HDFS是采用主从架构模式的.在HDFS中有两种节点：一个名字节点（namenode）和多个数据节点（datanode）.

名字节点负责管理文件系统的命名空间,维护着文件系统结构树和其中的所有文件和索引目录.另外,名字节点还记录着每个文件的每个数据块所在的数据节点的位置,这些信息会随着每次系统启动时重新建立.客户端用户通过访问名字节点,获得所需数据在相应的数据节点的位置来访问整个文件系统.所以用户在编程时不需要知道名字节点和数据节点及其所在位置.

基于hadoop平台的混合推荐系统参考属性评定
有关论文范文主题研究:	关于数据的论文例文	大学生适用:	本科毕业论文、专升本毕业论文
相关参考文献下载数量:	43	写作解决问题:	怎么撰写
毕业论文开题报告:	论文模板、论文摘要	职称论文适用:	期刊目录、职称评副高
所属大学生专业类别:	怎么撰写	论文题目推荐度:	经典题目

3推荐算法的混合

由于各种推荐方法都有优缺点,所以在实际中,组合推荐（HybridRemendation）经常被采用.研究和应用最多的是内容推荐和协同过滤推荐的组合.

本篇论文来源 http://www.sxsky.net/zhengzhi/050217308.html

4基于Hadoop平台的混合推荐系统的设计

整个系统是基于Hadoop实现的,Hadoop是一个分布式的大数据计算系统,主要由Mster阶段和DataNode节点构成,Master节点负责管理整个整个分布式系统包括MapRedcue任务的计算以及Hadoop分布式文件系统的元数据管理（通常都是交由Master管理,也可以另外设定）,而DataNode负责存储数据以及Map任务以及Reduce任务的计算.Hadoop的工作机制和在第三章已经有相似的阐述.其他的工作模块是依赖于Hadoop来实现的,如图5-6所示.每个模块在启动数据处理和数据访问（获取HDFS或者HBase的数据）的时候都首先向Master请求,并在Master处理请求之后和DataNode进行交互.

推荐引擎内部的算法通常都是面对大数据量并且算法可以进行切分并行计算,将算法以Map和Reduce

数据类有关论文范例方式进行切割,并且设计好key和value.对于算法的相似设计会在推荐系统的实现部分根据具体算法进行描述.对Hadoop的使用通常都使用Hadoop封装好的client程序包来进行调用.由client向Master进行请求,然后根据数据切分Map任务,把各个Map任务分配到不同的节点上运行,运行完之后reduce任务把相应的数据结果拉去过来继续计算.完成之后生成最终的结果.

5结语

对于基于Hadoop的推荐系统的设计,使用了软件设计模式的一些思想来对设计进行指导.比如使用了策略模式,工厂模式等等.这些主要在算法的实现部分有阐述.另外整个系统是进行分层设计的.

如何撰写论文综述
播放:35793次评论:7240人