本论文是一篇关于数据毕业论文怎么写,关于分布式文件系统的应用相关在职毕业论文范文。免费优秀的关于数据及结点及数据库方面论文范文资料,适合数据论文写作的大学硕士及本科毕业论文开题报告范文和学术职称论文参考文献下载。
【摘 要】分布式文件系统(DistributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连.为本地文件系统提供访问接口,而且用户可以直接对数据进行访问和管理远程,不同的节点上存储它所管理的数据,而且可能有元数据服务器拥有对多个提供元数据的操作.
【关 键 词】分布式文件系统;海量存储;Google文件系统;Hadoop文件系统
1Google文件系统
Google文件系统(GoogleFileSystem,GFS),它能运行在不可靠硬件设备上,对PB级别海量的数据进行处理,并且能同时多个用户并发访问服务器集群.文件系统中存放的数据绝大部分采用追加新数据而非覆盖现有数据的方式进行写操作.除了考虑到这些需要和技术特点后,GFS也考虑了分布式文件系统的共性设计目标:高可用性,大容量数据存储和调度,简单的负载均衡和冗余.
图1是Google文件系统的文件架构图.
2Hadoop文件系统
Hadoop分布式文件系统(HadoopDistributedFileSystem,HDFS)是一个设计为用在普通硬件设备上的分布式文件系统.将其运行于计算机集群上,完成海量数据的计算,还包含了一个分布式文件系统HDFS(HadoopDistributedFileSystem).
Hadoop具有如下优势:
1)具有更高的可用性,可以容忍多个节点同时失效
2)具有更好的可扩展性,而且能够实现在线的动态扩展
3)分布式的元数据管理,消除集中管理的瓶颈
4)采用类似于内存数据库的方式存储元数据,提供了元数据的