论文网
数据库有关论文范文数据库,与大数据环境下基于Hbase的分布式查询优化相关论文摘要怎么写
本论文是一篇数据库有关论文摘要怎么写,关于大数据环境下基于Hbase的分布式查询优化相关学士学位论文范文。免费优秀的关于数据库及分布式及互联网方面论文范文资料,适合数据库论文写作的大学硕士及本科毕业论文开题报告范文和学术职称论文参考文献下载。
逻辑都是基于传统的关系数据库上的SQL语句,所以使传统数据库在不改变其应用程序和处理逻辑的情况下迁移到大数据Hbase平台,将是未来大数据平台研究的一个全新的发展方向.2基于Hbase的大数据查询优化研究Hbase本身提供的API中,只有Scan是用来查询数据的,这使得程序开发人员要用Hbase来提高分布式查询能力,必须针对Hbase开发相应的接口,从而增加了很多开发和维护的工作量.现有的基于Hbase的SQL解决方案（如Hive等）有很多局限性,并且当数据量变大时会遇到阻碍,查询效率也随之降低[8].所以本文的研究目标就是为了兼容以前从关系型数据库中查询数据的接口,让Hbase可以通过标准SQL语句来查询Hbase表中的数据.因此,我们需要将SQL语句转成Hbase的Scan.本文研究计划基于Hbase重新设计并实现SQL解析引擎,即在HBase上提供SQLAPI接口.Hbase中有一个类似MapReduce的高级分析组件名为协处理器（Coprocessor）[9].Hbase协处理器是一套通信框架,能够在客户端向RegionServer注入代码并执行获取结果.本文的前期研究通过对Hbase协处理器的测试以及简单实验,证明这种设计方案是可以实现的.
2.1分布式SQL解析引擎.本文对Hbase的查询优化研究运用SQL解析引擎技术,使目前主流的分布式数据库Hbase支持企业现有的复杂数据库查询应用.基于Hbase的SQL解析引擎能够为Hbase提供企业级的分布式处理能力,可以将SQL查询任务的工作负载分配给多个分布式处理单元.同时可以将企业级分布式数据查询引入到业务分析应用中,使得用户可以基于Hbase分布式数据库集群并采用SQL编程模型来处理海量数据.
Hbase数据库对SQL解析引擎的支持主要解决部署在现有大数据平台上的Hbase查询应用面临的性能瓶颈,以及传统关系数据库查询向大数据分布式查询平台的迁移.主要实现步骤及功能包括：（1）基于HbaseAPI,研究并设计符合SQL规范的SQL解析引擎,使得应用程序开发者可以应用基于HbaseSQL解析引擎的分布式查询达到与传统关系型数据库SQL相同的效果.（2）扩展Hbase协处理器API,使SQL解析引擎可以与Hbase实现无缝集成,以满足变化的的查询负载管理的要求.（3）对应用程序编程接口（API）的支持：ApacheHadoop的子项目包括HadoopMapReduceAPI,Hive和Spark；利用ApacheHadoop数据访问框架来连接分布式文件系统和数据库架构,从而避免了现有数据的迁移,主要研究对HDFS,GPFS的支持.
最后,我们还将对大数据环境下基于Hbase的分布式SQL解析引擎进行性能测试及调优.
2.2系统架构设计.本文的设计将基于Hbase分布式数据库,设计并实现SQL解析引擎,然后通过Hbase协处理器框架提供的API注入到Hbase服务器并且部署到HRegionServer上,作为Hbase数据查询的分布式SQL解析引擎,即：HbaseDistributedSQLParseEngine,简称HbaseDSPE.HbaseDSPE中包含四大核心模块：（1）DSPEClient（客户端）：提供基于JDBC的SQL客户端.DSPEClient部署在Hbase客户端,其封装了对JDBC的实现,同时将用户的SQL进行必要的检查,并且转换成对Hbase友好的SQL,如包含RowKey条件的Select查询语句.（2）DSPEMaster（主服务器）：提供分布式SQL解析引擎.DSPEMaster部署在Hbase的HRegionServer上,可以将DSPE客户端提交过来的SQL查询请求进行解析,转换为一个或多个HBase能够识别的Scan或者Put操作（Schema转换,SQLschema转换为底层Hbase中数据表的Schema,通过解析SQL语句的方式实现查询或者操作Hbase的数据）.如果是查询请求,就利用Scan编排执行并获取数据,然后将获取回来的数据再根据SQL进行过滤和计算,以生成标准的JDBC结果集,返回给客户端.如果是其他请求,那么就将Hbase的操作结果返回给客户端.整个SQL语句解析与执行完成后的组装通过Hbase协处理器实现.（3）DSPECoprocessor（协处理器）：提供DSPE和Hbase集成的API,通过Hbase协处理器实现.（4）DSPECommonInterface（通用接口）：提供公共基础类库以及SQL节点的Java对象.DSPECommonInterface模块也包含一些公共的基础Bean,比如用来表征一行记录的类（RecordClass）,DSPEClient和DSPEMaster都会依赖其提供的类库以及API.
图1是HbaseDSPE中四个主要模块的组织架构图：
图1DSPE中四个模块的组织架构图
2.3各模块详细设计：（1）DSPE客户端.DSPEClient提供了一个客户端可嵌入的JDBC驱动.因为实现了SQL语言查询,客户端可以不再使用HBase自带的ClientAPI,而是使用DSPEClient,从而使客户端所需编写的代码量大幅度降低,同时也使HbaseAPI的易用性、可扩展性
数据库有关论文范文数据库
数据库有关论文范文数据库,与大数据环境下基于Hbase的分布式查询优化相关论文摘要怎么写参考文献资料：