NCRE-三级数据库技术-第13章-大规模数据库架构

文章适用于计算机等级考试NCRE三级数据库技术内容来源于网络文章内容侵删如果文章和个人的理解有出入请务必以自己的知识储备为准仅做参考13.1 分布式数据库技术13.1.1 分布式数据库概述分布式数据库系统物理上分散、逻辑上集中的数据库系统分布式数据库分布式DBS在各个场地上DB的逻辑集合13.1.2 分布式数据库目标基本特征本地自治、非集中式管理、高可用性分布透明性位置独立性、数据分片独立性、数据复制独立性复杂性分布式查询、事务管理环境独立硬件独立性、OS独立性、网络独立性、DBMS独立性13.1.3 数据分布策略1. 数据分片从概念到逻辑水平分片每个分片是原表中记录的子集垂直分片每个分片是原表中属性的子集导出分片导出水平分片混合分片以上三种的融合2. 数据分配从逻辑到物理集中式分配所有数据片段安排在一个场地上分割式分配所有全局数据只有一份被指定到若干场地全复制式分配全局数据有多个副本每个场地上有一个完整的数据副本混合式介于分割与全复制式之间13.1.4 透明性分片透明性用户无需考虑数据分配位置透明性用户只需考虑分片情况不需要考虑数据分片位置局部数据模型透明性用户需要了解分片、副本复制、位置分配情况13.1.5 分布式数据库相关技术1. 分布式查询用户与分布式DBS的接口需要考虑操作执行的顺序、操作的执行算法、不同场地间的数据流动和顺序2. 分布式事务管理恢复控制基于两阶段提交协议准备阶段和提交阶段并发控制基于封锁协议13.2 并行数据库技术13.2.1 并行数据库概述并行DBS通过并行实现数据操作提高系统性能优势高可用性13.2.2 并行数据库结构结构类型描述共享内存系统多个CPU通过网络访问共同内存CPU增多容易内存冲突共享磁盘系统多个CPU拥有自己的内存通过网络共享硬盘增加了通信代价无共享资源系统多个CPU拥有自己的内存和磁盘通过网络通信通信代价最高层次结构前三种体系的结合分为顶层无共享和底层共享内存或共享硬盘13.2.3 一维数据划分方法一维数据划分将大数据集水平划分到多个磁盘以通过并行读写有效利用多磁盘的I/O带宽轮转法如果系统有n个CPU将第i条记录划分到第i mod n个CPU的方法散列法使用特定的哈希函数作用于选定的属性将记录划分到不同CPU范围划分法先排序后分区每个区域分配给不同CPU优劣势分析轮转法可有效应用于需要访问整个关系的查询处理当需要访问部分记录时散列法和范围法更优范围法可能导致数据倾斜即不同分片含有的记录数目差别很大造成性能瓶颈散列法优点即使数据随时间增加或减少也能保持均匀分布13.2.4 并行算法并行排序用区域划分法将关系的所有记录重新分布再排序每个CPU使用排序算法对分配给它的记录排序得到有序序列通过按照区域划分的对应次序访问处理机得到完整的有序关系并行连接对关系A和B重新划分把连接属性的取值分为k个区域13.3 云数据库技术13.3.1 云的概念和类型云云计算供应商一般为网络大厂的数据中心的软硬兼施公有云以即用即付的方式提供给大众私有云不对大众进行公开混合云公有云和私有云混合13.3.2 云计算概述云计算一种商业计算模型将计算任务分布在大量计算机构成的资源池上使各种APP能够根据需要获取算力、存储空间和信息服务13.3.3 云计算来源和组成并行计算同时使用多种计算资源解决计算问题分布式计算将大任务分解成小任务分发给不同计算设备计算后再汇总网格计算在动态、多机构参与的虚拟组织中共同解决计算问题13.3.4 云计算服务类型IaaSInfrastructure as a Service基础设施作为服务主要提供硬件设备PaaSPlatform as a Service平台作为服务将硬件加工为软件平台提供SaaSSoftware as a Service软件作为服务将硬件和平台加工为软件提供13.3.5 云数据库体结构云数据库云数据库主要平台AWSAmazon Web Services、GAEGoogle App Engine、Hadoop13.3.6 云计算技术体系结构(文档中此节无具体内容)13.3.7 谷歌云Google File System文件系统Map/Reduce分布式编程环境Chubby分布式锁机制Big Table大规模分布式数据库13.3.8 云数据库缺点数据安全问题对云的管理问题对网络的依赖13.4 XML数据库技术13.4.1 XML数据库概述XMLeXtensible Markup Language可扩展标识语言半结构化语言XML数据库可以对XML文档格式进行存储和查询操作的数据库13.4.2 XML数据库类型XML Enabled Database (EXDB)能处理XML的数据库Native XML Database (NXDB)纯XML数据库Hybird XML Database (HXDB)混合XML数据库13.4.3 XML数据库优势能够对半结构化数据进行处理能够对标签和路径进行操作能清晰的表达数据的层次特征13.4.4 SQL SERVER与XML返回XML语句SELECT * FROM table FOR XMLXML类型字段CREATEtable(uidint,content xml)