数据库系统原理之数据管理技术的发展

数据管理技术的发展

第一节 数据库技术发展概述

  • 数据模型是数据库系统的核心和基础
  • 以数据模型的发展为主线,数据库技术可以相应地分为三个发展阶段:
    • 第一代的网状、层次数据库系统
    • 第二代的关系数据库系统
    • 新一代的数据库系统

一、第一代数据库系统

  • 层次数据库系统 层次模型
  • 网状数据库系统 网状模型
  • 层次模型是网状模型的特例

第一代数据库系统有如下两类代表:

  • 1969年IBM公司研制的层次模型数据库管理系统 IMS。
  • DBTG 报告

这两类数据库系统具有的共同特点:

  • 支持三级模式(外模式、模式、内模式)的体系结构。模式之间具有转换(或称为映射)功能。
  • 用存取路径来表示数据之间的联系。
  • 独立的数据定义语言。
  • 导航的数据操纵语言。

二、第二代数据库系统

支持关系数据模式的关系数据库系统是第二代数据库系统。

20世纪70年代是关系数据库理论研究和原型开发的时代。

经过大量高层次的研究和开发取得了以下主要成果:

  • 奠定了关系模型的理论基础,给出了人们一致接受的关系模型的规范说明。
  • 研究了关系数据语言,有关系代数、关系演算、SQL语言及QBE等。
  • 研制了大量的 RDBMS的原型,攻克了系统实现中查询优化、并发控制、故障恢复等一系列关键技术。

关系数据库是以关系模型为基础的,而关系模型是由数据结构、关系操作和数据完整性三部分组成。

第二代关系数据库系统具有模型简单清晰、理论基础好、数据独立性强、数据库语言非过程化和标准化等特点。

三、新一代数据库系统

从20世纪80年代开始,数据库界广泛开展了面向对象数据库系统(OODBS)的研究。

从面向对象(OO)模型、面向对象数据库管理系统(OODBMS)实现技术、OODBMS产品研发和应用等各个层面进行了大量的创新工作。

由于面向对象数据模型中许多功能难以实现,面向对象数据库系统过于复杂不易使用,尽管开发出许多面向对象数据库产品,但是成熟度低,最终没有被市场普遍接受。

1990 年高级 DBMS 功能委员会发表了 《第三代数据库系统宣言》的文章,提出了第三代数据库系统应具有的三个基本特征,《宣言》中称为三条基本原则。

这三个基本特征如下:

  • 第三代数据库系统应支持数据管理、对象管理和知识管理。
    • 第三代数据库系统应该是以支持面向对象数据模型为主要特征的数据库系统
    • 只支持面向对象模型的系统不能称为第三代数据库系统
    • 第三代数据库系统还应具备其他特征
  • 第三代数据库系统必须保持或继承第二代数据库系统的技术
  • 第三代数据库系统必须对其他系统开发

既然对于第三代数据库系统并没有形成一致的认识,因而通常把第二代以后的数据库系统称为新一代数据库系统。

数据库与其他计算机技术相结合,是数据库技术发展的一个显著特征。

数据仓库、工程数据库、统计数据库、空间数据库、科学数据库等多种数据库

第二节 数据仓库与数据挖掘

一、从数据库到数据仓库

计算机系统中存在着两类不同的数据处理工作:

  • 操作型处理,也称为联机事物处理(Online Transaction Processing,OLTP)
  • 分析型处理,也称为联机分析处理(Online Analytical Processing,OLAP)

20世纪80年代数据仓库(Data Warehouse,DW)技术应运而生。

传统的数据库技术为操作型处理服务

数据仓库为分析型处理服务

数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合,用以支持管理决策的过程。

数据仓库用于支持决策,面向分析型数据处理,不同于提供业务效率的操作型数据库。

数据仓库对分布在组织或企业中的多个异构数据源集成,按照决策主题选择数据并以新的数据模型存储。

存储在数据仓库中的数据一般不能修改。

  • 数据仓库主要有以下特征:

    • 面向主题
    • 集成性
    • 数据的非易失性
      • 数据经加工和集成进入数据仓库后是极少更新的,通常只需要定期加载和更新。
    • 数据的时变性
  • 粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别,细化程度越高,粒度级就越小,相反地,细化程度越低,粒度级就越大。

    • 在数据仓库中的数据量大小与查询的详细程度之间要做出权衡。
  • 分割是将数据分散到各自的物理单元中,以便能分别处理,以提高数据处理的效率。

    • 数据分割后的单元称为切片
  • 维是人们观察数据的特定角度,是考虑问题时的一类属性。

    • 维可以有细节程度的不同描述方面(维的层次)

数据集市(Data Mart)的基本思想是自下而上的数据仓库的开发方法。

  • 数据集市
    • 独立的数据集市(Independent Data Mart)
    • 从属的数据集市(Dependent Data Mart)
    • 两种集市的混合

二、数据挖掘技术

数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现并提取隐藏在其中的、人们事先不知道的、但又是潜在有用的信息和知识的一种技术。

它又被称为数据库中的知识发现(Knowledge Discovery in Database,KDD),其与数据库、数理统计、机器学习、模式识别、模糊数学等诸多技术相关。

数据处理不是数据挖掘。

  • 数据挖掘具备下列几种功能:
    • 概念描述
    • 关联分析
      • 关联
        • 简单关联
        • 时序关联
        • 因果关联
      • 目的是找出数据库中隐藏的关联网。
      • 常见的关联分析算法有 Apriori、FP-Growth等。
    • 分类与预测
      • 常见的分类模型机算法
        • 决策树模型
        • 神经网络模型
        • 线性回归模型
    • 聚类
      • 常见的聚类算法有 K-Means、GMM等。
    • 孤立点检测
    • 趋势和演变分析
      • 数据挖掘的过程:
        • 确定业务对象
        • 数据的选择
          • 数据挖掘的数据主要有两种来源:
            • 从数据仓库中来
            • 从数据库中来
        • 数据的预处理
        • 建模
        • 模型评估
        • 模型部署

第三节 大数据管理技术

大数据(Big Data)时代

一、大数据的定义

目前大数据尚无统一的定义,通常被认为是数据量很大、数据形式多样化的数据。

一般意义上,大数据是指无法在可容忍的时间内用现有信息技术和软、硬件工具对其进行感知、获取、管理、处理的服务的数据集合,且其具有如下特征:

  • 数据量巨大,即大量化(Volume)
  • 数据种类繁多,即多样化(Variety)
  • 处理速度快,即快速化(Velocity)
  • 价值(Value)密度低
    • 价值密度的高低与数据总量的大小成反比
    • 大数据的本质并非在于大,而在于其价值含量

二、大数据管理技术典型代表

1 大数据存储

分布式文件系统 HDFS

2 NoSQL 数据管理系统

  • NoSQL 有两种解释:
    • Non-Relational 非关系数据库
    • Not Only SQL 数据管理技术不仅仅是 SQL

横向扩展

NoSQL 系统支持的数据存储模型通常有键值(Key-Value)模型、文档(Document)模型、列(Column)模型和图(Graph)模型等。

  • 键值(Key-Value)存储 哈希函数
    • Tokyo Cabinet/Tyrant
    • Redis
    • Oracle BDB
  • 文档存储
    • CouchDB
    • MongoDB
  • 列存储
    • Cassandra
    • HBase
  • 图存储
    • 结点、属性、边

3 MapReduce 技术

MapReduce 以 Key/Value 的分布式存储系统为基础,通过元数据集中存储、数据以 chunk 为单位分布存储和数据 chunk 冗余复制来保证其高可用性。

MapReduce 是一种并行编程模型。

MapReduce 是一种简单易用的软件框架。

通常,计算结点和存储结点是同一个节点,即 MapReduce 框架和 Hadoop 分布式文件系统运行于相同的结点集。

原文链接:https://www.cnblogs.com/QiaoPengjun/p/17294490.html

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:数据库系统原理之数据管理技术的发展 - Python技术站

(0)
上一篇 2023年4月17日
下一篇 2023年4月17日

相关文章

  • MySql子查询IN的执行和优化的实现

    MySql子查询IN的执行和优化的实现是一个比较复杂的话题。在这里,我们将介绍子查询IN的基本概念,以及如何优化和调整查询语句,以获取更好的查询性能。 子查询IN的基本概念 子查询IN的基本概念是将一个查询语句嵌入到另一个查询语句中,通过比较两个结果集中的值,得到结果。例如: SELECT * FROM tablename WHERE id IN (SELE…

    MySQL 2023年5月19日
    00
  • 第06章 索引的数据结构

    1. 为什么使用索引 索引是存储引擎用于快速找到数据记录的一种数据结构,就好比一本教科书的目录部分,通过目录中找到对应文章的页码,便可快速定位到需要的文章。MySQL中也是一样的道理,进行数据查找时,首先查看查询条件是否命中某条索引,符合则通过索引查找相关数据,如果不符合则需要全表扫描,即需要一条一条地查找记录,直到找到与条件符合的记录。 如上图所示,数据库…

    MySQL 2023年4月17日
    00
  • mysql 报错This function has none of DETERMINISTIC解决方案

    下面是关于”mysql 报错This function has none of DETERMINISTIC解决方案”的完整攻略。 问题描述 在使用MySQL时,如果某个函数被定义为DETERMINISTIC,但是其包含非确定性的元素,则会出现如下报错: This function has none of DETERMINISTIC, NO SQL, or R…

    MySQL 2023年5月18日
    00
  • MySQL中常见的几种日志汇总

    MySQL中常见的几种日志有以下几种: binlog日志 概述 MySQL binlog是一种二进制日志,用于记录所有数据更改操作(包括增、删、改)。 使用场景 主从复制 逻辑备份(如:通过执行binlog来执行“增量备份”) 命令 # 开启二进制日志流程: 1. 修改MySQL配置文件,在mysqld节点下添加如下两行配置 log-bin=/var/lib…

    MySQL 2023年5月18日
    00
  • Mysql Row_Format 参数讲解

    今天更改数据引擎的时候,突然出现了 Table storage engine for ‘#sql-3e9_132’ doesn’t have this option 这样的提示: 通过搜索,发现了一些端倪,下面是对于Row_Format参数的讲解: 在MYSQL中, 若一张表里面不存在varchar、text以及其变形、blob以及其变形的字段的话,那么张这…

    MySQL 2023年4月16日
    00
  • 解决PHP mysql_query执行超时(Fatal error: Maximum execution time …)

    当PHP执行MySQL查询时,如果查询所需时间超过了PHP的最大执行时间(默认为30秒),将会抛出Fatal error: Maximum execution time …错误。这时需要修改PHP的最大执行时间限制。 下面是完整的攻略步骤: 第一步:确定PHP当前的最大执行时间 在PHP脚本中增加一行代码: echo ini_get(‘max_execu…

    MySQL 2023年5月18日
    00
  • 运行mysql时,提示Table ‘performance_schema.session_variables’ doesn’t exist

    第一步:在管理员命令中输入: mysql_upgrade -u root -p –force 第二步:重新启动mysql的服务: net stop mysql net start mysql 再次运行mysql,就解决了。   然后重新授权远程连接: 在本机先使用root用户登录mysql: mysql -u root -p”youpassword” 进行…

    MySQL 2023年4月13日
    00
  • MySQL 5.7新特性介绍

    MySQL 5.7新特性介绍 MySQL 5.7是一款经过大量优化和改进的版本,它带来了许多新的特性。本文将介绍其中的一些更为重要的特性。 更好的性能 InnoDB引擎优化 在MySQL 5.7中,InnoDB存储引擎进行了大量的优化和改进,这些改进使得InnoDB在性能和可伸缩性方面都比以前版本更加优秀。 多线程复制 MySQL 5.7的复制机制现在支持多…

    MySQL 2023年5月19日
    00
合作推广
合作推广
分享本页
返回顶部