大数据与云计算

（1）云计算的概念与特点

1.定义

  • Google:云计算是拥有开放标准和基于互联网服务的，可以提供安全、快捷和便利的数据存储和网络计算服务的系统。
  • 美国国家标准与技术研究院（NIST）：云计算是一种应用资源模式，它可以根据需要用一种很简单的方法通过网络访问已配置的计算资源。这些资源由服务提供商以最小的代价或专业的运作快速地配置和发布。
  • 维基（Wiki）：云计算是一种通过互联网以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。

2.特点

  • （1）超大规模
  • （2）虚拟化
  • （3）高可靠性
  • （4）通用性
  • （5）高可扩展性
  • （6）按需服务
  • （7）极其廉价

优缺

  • 优点

    • ①构建“云”的节点廉价。“云”由极其廉价的节点构成，而不采用复杂而昂贵的节点进行构建。
    • ②管理成本廉价。“云”的自动化集中式管理使大量企业无须负担日益高昂的数据中心管理成本。
    • ③资源通用性强。“云”的强通用性使资源的利用率有大幅度提升。

  • 缺点

    • 云计算既提供计算服务，又提供数据存储服务，潜在的危险性较大。因此，数据的安全保障必须加强。

（2）云计算的分类

1.公有云

  • 指云的提供商向普通用户提供使用权的云,一般免费使用或费用低廉。

  • 公有云特点

    • 安全性较差
    • 价格相对便宜,对用户端设备要求较低
    • 数据共享方便
    • 多方式使用网络

2.私有云

  • 私有云（Private Clouds）是为某一个特定客户单独使用而构建的，因而对数据、安全及服务质量等的控制都是极为有效

  • 私有云可被部署在企业数据中心的防火墙内，也可以被部署在一个安全的主机托管场所。

  • 私有云特点

    • （1）数据相对安全。
    • （2）服务质量稳定。
    • （3）硬件受限制。
    • （4）不影响私有云用户的现有IT管理的流程。

3.混合云

  • 融合了公有云和私有云,是近年来云计算的主要模式和发展方向,融合了私有云和公有云的资源,同时实现低费用和安全的目的

（3）云计算的体系架构

1.与分布式计算的区别

  • 通用性

    • 分布式计算是将数据分块放置在计算机节点上进行计算最后进行整合的计算方式,分布式计算的构建一般是为了完成某个特定任务,通用性较差
    • 云计算一般来说都是为通用应用而设计的，通用性更强。

  • 服务目标

    • 云计算是一种“生产者-消费者”模型，用户通过互联网获取云计算系统提供的各种服务
    • 分布式系统是一种“资源共享”模型，资源提供者亦可成为资源消费者

  • 核心

    • 云计算以计算为中心
    • 分布式计算以数据为中心

  • 操作资源

    • 分布式系统将数据和计算资源虚拟化
    • 云计算则进一步将硬件资源虚拟化

  • 操作系统

    • 分布式系统内各节点采用统一的操作系统
    • 云计算在各种操作系统的虚拟机上提供各种服务

2.云计算的服务模式(3种典型)

  • 软件即服务（Software as a Service，SaaS）

    • 平台通过部署硬件基础设施对外提供服务
    • 用户根据自己需求购买虚拟或实体的资源,在上进行操作而不需要也不能管理或控制云计算基础设施

  • 平台即服务（Platform as a Service，PaaS）

    • 平台将云计算应用程序和部署的平台作为一种服务提供给客户,该服务包括应用设计,应用开发,应用测试和应用托管等
    • 开发者只需上传代码和数据即可使用云服务,而不需要关心底层实现方式和管理模式

  • 基础即服务（Infrastructure as a Service，IaaS）

    • 平台提供虚拟的硬件资源,提供资源租赁和开放的云服务接口
    • 用户通过网络租赁即可搭建自己的应用系统

3.云计算的主要技术

  • 1.虚拟化技术

    • 计算单元在虚拟而非真实的单元上运行,解决了云计算对硬件的依赖,实现了对服务器的优化和整合
    • 虚拟化技术使用动态资源伸缩的手段,降低了云计算基础设施的使用成本,并提高了负载部署的灵活性

  • 2.中间件技术

    • 支持应用软件的开发,运行,部署和管理的支撑软件被称为中间件,是运行在操作系统和应用软件之间的软件层次
    • 中间件可以屏蔽硬件和操作系统之间的兼容问题,并具有管理分布式系统中的节点间的同学,节点资源和协调工作等功能,为云计算和分布式集群的部署运行等提供了支撑

  • 3.云存储技术

    • 云计算中,云存储技术通常和虚拟化技术相结合,通过对数据资源的虚拟化,提高访问效率
    • HDFS（Hadoop Distributed File System，开源）和Google公司的GFS（Google File System，非开源）

4.云计算的问题

  • 需要解决的问题

    • 1．标准化问题
    • 2．数据安全和隐私问题
    • 3．网络稳定性问题

  • 安全问题

    • 1．云计算的主要安全风险

      • （1）来自云计算服务提供商的安全风险。
      • （2）来自网络的安全风险。
      • （3）来自虚拟化的安全风险。
      • （4）边界安全模型失效带来的安全风险。

    • 2．目前关于云计算安全性的研究

      • 安全性研究集中在云计算安全标准的建立、可信访问控制、数据隐私保护、虚拟安全技术等方面。

    • 3．降低云计算安全风险的措施

      • （1）选择相对可靠的云计算服务提供商。
      • （2）经常备份数据。
      • （3）增强安全防范意识，不将敏感或核心数据放在云端。
      • （4）增强访问控制，明确谁可以访问哪些数据。

5.具有代表的云计算厂商

  • Google

    • 最早提出云计算概念

  • Amazon

    • 其云计算主要提供底层的数据存储、计算机处理、信息排队和数据库管理系统等服务

  • IBM

    • “蓝云计划”在全球建立了数十家云计算中心

  • Microsoft

    • 3种运营模式

      • 提供公有云服务
      • 和合作伙伴一起开发应用为客户服务
      • 客户建立自己的私有云

  • Alisoft

  • Apple

    • iCloud

  • 华为云

（4）大数据与云计算

大数据与云计算的关系

  • 慕课笔记-数据科学导论-第八章大数据与云计算-云计算概念特点/分类/体系架构/大数据与云计算/应用/分布式计算/服务模式/主要技术

云计算将改变大数据分析

  • 提供了相对便宜和可弹性扩展的存储空间和计算资源，使得中小企业也可完成大数据分析
  • 云计算IT资源庞大，但还需要数据通信带宽的提高和云资源的建设，也需要确保原始数据向云计算系统的“安全”迁移，更需要云计算资源能“随心所欲”的随需扩展

区别与联系

  • 联系

    • 都为数据存储和处理服务
    • 都需要占用大量的存储和计算资源，因而都用到海量数据存储技术、海量数据管理技术等并行处理技术

  • 区别

    • 1.目的不同

      • 大数据的目的是充分挖掘海量数据中的信息，以发现数据中的价值
      • 云计算以调用计算资源和存储资源为目的，以节省企业的IT部署成本

    • 2.处理对象不同

      • 大数据处理对象是数据
      • 云计算的处理对象是资源（计算资源，存储资源）和应用

    • 3.推动企业不同

      • 大数据的推动力量是从事数据存储与处理的软件厂商和拥有海量数据的企业
      • 云计算的推动力量是拥有强力计算资源和海量存储资源的企业

大数据与云计算未来的发展方向和趋势

  • 大数据

    • 大数据与学术、大数据与人类的活动，大数据的安全隐私、关键应用、系统处理和对整个产业的影响。
    • 数据私有化和数据共享联盟
    • 催生相关职业

  • 云计算

    • 1．混合云
    • 2．大数据分析
    • 3．个性化定制服务
    • 4．云游戏

（5）大数据与云计算在生产生活中的应用

1.智慧医疗

  • （1）疾病诊疗
  • （2）疾病预测
  • （3）可穿戴医疗设备

2.电子商务

  • （1）个性化商品推荐
  • （2）个性化营销
  • （3）智慧物流

3.智慧城市

  • （1）智慧交通
  • （2）智能电网

XMind: ZEN - Trial Version