1.1 什么大数据
具体来说,大数据技术涉及到数据的创造,存储,获取和分析,大数据的主要特点有下面几个:
数据量大。一个典型的PC机载2000年前后其存储空间可能有10GB,今天facebook一天增加的数据量就将近有500TB;一架波音737的飞机绕美国飞行一周将会产生200TB的数据;移动互联网的发展,智能手机的普及,人们每时每刻都在产生数以万计的数据。
数据变化快。高速的股票交易市场,产生的数据以微秒计算;基础设施系统,实施系统每秒都产生大量变化的日志,每秒都处理大量的并发。
数据多样性。大数据的类型不仅仅是简单的数字,日期和字符串,它可能包含地理数据,3D数据,音频以及无结构的文档,而且这么多类型的数据可能需要保存在一起。
大数据技术的战略意义不仅在于掌握庞大的数据信息,而且也在于这些含有意义的数据进行专业化处理。
1.2 什么是云计算
云计算的定义有多种说法,对于到底什么是云计算,至少可以找到100种解释,目前广为接受的是美国国家标准与技术研究院定义:云计算是一种按使用量付费的模式,这种模式提供可用的,便捷的,按需的网络访问,进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互,本质上就是虚拟化技术的延伸,以服务的形式提供客户。按照服务的形式,目前主要有三种形式的云计算。
1. IaaS:基础设施即服务
IaaS(Infrastructure-as-a-Service):基础设施即服务。消费者通过Internet可以从完善的计算机基础设施获得服务,例如硬件服务器租用。
2. SaaS:软件及服务
SaaS(Software-as-a-Service):软件即服务。它是一种通过Internet提供软件的模式,用户无需购买软件,而是向服务提供商租用基于Web的软件,来管理企业经营活动。例如:阳光云服务器。
3. PaaS:平台即服务
PaaS(Platform-as-a-Service):平台即服务。PaaS实际是指将软件研发的平台作为一种服务,以SaaS的模式提交给用户。因此,PaaS也是SaaS模式的一种应用。但是PaaS的出现可以加快SaaS的发展,尤其是加快SaaS应用的开发速度,例如软件的个性化定制开发。
1.3 大数据与云计算
从技术上看,大数据与云计算的关系就算一枚硬币的正反两面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理,也就是说大数据就像做饭用的一堆原材料,云计算就算做饭用的工具。云计算解决了大数据的运算工具问题,而对大数据的存储我们需要相应的云存储工具。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:MongoDB实战指南(一):大数据与云计算 - Python技术站