如今，亚马逊网络服务，谷歌云平台，以及微软公司都提供了冷数据云存储服务的产品。每个公司都有一个不同的方法，那么他们的方法如何进行比较?

　　这是一个专门为数据访问不太频繁设计的的存储服务器。其作用是存储例如存储在Facebook网站中的老照片。该公司优化了低硬件成本，高容量和存储密度，以及低功耗。Facebook公司建立了独立的简化的数据中心，只是为了容纳这些冷数据存储服务器。

　　处理海量数据

　　事实上，所有的分析师都预测今后云服务市场将继续增长，并且是快速增长。调查机构Gartner公司近日表示，云计算将成为今年新的IT新的主要支出。这将是数据中心空间决定性的一年，因为私有云开始让位给混合云，而将近一半的大型企业将在2017年底部署混合云。

　　那么我们创造了多少数据?根据思科公司估计，全球数据中心流量已经进入泽字节时代，数据量从2014年的3.4ZB增长到2019年的10.4ZB。其中云计算流量迅速增长是数据中心流量增长的一个主要原因，2019年云计算流量将达到8.6ZB。

　　随着谷歌公司和亚马逊公司已经进军冷数据存储市场，微软公司决定加入这个行列。今年四月，微软宣布其CoolBlob存储产品全面上市，这是一个冷数据对象的低成本存储产品。

它有什么作用?

　　微软公司在四月上市的CoolBlob存储产品具有一些特定功能，例如备份、媒体内容、科学数据、法规遵从、档案数据等。从本质上讲，这些数据很少有人访问，这适用于冷数据存储：其中包括法定数据，信息的第三个副本，由于合规性需要保留更长时间的数据，以及档案信息等，这些都是很好的例子。那么，什么样的冷存储数据来自更多的传统的存储选项?

　　让我们从一个定义开始：冷数据存储被定义为不活动的数据的操作模式和存储系统。它相对于其他存储解决方案来说有明确的取舍。当部署冷数据存储时，预计数据检索时间将超出通常可以接受的可能被认为在线或生产应用的时间。这样做是为了节约投资和运营成本。

　　以社交媒体Facebook公司为例，Facebook公司每天都要储存来自用户的3.5亿张图片，这些图片将添加到Facebook公司已有的2400亿张图片库中。这些图片按照协议是不能删除的，但其中大部分的照片，人们不会每天都访问和观看，但仍需要将它们一直储存在磁盘中。

　　最后，它意味着使用合适的冷存储备份解决方案，需要专门提供适合企业业务和工作负载。现实情况是，并不是所有的冷数据存储都是一样的。牢记这一点，让我们来看看这三个行业主要厂商的产品。

　　谷歌近线：谷歌公司2015年宣布其近线存储产品，很快被认为是存储市场中的一个突破性的解决方案。为什么如此?是因为该公司有一个非常快(仅需几秒)检索时间的直接承诺。与市场领导者亚马逊公司的AWS冰川冷存储产品相比，其速度是相当快的。据谷歌公司表示，还提供了一款低于公司标准的近线归档存储产品，其成本更低，但可用性和延迟时间稍高。近线存储产品首字节传输时间(timetofirstbyte)的时间为2秒到5秒。当你与其他解决方案相比时，该公司可以被看作是一个真正的游戏规则的制定者。然而，这个产品也有一些问题。

　　其中的原因之一是，谷歌近线限制数据检索的速度为每TB存储4MB/秒，这样的吞吐量将使存储消耗造成了线性增长和扩展。因此，你可能发现为了访问一个比特，自己需要下载大量的数据。然而，一种称为点播I/O技术可以增加吞吐量，采用这种技术，你采用谷歌云存储近线的检索速度将比默认配置4MB/s要快得多，但有两件事要记住：

　　1、按需I/O默认关闭。

　　2.点播I/O只适用于近线存储，对其他的标准存储或低成本存储服务的存储I/O没有任何影响。

　　总体而言，谷歌承诺提供一个低成本，高耐用性和高可用性的可用于数据存档，在线备份和灾难恢复的存储服务。可以立即提供数据，而不是几小时或几天内。近线存储以3秒钟的平均响应时间和1美分/GB每月的价格，可以为用户带来较低的成本。此外，它可以让你存储“无限”的数据，并通过谷歌云平台存储的API的快速访问，数据检索的响应时间约为3秒。

　　最后，还提供一些数据导入的功能。除了点播I/O，也有转让服务。这基本上可以让用户从亚马逊S3，HTTP/HTTPS站点，以及现场部署来导入数据。这个过程可以是自动化的完整生命周期管理。

　　亚马逊的AWS冰川：作为全球行业厂商领先的冷数据存储解决方案之一，冰川是一个数据归档和在线备份安全，并具有极低成本的存储服务。可以允许客户存储大量或少量的数据。亚马逊的定价可以低至每GB每月1美分，企业实施内部部署解决方案可以节省大量的成本。为了保持低成本，冰川还对检索时间进行了优化，对于那些很少访问的数据检索时间设为几个小时是合适的。冰川和近线在检索和交付1TB的数据时将有很大的不同。冰川对于存储对象检索的时间大约3到5个小时，完全下载为4个小时。而采用谷歌近线存储产品的客户4小时只能下载5%，而完整下载1TB数据的时间约为69小时。

　　在AWS冰川环境中，数据被存储在“档案”中，一个存档可以是任何数据，如照片、视频或文档。你可以上传一个单一的文件存档或汇总多个文件到一个TAR或ZIP等压缩文件，并将其作为一个存档上传。

　　一个单一的档案可以为40TB大小。你可以采用亚马逊冰川存储无限量的档案和无限量的数据。在创建时，每个归档都被分配一个唯一的归档标识，并且该归档的内容是不可变的，这意味着在创建了一个归档之后，它不能被更新。

　　在这里，亚马逊冰川使用“vaults”作为容器来储存档案。你可以在AWS管理控制台查看存储库的列表，并使用AWS的SDK执行各种库的操作，如创建vaults，删除vaults，锁定vaults，vaults元数据，检索库库存，标签存储库中筛选和配置vaults通知。你还可以在每个磁带库授予或拒绝特定的活动，为用户设置访问策略。一个单一的AWS帐户下，你最多可以有1000个vaults。

　　一旦你的数据在vault中，管理员将有机会使用一些精细的控制功能，其中包括机会：

　　·库存

　　·访问控制

　　·访问策略

　　·锁定库(例如，读写许多控件)

　　·审核日志

　　·集成的生命周期管理

　　·高级和低级AWSAPI集成

　　·数据保护

　　·数据可靠性

　　微软公司的CoolBlobStorage：这是微软公司于今年四月推出存储产品的追赶之举。

　　微软Azure的冷数据存储层对于不经常访问和长寿命的数据存储进行了优化。微软公司的CoolBlobStorage的存储成本为1到48美分每月每GB，这取决于地区和存储的数据总量。而对于“热”的BlobStorage，也就是经常访问的数据，存储成本为2.23到618美分每月每GB。在某些情况下，将一些数据存储在冷存储层可以节省50%以上的成本。

　　这里有一个重要的注意事项：要注意收费和计费，因为这个价格可能仍然在变化。微软指出，为了让用户尝试新的存储层和验证功能，在产品发布后，访问冷数据到热数据存储层的收费方法将被放弃，这个方法只保持到20166月30日。从20167月1日起，将所有的应用到从冷数据存储转换到热数据存储。

　　微软公司强调，用户可以基于其访问模式在冷热存储访问层之间选择存储对象数据。这里要注意一些功能：

　　·API集成(但只与其他现有的Blob存储产品集成)

　　·安全

　　·可扩展性

　　·多区域分布

　　·99%的可用性(热数据存储层提供99.9%)

　　给出一些忠告

　　虽然谷歌公司的近线，微软的CoolBlobStorage，以及亚马逊AWS冰川产品功能强大，价格实惠，但其终端到终端的整合和管理仍然是一个挑战。而周围的备份和存储管理能力将是至关重要的。

　　例如AWS冰川，在允许客户设置策略方面，只允许用户每天检索一定量的数据。此外，其用户也可以设置一个策略，用于在免费层中的检索。相比谷歌的近线，同一类粒度排序似乎缺少。至于微软的CoolBlobStorage则是伟大的，但其数据存储服务只是刚刚开始。

　　这里没有明确的赢家。这将取决于用户的特定用例。当用户建立了自己的冷数据存储架构，确保创建一个基于集成的最佳实践的环境。这意味着了解你将存储什么样的数据，保留策略，定价，存储和访问速度，以及在恢复过程中需要恢复的信息。

 

 

行业巨头的云计算冷数据存储应用和比较 2016-07-15

 

 云服务只是一个统称，可以分成三大类。

SaaS 是软件的开发、管理、部署都交给第三方，不需要关心技术问题，可以拿来即用。普通用户接触到的互联网服务，几乎都是 SaaS，下面是一些例子。

  • 客户管理服务 Salesforce
  • 团队协同服务 Google Apps
  • 储存服务 Box
  • 储存服务 Dropbox
  • 社交服务 Facebook / Twitter / Instagram

PaaS 提供软件部署平台（runtime），抽象掉了硬件和操作系统细节，可以无缝地扩展（scaling）。开发者只需要关注自己的业务逻辑，不需要关注底层。下面这些都属于 PaaS。

  • Heroku
  • Google App Engine
  • OpenShift

IaaS 是云服务的最底层，主要提供一些基础资源。它与 PaaS 的区别是，用户需要自己控制底层，实现基础设施的使用逻辑。下面这些都属于 IaaS。

  • Amazon EC2
  • Digital Ocean
  • RackSpace Cloud