什么是大数据？– 大数据初学者指南

大数据无处不在！互联网上的d数据量数据量一直在飙升。福布斯报告称，用户平均每分钟观看415 万个 YouTube 视频，在 Twitter 上发送456,000 条推文，在 Instagram 上发布46,740 张照片，在 Facebook 上发布510,000 条评论和293,000 条状态！

大数据的演变

让我们首先深入了解为什么大数据技术变得如此重要。

你们最后一次使用 U盘 或 CD 来存储数据是什么时候？让我猜猜，这得追溯到 十几年前，对吧？现在使用纸质记录、U盘和光盘等方式记录数据已经过时了。其原因是数据呈指数级增长，人们开始将他们的数据存储在关系数据库系统中，但随着对具有快速响应的新技术、应用程序的渴望，以及互联网的引入，现在即使这样也不够了。

目前，互联网上每天新产生的数据呈指数级上升。当前互联网所有数据的 90% 是在过去两年中生成的。而且这个速度只会加快，如何存储、利用这巨量的数据，是大数据技术的核心目标。

什么是大数据？

人们对于大数据大数据最常见的误解是：大数据只是表示拥有大量数据的技术。但实际上，它不仅仅是指拥有“大量”数据的问题。大数据是指从各种数据源涌入的具有不同格式的大批量数据。这部分数据不单单指的是存储在数据库中的数据，这是由于数据的多样性，传统的关系数据库系统无法处理的某类数据。另外，大数据不仅仅是具有不同格式的数据集的集合，它也是一种重要的资产，可以用来获得无数的好处。

大数据有三种不同格式：

1. 结构化：具有固定模式的有组织的数据格式。例如：关系型数据库
2. 半结构化：部分组织的数据，没有固定的格式。例如：XML、JSON
3. 非结构化：具有未知架构的无组织数据。例如：音频、视频文件等。

大数据的特点

以下是大数据的特点：

上图描绘了大数据的五个 V，但随着数据不断发展，V 也会不断发展。我列出了另外五个随着时间的推移逐渐发展起来的 V：

• 有效性：数据的正确性
• 可变性：动态行为
• 波动性：随时间变化的趋势
• 漏洞：易受破坏或攻击
• 可视化：可视化有意义的数据使用

大数据分析

既然你已了解了什么是大数据，以及它是如何以指数方式生成的，那么再向你展示一个非常有趣的例子，这个例子讲解了咖啡巨头星巴克是如何利用大数据为企业产生更多价值的。

这是福布斯发表的一篇文章，这篇文章报道了星巴克如何利用这项技术来分析客户的偏好，以增强和个性化他们的体验。他们分析了会员的咖啡购买习惯以及他们最喜欢的饮料，以及他们通常在一天中的什么时间订购。因此，即使人们光顾“新的”星巴克门店，该店的销售点系统也能够通过智能手机识别客户，并向咖啡师提供他们喜欢的订单。此外，根据订购偏好，他们的应用程序会推荐客户可能有兴趣尝试的新产品。

可以看到，大数据分析技术帮助星巴克更精准地了解客户，以此提升客户体验，而这就意味着更多的客户留存率，从而产生更多的盈利。

从技术上来讲，大数据分析技术主要涉及对给定的数据集应用各种数据挖掘算法，然后帮助企业做出更好的决策。

根据企业的需求，有多种处理大数据的工具，例如Hadoop、Pig、Hive、Cassandra、Spark、Kafka等。

大数据的应用

以下是大数据应用已经发生革命性变化的一些领域：

• 娱乐：Netflix 和亚马逊使用它向用户推荐节目和电影。
• 保险公司：使用这项技术来预测疾病、事故并相应地为其产品定价。
• 无人驾驶汽车：谷歌的无人驾驶汽车每秒收集大约 1 GB 的数据。这些实验需要越来越多的数据才能成功执行。
• 教育领域：选择大数据驱动的技术作为学习工具，而不是传统的授课方式，这增强了学生的学习并帮助教师更好地跟踪他们的表现。
• 汽车领域：劳斯莱斯通过在其发动机和推进系统中安装数百个传感器来接受这项技术，这些传感器记录了有关其运行的每一个微小细节。实时数据变化会报告给工程师，他们将决定最佳行动方案，例如在问题需要时安排维护或派遣工程团队。

大数据的发展前景

• 大量工作机会：与大数据领域相关的职业机会包括大数据分析师、大数据工程师、大数据解决方案架构师等。据 IBM 称，59% 的数据科学与分析 (DSA) 职位需求来自金融领域保险、专业服务和 IT。
• 对分析专业人士的需求不断增长：福布斯的一篇文章显示“IBM 预测对数据科学家的需求将飙升 28%”。据 IBM 称，到 2020 年，所有美国数据专业人员的工作岗位数量将增加 364,000 个，达到 2,720,000 个。
• 薪资方面：据福布斯报道，雇主愿意支付比学士和研究生薪资中位数高出 8,736 美元的溢价，成功申请者的起薪为 80,265 美元

上图描绘的是从 2011 年到 2027 年大数据市场收入的增长情况（以十亿美元为单位）。

以上就是本文章的全部内容，希望对您有所帮助。