大数据分析是什么？——如何将理论转化为行动

就像据说整个宇宙和我们的银河系是由于大爆炸形成的一样，同样，由于如此多的技术进步，数据也呈指数级增长，导致大数据爆炸。在此博客中，您将深入了解大数据分析及其应用。此数据来自各种来源，具有不同的格式，以可变速率生成，并且还可能包含不一致之处。因此，我们可以简单地将此类数据的爆炸称为大数据。 我将在本博客中解释以下主题，让您深入了解大数据分析：

• 为什么要进行大数据分析？
• 什么是大数据分析？
• 大数据工具
• 大数据领域
• 大数据用例
• 大数据行业趋势

为什么要进行大数据分析？

在我开始告诉你什么是大数据分析之前，让我告诉你们为什么需要它。我也跟大家透露一下，我们每天大约产生2.5quintillion字节的数据！所以既然我们已经积累了大数据，我们既不能忽视它，也不能让它闲置浪费。

全球各地的各种组织和部门开始采用数据分析以获得众多好处。分析大数据提供了许多公司正在将其转化为行动并获得巨额利润和发现的见解。我将列出四个这样的原因以及有趣的例子。从此大数据课程了解有关大数据的更多信息。

打造更智能、更高效的组织

让我向您介绍这样一个组织，纽约警察局 (NYPD)。NYPD 出色地使用大数据分析在犯罪发生前检测和识别犯罪。他们分析历史逮捕模式，然后将它们与联邦假期、发薪日、交通流量、降雨等事件映射起来。这有助于他们利用这些数据模式立即分析信息。大数据分析策略帮助他们识别犯罪地点，并通过这些地点将警官部署到这些地点。因此，通过在犯罪发生之前到达这些地点，它们可以防止犯罪的发生。

通过分析客户行为优化业务运营

大多数组织使用客户行为分析来提供客户满意度，从而增加他们的客户群。最好的例子就是亚马逊。亚马逊是最好、使用最广泛的电子商务网站之一，拥有约 3 亿客户群。他们使用客户点击流数据和历史购买数据在定制网页上为他们提供定制结果。 分析 每个访问者在其网站上的点击次数有助于他们了解他们的网站导航行为、用户购买产品的路径、导致他们离开网站的路径等等。所有这些信息都有助于亚马逊改善他们的用户体验，从而改善他们的销售和营销。

降低成本

大数据技术和云计算等技术进步在存储和处理大数据方面带来了显着的成本优势。让我告诉您医疗保健如何利用大数据分析来降低成本。如今，患者在家中或室外都在使用新的传感器设备，这些设备会发送源源不断的数据流，可以实时监控和分析这些数据流，帮助患者通过自我管理病情来避免住院。对于住院患者，医生可以使用预测分析来优化结果并减少再入院率。 Parkland Hospital 使用分析和预测模型来识别高风险患者，并预测患者出院后的可能结果。因此，Parkland 将心力衰竭患者的 30 天再入院率降低了 31% ，每年节省 500,000 美元。

新一代产品

有了通过分析衡量客户需求和满意度的能力，就有能力为客户提供他们想要的东西。我在这里找到了三个如此有趣的产品。

首先，谷歌的 自动驾驶汽车 在每次旅行中都会进行数百万次计算，帮助汽车决定何时何地转弯、是否减速或加速以及何时改变车道——这与人类司机在方向盘后做出的决定相同。

第二个是 Netflix，它完全信任大数据分析，承诺制作两季极受欢迎的电视剧《纸牌屋》！去年，Netflix 的美国用户群增长了 10%，并在全球新增了近 2000 万用户。

第三个例子是我遇到的非常酷的新事物之一，是智能瑜伽垫。首次使用 Smart Mat 时，它会引导您进行一系列运动，以校准您的体型、尺寸和个人限制。此个人资料信息存储在您的 Smart Mat 应用程序中，将帮助 Smart Mat 检测您何时未对准或平衡。随着时间的推移，它会随着您改进瑜伽练习而自动更新数据。

什么是大数据分析？

现在让我们正式定义“什么是大数据分析？” 它检查大量不同类型的数据，以发现隐藏的模式、相关性和其他见解。基本上，分析大数据主要被公司用来促进他们的成长和发展。这主要涉及对给定的数据集应用各种数据挖掘算法，然后帮助他们做出更好的决策。有许多大数据分析工具可用于快速准确地分析数据。Hadoop、Pig、Apache Spark这些大数据分析工具，你一定要知道。

大数据分析的阶段

这些是此过程中涉及的以下阶段：

大数据分析的类型

大数据分析有四种类型：

描述性分析

它使用数据聚合和数据挖掘来洞察过去并回答：“发生了什么？” 描述性分析的作用正是顾名思义，它们“描述”或总结原始数据并使其可被人类解释。

预测分析

它使用统计模型和预测技术来了解未来并回答：“可能会发生什么？” 预测分析为公司提供基于数据的可操作见解。它提供了对未来结果的可能性的估计。

规范分析

它使用优化和模拟算法来建议可能的结果和答案：“我们应该做什么？” 它允许用户“规定”一些不同的可能行动，并引导他们找到解决方案。简而言之，这种分析就是提供建议。

诊断分析

它用于确定过去发生某事的原因。它的特点是采用向下钻取、数据发现、数据挖掘和关联等技术。诊断分析需要更深入地查看数据以了解事件的根本原因。

大数据工具

以下是用于大数据分析的一些工具：Hadoop、Pig、Apache HBase、Apache Spark、Talend、Splunk、Apache Hive、Kafka。

大数据领域

• 医疗保健： 医疗保健正在使用数据分析来降低成本、预测流行病、避免可预防的疾病并提高整体生活质量。大数据在医疗保健领域最广泛的应用之一是电子健康记录 (EHR)。 近年来，几乎大多数医疗保健行业都知道大数据分析 的重要性。
• 电信：它们是大数据最重要的贡献者之一。电信行业提高服务质量并更有效地路由流量。通过实时分析通话数据记录，这些公司可以识别欺诈行为并立即采取行动。营销部门可以修改其活动以更好地瞄准其客户，并利用获得的洞察力开发新产品和服务。
• 保险：这些公司使用大数据分析进行风险评估、欺诈检测、营销、客户洞察、客户体验等。
• 政府： 印度政府使用数据分析来估计该国的贸易。他们使用中央销售税发票来分析各州相互贸易的程度。
• 金融： 银行和金融服务公司使用分析来区分欺诈性交互与合法业务交易。分析系统会建议立即采取行动，例如阻止不正常的交易，从而在欺诈发生之前将其制止并提高盈利能力。
• 汽车： 劳斯莱斯通过将数百个传感器安装到其发动机和推进系统中来进行大数据分析，这些传感器记录了有关其运行的每一个微小细节。实时数据变化会报告给工程师，他们将决定最佳行动方案，例如安排维护或派遣工程团队。
• 教育：这是大数据分析被缓慢而逐渐吸收的领域。 选择大数据技术作为学习工具而不是传统的授课方法，可以增强学生的学习能力，并帮助教师更好地跟踪他们的表现。
• 零售： 包括电子商务和实体店在内的零售业广泛使用大数据分析来优化他们的业务。例如，亚马逊、沃尔玛等。

大数据行业趋势

下图描绘了 2011 年至 2027 年大数据的市场收入（以十亿美元计）。

以下是福布斯的一些事实和统计数据：

大数据分析就业前景：

• 薪资方面： 分析工作的平均薪资约为 94,167 美元。数据科学家连续三年被评为美国最佳工作，基本工资中位数为 110,000 美元，有 4,524 个职位空缺。在印度，年薪低于 100 万印度卢比的分析专业人士的比例有所下降；收入超过 150 万印度卢比的分析专业人员的百分比从 2016 年 的17% 增加到2017 年的21% ，再到 2018 年的22.3% 。
• 巨大的工作机会：谷歌、苹果、IBM、Adobe、高通等公司聘请大数据分析专业人员。

大数据行业所需技能

这些是根据大数据分析领域的角色所需的一些技能：

• 基本编程：一个人应该至少了解一些通用编程语言，例如 Java 和 Python。
• 统计和定量分析：了解统计和定量分析是理想的。
• 数据仓库：需要了解 SQL 和 NoSQL 数据库。
• 数据可视化：了解如何可视化数据非常重要，以便能够理解洞察力并将其应用到行动中。
• 特定业务知识：必须了解他们应用分析以优化运营的业务。
• 计算框架：最好至少了解一种或两种大数据分析所需的工具。