什么是大数据?

yizhihongxing

大数据的概念

关于大数据,很多机构给出的标准答案都不一样。
维基百科(Wikipedia)中,这样描述大数据:

大数据是规模庞大,结构复杂,难以通过现有商业工具和技术在可容忍的时间内获取、管理和处理的数据集。

研究机构Gartner给出了这样的定义:

“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

国际商业机器公司(IBM)强调了大数据的“5V特性”,也就是:

数量(Volume)、多样性(Variety)、速度(Volocity)、真实性(Veracity)以及价值(Value)。

什么是大数据?

总的来说,无论各个机构如何看待大数据,归根结底,大数据真正的价值不在于庞大的数据信息本身,而在于通过分析处理从其中提炼出有价值的信息。这一点是所有企业家与大数据科学家的共识。

大数据的特征

大数据经过近几年来的发展,大数据的特征愈发清晰,大体分为以下几种:

数据量大(Volume)

这一点是大数据最明显的特征。数据的大小决定所考虑的数据的价值和潜在的信息。这一切就好像大浪淘金一样,数据量小那么其潜在的价值就小。

种类繁多(Variety)

种类繁多、复杂多变也是大数据的重要特性。从互联网诞生以来,每天新产生的数据都以指数级增长。这些数据不仅量大,而且种类繁多,结构复杂。其中结构化数据只占10%左右,剩下的都是繁杂的非结构化的数据。

速度快(Velocity)

速度快其实包含了两方面的含义。其一指的是产生新数据的速度快,二是要求处理现有的数据速度快。现如今爆发式增长的数据量产生了无限供应的大数据,如果没有快速的而处理分析能力,那么数据量再大,种类再高也无济于事。

价值密度低(Value)

爆发式增长的数据量保证了大数据能够挖掘高价值的基础。但往往事与愿违,数据呈指数增长的同时,隐藏在海量数据的有用信息却没有相应比例增长。价值密度的高低与数据总量的大小成反比,这一点确实让人灰心,如何通过强大的机器算法更迅速地完成数据的价值“提纯”也成为目前大数据背景下亟待解决的难题。

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:什么是大数据? - Python技术站

(0)
上一篇 2023年1月8日 下午6:03
下一篇 2022年11月14日 下午10:06

相关文章

  • 什么是数据可视化?

    什么是数据可视化? 数据可视化是将数据以图表、热力图、散点图等图形形式展现的过程,通过可视化,能够更加直观的呈现数据,提高数据的可读性,让人们可以更快地理解、分析和使用数据。随着大数据时代的来临,数据可视化也成为了数据分析与数据挖掘中不可或缺的一部分。 数据可视化的完成攻略 数据可视化的完成攻略一般包括以下几个步骤: 确定数据可视化的目的 数据可视化的目的是…

    大数据 2023年4月19日
    00
  • 数据科学和商业分析的区别

    数据科学和商业分析的区别 数据科学和商业分析是两个领域,它们都是从数据中提取信息以支持业务决策。但是,它们又有一些明显的不同点。 1. 目的不同 数据科学主要关注于通过挖掘数据的特征和模式来解决实际问题,从而发现有用的信息。而商业分析则主要关注于用数据来支持经营决策,找出现有的商业机会或弥补经营缺口。 例如,在一个电子商务网站中,数据科学家的工作主要是通过收…

    bigdata 2023年3月27日
    00
  • 数据可视化中常用的工具有哪些?

    数据可视化是展现数据信息的一种方式,它可以更直观地呈现数据,并能够更快速地发现数据背后的规律和趋势。以下是数据可视化中常用的工具及其特点: Tableau Tableau是一款用户友好的数据可视化软件,可以帮助用户从各种不同的数据源中创建交互式的可视化图表。其主要特点包括: 可视化维度:支持整理和查看不同维度的数据,包括文本、数字、日期等数据类型。 交互式:…

    大数据 2023年4月19日
    00
  • 大数据平台的数据来源

    大数据平台的数据来源可以分为内部数据和外部数据两类。 1. 内部数据 内部数据是指企业自身产生的数据,例如公司内部的业务数据、客户数据等。这类数据来源比较简单,通常包括以下几个步骤: 1.1 数据采集 数据采集是指通过多种手段获取内部数据,例如从企业存在的各类信息系统中的抓取数据,或在数据库中提取数据等。一般情况下,企业应该使用 ETL 工具或自己开发的数据…

    bigdata 2023年3月27日
    00
  • 数据分析中如何处理缺失值和异常值?

    在数据分析中,缺失值和异常值都是常见的问题,需要进行有效的处理才能得到准确的分析结果。 下面分别针对缺失值和异常值进行详细讲解。 处理缺失值 什么是缺失值 缺失值是指数据集中某些观测值没有收集到或者遗漏了。在不同的数据集中,缺失值可能表现为不同的形式,比如空值、NaN、-1等等。 缺失值的影响 在数据分析中,缺失值可能会对结果造成影响,导致结果不准确或者出现…

    大数据 2023年4月19日
    00
  • 数据分析中的可视化技术有哪些?

    数据分析中的可视化技术有许多种。这里我将主要介绍以下几种可视化技术:折线图、柱状图、散点图、饼图和热力图。 折线图 折线图是一种常见的可视化技术,用于显示数据随时间或其他连续变量变化的趋势。通常用于监控数据变化,例如股票价格如何随时间波动。折线图的优点是它可以显示出长期趋势,但缺点是它可能过于简化了数据,并因此遗漏了一些细节。下面是一个绘制折线图的示例: i…

    大数据 2023年4月19日
    00
  • 云计算和大数据分析的区别

    云计算和大数据分析的区别 什么是云计算 云计算是一种通过互联网提供计算资源和服务的方式,即将计算资源进行云化,使其可以以服务的形式向用户提供。 云计算的优点是可以实现快速、高效地部署、管理和扩展基础设施,使计算资源可以根据需要进行动态调整,从而降低了企业信息化建设的成本。 例如,很多企业需要购买服务器来存储和处理数据,但是这样的投资成本非常高,同时,服务器的…

    bigdata 2023年3月27日
    00
  • 数据科学家,数据工程师和数据分析师的区别

    数据科学家(Data Scientist)、数据工程师(Data Engineer)和数据分析师(Data Analyst)都是处理数据的角色,但在具体工作职责、技能需求和工作流程上有着不同的特点。 数据分析师(Data Analyst) 数据分析师是数据处理领域最常见的职位之一。他们的工作职责是对已有数据进行分析,找出数据中的规律和趋势,给出相关建议,帮助…

    bigdata 2023年3月27日
    00

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

评论列表(1条)

合作推广
合作推广
分享本页
返回顶部