大数据分为几种类型?(上)

大数据分为几种类型?(上)

几天以来,我一直想对这个问题one之以鼻,但这似乎总是一项艰巨的任务,因为这个问题用了太多的单词。另外,这是一个很多人都在关注的问题,很多其他人已经写了详尽的答案。

首先让我重新排列所有重要的单词:

大数据

数据挖掘

数据分析

数据分析工具

机器学习

数据分析

想象一下,您想成为一名数据分析师,并在亚马逊,英特尔,谷歌,FB,苹果等大型组织中工作。

看起来怎么样?

您将不得不处理大数据,必须使用SQLPython,R,C ++,Java,Scala,Ruby等来编写计算机程序,以仅维护大数据数据库。您将被称为数据库管理器。

作为从事过程控制的工程师或想要简化公司运营的人员,您将执行数据挖掘和数据分析;您可能会使用简单的软件来执行此操作,而只运行大量其他人编写的代码,或者您可能会使用SQL,Python,R编写详尽的代码,并且会进行数据挖掘,数据清理,数据分析,建模,预测建模等。

所有这些都称为Analytics 。有几种软件可以做到这一点。Tableau是最受欢迎的一种。其他一些是JMP和SAS。许多人可以在可以使用基于SAP的商业智能设置的情况下在线进行所有操作。在这里,可以轻松完成简单的数据分析报告。
此外,您将能够使用机器学习来得出结论,并在不可能获得数据分析答案的地方提出预测。可以将数据分析数据分析性答案视为[if / then]类型的计算机程序,其中所有输入条件都是已知的,并且只有少数参数发生了变化。

机器学习使用统计数据分析对数据进行分区。例如:阅读不同人在Yelp上发表的评论,并根据评论预测该人将餐厅标记为4星级还是5星级。

如果这还不够,那么您也可以使用深度学习。深度学习用于处理诸如音乐文件,图像之类的数据,甚至诸如自然语言之类的文本数据,这些数据虽然很大,但类型却非常多样。

您将利用一切来发挥自己的优势〜数据分析解决方案,数据分区,黑客思维方式,通过编程,报告,得出结论,制定决策,采取行动并讲述数据故事的自动化。
最后但并非最不重要的一点是,其中的一部分将发生在巡航控制上,您可能实际上不在那儿,但是您创建的程序可以自己完成大部分工作。也许如果您将其提升到AI的水平,有一天它可能会比您聪明,不用说它已经比您快。有一天,它可以达到您甚至可能没有想到的解决方案给您带来惊喜的程度。

现在您是一名数据分析师,您将要做的就是数据分析。

公司外部的人可能会看到也可能不会看到您所做的任何事情,例如,如果您为亚马逊工作,会问Alexa各种问题,或者如果您为Google工作,会问问题以使Google满意的人。否则他们可能看不到您所做的任何事情。您的职能将帮助公司更好地进行工程设计。

为此,您可能需要大量的专业知识来处理数据和一些编程语言的知识。

我在互联网上看到的一种流行的数据分析维恩图(Venn Diagram)在这里:请注意,数据分析师处在许多事物的交汇处。交流,统计,编程和业务。

认真地说,如果您需要详尽的文档说明,我建议您继续阅读此麦肯锡报告,以获取全面的了解。我只方便地从其中摘录了几个部分,因为我只想补充别人的知识,并将这些概念像一个故事放在一起,以激发人们思考这个主题并开始自己的旅程。
我将逐步回答一些问题,并在可能的情况下,提供一些图片或图表以向您显示外观。
麦肯锡顾问!您真了不起,因此,如果您阅读此答案中所写的内容,并且是您在某个时间点输入的内容,那么我将给予您充分的感谢。

我们所说的“大数据”是什么意思?

“大数据”是指数据集,其大小超出了典型数据库软件工具捕获,存储,管理和数据分析的能力。此定义是有意主观的,并结合了移动数据集才能定义大数据才能被视为大数据的定义-即,我们不必以大于一定数量的TB(千兆字节)的方式定义大数据。 。我们假设,随着技术的不断发展,符合大数据条件的数据集的大小也会增加。还应注意,定义可能因行业而异,具体取决于特定行业中常用的软件工具种类和数据集的大小。有了这些警告,当今许多领域的大数据范围将从几十TB到数PB(千TB)。

我可能要处理的典型数据大小是多少?有时GB,有时只有几个MB,有时高达1TB。有时复杂性什么都没有。数据可能表示同一件事。有时复杂度可能很高。我可能有一个巨大的文件,里面装有很多可以结构化或非结构化的数据和日志。
例如考虑梅西百货公司。有成千上万的商店,每天向成千上万的客户出售数千种商品。如果梅西百货公司想得出一个结论

那么他们应该宁愿在鞋子上多样化,还是宁愿在女装钱包中多样化?他们将如何做出决定?

那么,一个自然的问题是:我们如何衡量大数据的价值?
测量数据测量数据量引发了许多方法论问题。首先,我们如何区分数据与信息以及洞察力?通用定义将数据描述为原始指标,将信息描述为这些信号的有意义的解释,并将洞察力描述为可操作的知识。

发表评论

您的电子邮箱地址不会被公开。