数据中台,是炒作还是未来?

从 2018 年末开始,数据中台这个词,突然在大数据圈儿走红。大家聊天如果不提中台,好像就落伍了。

但实话说,作为跟数据库打了十多年交道的人,我觉得,数据中台是个新词,但其背后的东西,其实历史悠久。

从技术运维日常工作来说,其意义如下。

第一、安全隔离。尽量防止前端请求直接调用数据库,要知道SQL注入曾经肆虐了互联网好几年,很多知名网站都暴露过致命问题,但那时候,确实互联网对数据库技术的应用,非常原始。

第二、压力控制。中间层可以有效减缓前端并发请求的瞬间压力,保障数据库系统的稳定性和可持续性。比如说,如果A业务遭受攻击,瞬间超高并发请求,由于存在中间层阻拦,A业务崩溃,但数据库仍然可以保持稳定,其他B业务,C业务,仍然可以稳健进行。如果没有中间层,那么数据库直接崩溃,A业务,B业务,C业务,一并崩溃。

第三,扩展能力。数据库容量增加,可能以前只需要10台服务器,现在需要50台,甚至500台,那么如果是业务直接对接数据库,随着容量和业务诉求增加,需要不断调整代码,改变链接接口和调用方法。但如果通过中间层链接,业务端无需顾虑数据库端的扩容,甚至一定程度的数据结构改变。

第四,代码维护和团队工作,降低耦合度。开发进行到一定规模,有很多业务分支,有很多业务团队同时对一套数据库系统做相关开发,这时候如果你想后台做优化,就会变得特别扎手,因为一点点调整和改动,指不定哪里就炸雷。这在具有一定体量的系统里,是很常见的事情,大家只能通过打补丁来处理诉求,谁也不敢做深入的重构。

数据中间层可以隔离所以具体业务诉求,优化数据结构,对数据系统做重构,只关心接口请求即可,第一看请求类型,第二看请求频次,减少彼此之间的耦合度,很多事情也就容易多了。

认真说,你在一定规模的团队工作一定时间后,你就会明白,为什么一直强调低耦合,低耦合。

以上说的是早期数据中间层的作用和意义,但现在提起数据中台,毕竟时代在前进,这个词已经包括了新的内涵,在业务逻辑上超越了我们那个年代,对一些大型互联网巨头来说,数据中台还会承载一些基于数据的基础服务能力的输出,举一些常见案例来说

  • 通用的风控防范反羊毛党能力
  • 通用的推荐策略
  • 通用的预警和灾难响应能力
  • 通用的业务转化漏斗模型分析能力

你只要喂给它符合格式诉求的数据,并提出诉求,数据中台就会给你符合预期的数据报表或者相关数据服务,这让很多业务开发可以专注自身业务,现在很多大公司多业务线都是小团队各自为战,有数据中台后,整体效率和竞争力就上了一个台阶。这也是草根团队越来越无法跟巨头竞逐的一个重要原因。

小白缺乏项目经验应该如何解决?

拒绝应届大学生(或不具备项目经验的人)从事数据分析工作的最常见原因之一是缺乏项目经验!对于想要进入该领域的年轻人来说,具有讽刺意味!他们没有工作就无法获得经验。没有经验他们就找不到工作!

在撰写本文之前,我对大约50个应届毕业生(想要进入数据分析领域)进行了快速调查,结果发现,由于缺乏项目经验,即使是初级职位,他们平均被拒绝25次以上。

看到这些人面临的困难真令人悲哀!

话虽如此,但我们看看九道门的佛手老师怎么说。

我们将内部数据分析团队从2名成员扩大到5名成员。我们没有聘用经验丰富的专业人员,而是考虑将行业小白(直接从大学毕业)带入公司。加入他们之后,我们甚至为他们提供了九道门商业数据分析学院的入门和培训计划,都是以延迟对企业领导的重要项目为代价)。我们希望招到有项目经验的数据分析师,他们将通过高质量的工作来支付这些投资。

加入后3个月,第一个人离开,开始了自己的创业。再过了6个月,剩下的2个人离开了本组织,加入了其他公司,他们得到了更高的薪水!

我们需要了解问题根源:

我们如何解决这个问题?让我们看一下为什么企业更喜欢有项目经验的人的原因:

对工作的态度和做出决定的成熟度 –大多数企业认为,大学毕业的人会做出不成熟的决定,因此需要对工作态度进行指导。。

小白的成长时间 -数据分析师通常需要2到6个月的时间来熟悉这个项目。你可能很容易就需要一年的时间,才能从数据分析师身上找到存在的价值

寿命短– 由于对行业中训练有素的数据分析师的需求,新生需要离开工作岗位以寻求更高的薪水或期望获得更好的职位/工作。只要确实是这样,就不应该为了更好的工作岗位而离开。

可以帮助新生的一些事情:

学习能力 –刚接触角色的人通常具有较高的学习能力。可能是因为他们的意愿更高,或者是因为他们刚离开了有利于学习的环境。

无需学习旧习惯- 对于新生,这是一个很大的优势。你可以按照自己的方式塑造它们。你希望他们在接触数据之前先建立一个框架–以这种方式对其进行培训。尝试与正在练习的人相反。

能够以崭新的眼光看待一切 –如果数据分析师不提出问题,他将有多出色?有经验的人很难做到这一点,因为他们可能已经对项目很是了解。

成为数据分析师必须具备的五个习惯

数据分析师必须具备的五个习惯:保持项目的高标准、细分,直到可以落地、对数字进行三角剖分,进行包络线计算、检验你的假设、每日学习。

写这篇文章主要是想说一下我在数据分析大佬身上观察到的5个习惯,并提供了一些我实践这些习惯的方法。一方面,我希望有这些习惯可以对你产生长久的影响。另一方面,这些习惯极大地帮助了我,我希望它们对任何一个数据分析爱好者产生同样的作用:

数据分析大佬的习惯和经验

习惯1:保持项目的高标准,比别人多走几步,尽力而为

分析思维使高绩效数据分析师与低绩效数据分析师区分开。成功的数据分析师可以为他们交付的任何项目提供足够的质量“脑力劳动”。所谓“大脑时间”,是指致力于分析问题解决的无干扰时间。这是你努力超越预期目标的时候。

这个阶段的数据分析师应该对自己提出以下六点问题:

1 有没有更好的方法来解决这个问题?这会使解决方案对业务来说更好或更直观吗?

2 有没有更好的方法来展示/总结这个项目的结果?如何做到最佳?

3 除了可以简单地突出项目中的有效想法外,我还可以利用这些想法并制定出业务可行性?

4 我能否确定这些可行措施的影响,并告诉他们进行业务前期准备?

5 有哪些方面的分析我可能忽略了?

6 我是否有一些行为可能会影响结果?

请记住,数据分析的价值是通过其他业务产生的价值来对比的,这些问题所花费的时间将直接影响所创造的业务价值。

有时候,我的项目方案改了又改,进行了额外的数据分析,核实并且验证自己的方案流程是否能落地,直到项目演示之前的晚上。所有这些都是为了确保项目完美进行,没有比项目可实施感觉更好。

习惯2:细分,直到可以落地!

成功的分析师从来不会平均地工作。每次看到数据分析平均值时,他们都会认为工作中是否存在潜在的细分,这可以更好地解释项目情况?通过比对平均值进行细分,可以在表格上留下价值。

习惯3:对数字进行三角剖分,进行包络线计算,并思考它们对业务意味着什么

作为数据分析师,你每天都在处理数字。你需要从包含数千个(如果不是百万个)公式的文件中选择一个公式错误的单元格。做到这一点的唯一方法是对数字进行三角剖分,并弄清它们对业务的意义。

虽然这听起来似乎很明显,但你会惊讶地发现它被忽略了很多次。虽然三角剖分一直很重要,但我还是要提及一些三角剖分的问题:

问问自己,我可以通过其他框架/计算来达到这个数字吗?这些数字是紧密联系在一起的还是数量不同?

是否存在可以使你感觉数字的流程依赖关系?如果每个月只能收到约1800张申请,你可以每月发行2000张信用卡吗?

这些数字对企业意味着什么?他们是否与基础设施和资源业务配合?

三角剖分就像其他任何技能一样,一开始很难看。但是你练习得越多,就越能胜任。

习惯4:检验你的假设(即使你认为它们具有重要的商业意义)

有时你倾向于忽略测试需求。只是向你的网站添加实时聊天功能?听起来不错,没有缺点。测试一下,你将知道。客户可能不喜欢它!这是另一个示例:

国内领先的旅行门户网站之一在其数据中看到了这一点:预订的90%以上的航班的出发地与预订机票的城市相同(由IP地址确定)。他们想到要预先填充此位置(显然可以选择更改)。这听起来像一个好办法,它有助于提供更好的客户体验,他们进行了测试。预订转换在数周内下降了两位数。可能的原因:客户习惯于填充“到”和“从”位置。删除其中之一会增加混乱。

因此,下次如果你要实现任何分析或假设的结果,请进行测试!

习惯5:每天学习一些有关数据分析的知识

尽管此习惯不会像上面提到的其他习惯那样产生立竿见影的效果,但从长远来看,你将从中受益最大。分析是一个动态且不断发展的领域。新工具/技术/更新几乎每2到3个月就会出现。掌握行业最新动态不仅可以紧跟行业最新发展,而且与那些不了解最新动态的分析师形成了巨大的差距。

每当我有空时,我喜欢阅读的一些话题是:

数据分析的最新发展是什么?

如何分析来自社交媒体的非结构化数据?我们如何才能更好地可视化?

各种工具使用的算法背后的统计概念是什么?

你如何设计和分析实验设计?

额外习惯:另外一个值得一提的习惯是“以客户为中心”。倾听客户的意见并牢记在心是每一个成功的数据分析师的特质。虽然这个习惯清单本可以长得多,但我故意把它限制在5个,如果你认为还有其他的习惯,请在评论中添加,如果你喜欢本篇,并想继续学习数据分析,可以关注我们的公众号九道门聊数据获取更多内容,也可以咨询我们的在线客服了解相关课程。

以苹果为例讲产品生命周期

这期我们主要讲苹果的手机或者苹果其他的产品为什么是如此定价的?它的分析思维是怎么样的?它的数据分析逻辑是怎么样的?

首先来看一下一张叫产品生命周期的这样一张图,先不要看那些定价的这种模式哦,我们在定价的过程当中有很多的定价的方法,那么针对产品生命周期,我们有各种各样的定价方法,那么先看一下这张曲线,这个曲线把产品的生命周期定为早期成长,后期成长、成熟和下降,你去看苹果的产品,基本上都有,这个现象就是,苹果的三代,4代,五代六代,七代八代到现在已经很多代出来,每一代它都有一定的生命周期,可能经过了一年多以后慢慢就走向下坡路了,那么苹果的整个的产品的迭代过程,它是根据这个产品生命周期的迭代过程走的。

那我们来看,我没有办法在屏幕上画,那假设我的苹果7,是走到这一步的时候,你作为苹果的老板,希望在这个地方推出苹果8,如果苹果8也走到这儿,你就希望在这个点上推出苹果9吧,那这样你的销量就会一直维持在一个高点,你通过一代一代的推出,一直维持着一个高点。

预测产品生命周期

这个是苹果很典型的在管理产品生命周期当中用的策略,那这个策略对我们分析师来讲,他干一件什么事儿呢?你要把产品生命周期计算出来,你要把这个曲线画出来,不然他怎么知道我在哪个点推出产品是最佳的时机,那么大家有有可能会说赵老师你又在打忽悠,你看苹果老板都干了那么多年,难道不知道产品什么时候该走下坡路了吗?他知道,但是你知道你差一天要差多少钱吗?你定在哪一天推出,前后,他要考虑很多因素,差一天可能会差很多钱。

作为苹果这么大一个市场的一个拥有者,因此它一定需要精细化的管理,我到底在哪一天推出是比较合理的,我能赚更多的钱,不然他请你这个分析师去干嘛?

那每一期的商品的每一个那个时代的苹果手机迭代的过程当中,它生命周期,虽然类似于这样的一个过程,但是总的来说可能每个代的手机,它的曲线是有所不同的,因此这个数据分析师会经常去预测它的生命周期,那么我们经常会说,能够把这个曲线画出来的话,就能够帮助苹果手机决定在哪天能够推出来,那么他们要考虑很多因素,不光是产品本身的因素,还有竞争的因素,还有市场的整个顾客的这个因素啊,多种因素当然还有一些合作的合作伙伴的商业关系的因素种种它的综合性的去考虑,最后再决定,但是对数据分析师来讲,他要画出这个曲线,不然你不知道在哪个点上做什么样的策略?那我们假设你已经把这个产品生命周期的曲线画出来了,有这个能力画,当然这个模型会有一定的这个不同的做法,各种各样的做法,那么你就可以在各个点上进行一个不同的定价的战略。


苹果的市场定位

那我们都知道说,苹果实际上是单一定价,早期在6代之前,都是单一定价,他只出一款,那么大家可能会很奇怪,华为出那么多款、诺基亚出那么多款,当时是跟诺基亚还有黑莓打市场,为什么苹果敢只出一款?什么道理?

不是爆款策略,他跟定价是有关系的,那么他的策略是单一策略的话,从这么多生命周期定价过程当中你会发现,其实苹果是用了单顾客群的定价方式,而且它的定价相当高,不低,他没有使用较SKim定价,SKim定价是什么?就是你一个产品进入市场之后,需要先叫捞蜉蝣就把最容易买的人以比较高的价格先给它弄掉,然后降低降低降低这种方式,但是苹果他没有采取这种方式,他一上来就打单顾客群定价这样的一个模式。

那么它的原因,其原因的商业原因是因为他靠自己销售是不行的,他要通过运营商去销售,他刚刚进入市场的时候是这样子的,因为刚进入市场的时候,它的主要竞争对手是黑莓,黑莓已经占据了北美手机市场的绝大部分,非常大的庞大的一个市场,你苹果要去自己卖这个市场是不行的,很难打,因此它采取单顾客群定价的时候,其实它的定位人群是比较高端的人群,那这个是它的定价策略里面比较聪明的地方,就高端的人群,他不打低端,那么这个单一顾客群其实跟SKim定价是有相关性的。

黑莓这样的一个黑乎乎的那个玩意很多高端人群其实是不喜欢的,商业人士是喜欢的,但是很多的这个艺术类的,或者这些以前在用MAC这种苹果机的人不喜欢,所以他就定位捞这批蜉蝣,他采取的是单一定价。单一定价实际上市场上的时候,由于不同运营商给的补贴不一样,实际上它也不是单一定价,这样一出来之后实际上到了运营商的这个月度计划,手机计划下去的时候,他不见得比你黑莓贵,他给的补贴是给到运营商。

所以你从市面上的价格,这样看比较高,它是单一定价,其实他不是,理论上他还不算是。所以你要看透它的这个情况,那么他通过这种方式其实一直很多年了,他都用了这种单一定价的这个模式,那么它的单一定价因为它比较高,那个价格定得比较高,因此它的利润是相对来说是比较这个高的。


为什么苹果一直采用高定价

那么它后期为什么一直会采用这种单一定价的方式,而不是用捞蜉蝣的方式?就是你先定高了把高端人群赚了,然后用高端人去去吸引低端人群,然后把价格降下来,他为什么不这样干?你们觉得呢?

他有一个品牌形象的问题,那么通常其他品牌的人,会干一个什么事儿?就像我们华为有mate,华为还有p,下面还有荣耀也有很多品牌,其实他针对的就是不同的市场,因为你一个高端的手机定位上去之后,你要把它降下来会得罪很多人,所以你要用不同定价策略的时候,他就用不同的产品去迎合不同的市场,但苹果为什么没有这样干,他为什么只是单一定价?在早期六代之前他是没有出第2款,它最早是没有PLUS的,只是中间出一个过渡款,没有底下便宜的那款,我估计这个跟乔布斯有关系,这个人比较轴了,他不愿意按照你们这个套路来,这个可能是有一定的关系。


 苹果的市场渗透

你要看到苹果的市场渗透的问题,就是苹果做到后面很成功的时候,实际上它的单一价格已经显露出他不需要再去做市场渗透了。为什么我要大规模去渗透市场的时候要降价?他降价有很多方式,一个是单价我降下来,就是我每天都是单价低价,还有一种我定的这个价我不断给促销优惠,来渗透这个市场。

那他为什么不去渗透这个市场?是他已经够牛逼了,他去降这个价的时候,实际上是不会产生更多的额外的销售,那么这个谁来告诉乔布斯?数据分析师

你要做推演,比如说我的整个市场份额已经高达百分之五十几了在北美,那么其他还有三星其他什么什么的,我已经把黑莓干掉,那你再去降价做市场渗透,有没有可能占到百分之六十七七十几的这个市场份额,你是要经过计算的,你不计算肯定是不行的。那我相信他们的计算一定是说你做渗透价格,要去渗透这个市场这样的一个定价方式对他不合适,就是好处不多,而且还会引发高端人群现有市场的一个变动。

苹果在走下坡路了吗

那么他后面为什么会出plus和低价款?其原因是什么呢?竞争者多了,市场开始分化了,它单一品站不住那么大的市场占有率,它一定会去考虑说我作为这个品牌,我如何去赢得一个比较大市场份额,我去卖到各种那个,那他就必须要推出一些相对来说价格比较低的,符合不同人群的这样的一个产品,他有plus,有普通款,有低价款,出来这三种档次不同的那个款式,来满足不同的市场,大家也是被市场逼的。

因此在它的整个的产品的生命周期的走向,如果从单一的款这走向它是有具备这个曲线的,但是对这个品牌来讲,一个品牌来讲就像华为现在进入这个市场冲击的很厉害,整个市场占有率在往上走,苹果实际上是在萎缩走下坡路。

苹果怎么应对下坡路

我们得看看走下坡路还能干啥,我们来看走下坡路的时候,在下坡的之前,他有一种叫plus-One的定价,在走下坡路后半坡有一个专注下降的一个定价,这两种定价法,通常是使用这一块下降的这个市场或者叫市场收货定价这一块。

那么什么叫市场收货定价呢?市场收货定价是说,我再出一个款式的时候,我把价格拉高,如果是单一款的时候,苹果的手机比如苹果9,苹果8或者苹果7、7plus,如果他要清货的时候,他一定是降价的,补贴给的很高,因为他要降完之后给下一代的手机腾出位置来,一定是这样这样的。

但是从一个品牌如果市场开始萎缩的时候,他一定要获取一定销售额的时候他会反而会提价,就是他出的现在的款可能会价格比较高,你们觉得这是为什么?首先肯定是说我的销量下去了,我要保证我的销售额,通常在做这种收获定价战略的时候是在一个产品或者品牌的生命尾巴上了,就是他到生命的尾巴上才会去做这个。

收货类的定价通常都会涨价,而不是像清货那样去降价,它会涨价,他可能定价会偏高,原因是他知道自己要不行了最后捞一把,这个是收货类定价的一个特点,那我就分析思维一样了,你分析师是掌握了他这个策略的时候,实际上你要帮他做的是什么?你要帮他做到底是价格提升多少啊?你看我末期的时候我如果是10块钱的东西,我可以提15%,我可以在15%往上再加10%,我可以再加10%再加10%,那我的单价就从10块钱涨到13.92了,但是我最重要的是要猜到说我的整个的销量有多少?如果我不知道销量的情况下,我随便决定这个价格,我最后的这个整个销售的这个毛利也好或者是我的销售额也好,我可能会受到影响,那么收获期的他更关注的是你整体毛利,利润这一块,因为他要努力的提高一个价格,在不影响销量上提高价格,然后来获取最大的这个毛利。

那如果从苹果的品牌现在受到华为三星的冲击,他的市场萎缩比较大的,那库克的判断,我现在不知道他的战略思维是怎么样的,因为从定价这个角度讲,他现在出的新款已经定到1000多美金了,比原先贵很多,1000多美金很贵!1000多美金的话要比华为的最贵的机型要贵出很多,那他为什么要定那么高?

根据我们对这个市场价格定价的这个策略了解的话,难道库克认为苹果不行了?可能估计我们那个东西不行的,反正接下来这几年整个品牌是要走下坡路的,所以我现在采取的是收货定价战略的战略,但是他这种定价的方式,实际上是很反那个规律的,所以你看你如果做分析师了解一个定价的战略的话,从企业的行为你是能够倒推他可能在想什么,因为在美国市场上有太多选择手机,三星的也可以,那个索尼的也有,当然没有三星的多,华为被赶出来了不让卖,但是你还是有很多选择,现在网购也可以,你通过天猫买个华为手机在那边用有什么问题,没有人会说什么,那价格要便宜很多,所以他采取这种价格的方式,我是很不理解。

这个就要去看他的最终的分析,如果是说他用高端的是赚取利润,除非有另外一种,定价的战略思考就是我用高端机来赚取利润,因为高端机的这个忠诚度,通常要比一般的要强,那我做的就是收获定价,那我低端的机器,就是跟三星这些其他品牌去打,去抢夺那一端的市场,但那段市场因为价格定的利润,就是低,然后用这个地方来补贴我的这个利润的损失,这个是有可能它的一个战略,但是总体来讲,如果当他采取收货定价战略的时候,通常是他这个品牌或者产品线走向末期的时候采取的策略,就要看库克在心里想什么。

但对我们分析的人来讲,他做的所有的策略我是要跟他测算过的,所以你要是帮库克去做这个数据分析的话,你必须要了解他的战略意图,所以你才能够把它做出一个最优化的定价,那我们通常在国内的企业里面,我们用的是成本定价法,很很少去考虑产品生命周期的这个销售和管理定价的方式,所以一般才能看到的人说我进入市场的时候,不管你定价高定价低,拼命打市场做宣传怎么弄,那么捞蜉蝣的这种方式是蛮多的,到了后期中期,他到底用采取单顾客群的,还是这里又有多顾客群定价,那苹果走到后面他就走到了这个多顾客群定价,而不是单顾客群体,因为因为华为是做多顾客的,所以他就开始跟他拼,因为这个市场分化也没办法,只能跟。

但是很少很少看到企业会在做市场收货定价,就是认知到自己产品生命周期走到末期了,去做收货行的定价方式,很少看见,就说明咱们其实对企业,包括分析师对一个产品生命周期定价的方法了解的不多,那么这种定价方法市场收获定价在医药领域也是蛮多的。

收获定价

医药你们都知道,一个药品获得专利之后,会有一个专利的保护期,过了那个之后就可以做仿制药的,他们那个制药企业在做品牌,因为它的投入非常大,所以他最末期一年多的时候会做市场收获定价,就是这个药品一下很贵很贵,你要买没办法,只能用他的就那一年多。因为他把前面积累的客户群已经积累好了,他就知道自己走到末期的时候他就会收获定价,然后定的特别高,是这样一个方式,因为你一年以后就退出了。

也有做的厉害的就牛逼的,等你仿制药出来了,我再把我的价格拉上去,因为他就想逼着用户通过价格这个事情做选择,你要不用我的专利药,你要么用仿制药,你自己选。那比如说我的专利药是150块钱,你仿制药才5块钱,那你就要选择了,你这生病啊,你这是它的营销的手段,但是如果说你那仿制药5块钱,那个专利药是25块钱,你就不显得自己比他那个好哪里去了。

所以它的这种收获定价法就会造成它的利润要比你第25块钱要大得多,这是他们经过精心计算过的定价。因此你看定价里面好好玩,有特别多的数据数据分析的东西在里面,那我们必须要有分析的思维才可以把这个事情做好。

在定价方面收获定价法,各种定价的战略,他的分析手法我们以后有机会也可以跟大家介绍一下,因为它里面的定价里面的策略是非常丰富非常丰富,这个是一个分析师可能要去掌握但是需要很长时间,全部才能掌握的。

数据分析和数据科学之间有什么区别?

数据分析和数据科学之间的区别:数据分析师在业务运营中扮演着积极的角色,他们经常与业务经理一起在现场影响广泛的决策。数据科学家更多地参与工具的开发,而较少参与日常操作。

从技术角度来看,它们是截然不同的。

数据分析师通常会使用现有的数据库和数据结构,并且会熟练使用这些强大的工具。

另一方面,数据科学家通常会处理稀疏的、形式很差的数据——他们的技能是与这些数据交互,包括解析、清理和存储,有时还会创建上述数据库结构。

在编程上,它们有些类似。

两者都将使用SQL、R进行编程,可能还会使用一点Python和Javascript。他们都是处理这些框架中的数据结构的专家。

数据分析师在SQL方面的表现会更好(在业务设置中极其重要)。

数据科学家将使用更广泛的R / Python包,并且能够熟练地使用近乎本机的代码编写算法。

在数据可视化方面,这两者是不同的。

数据分析师将在数据可视化的可通信性方面更胜一筹。(他们的viz将是惊人的,传达“信息”瞬间。)

数据科学家将拥有更密集、不那么漂亮的可视化,但将包含更多的信息。(分析这些符号可能会让你感到困惑,但一旦你“明白了”,你就会“明白很多”。)

对于研究问题,他们的回答略有不同。

数据分析师经常回答明确定义的研究问题,例如在一段时间内X对Y业务的影响。

数据科学家们要解决一些更不透明的问题,比如在时间T期间,X1-X99在P1-P10平台上对Y1-Y99业务的影响。(我还可以继续说下去,但你能理解。)

由于他们在业务中的角色,两者有很大的不同。

数据分析师在业务运营中扮演着积极的角色,他们经常与业务经理一起在现场影响广泛的决策。他们每天都需要。

数据科学家更多地参与工具的开发,而较少参与日常操作,因为他们关注的是更大的操作。

一个可爱的回答:

数据分析师开会讨论结果。

数据科学家开会讨论过程+失败。

你会选择哪一个?

如果你喜欢通过与人交谈来回答商业问题,做功课,或者重新参加研讨会,那么商业数据分析可能更符合你的喜好。同样,如果您喜欢通过寻找数据、清理数据、提出大量问题并选择最重要的答案来回答业务问题,那么数据分析就适合您。

九道门的赵强教授说得很清楚:

数据分析师喜欢他们的会议,而且比数据科学家有更多的会议,因为数据的叙述和与他们互动的人是他们的首要任务。

我的观点是,无论我们怎么想,“用数据说话”,所以从研究的角度来看,叙述并不那么重要。

电商服装类商业数据分析案例

今天我们主要讲关于时尚行业的数据分析,我会讲三大块的内容,但是前面这块会很快的过一下,我们先要了解现在的企业为什么要做数据,今天主要是讲整个行业内容会比较多一点,有什么不明白的大家一定要问。第一个先讲数字化转型对企业的影响,就是他们为什么要做数据;第二个讲服装企业现在在数据整合方面,技术上能达到什么层次;第三个,我们看一下服装企业的这个工作的流程来看看我们在哪些点是可以给他们做数据分析的,也就是他们现在需要的。

数字化转型主要有五个比较重要的方面,第一个就是现在的市场变化很快,也就是我们这边叫客户的价值组成,客户的变化也是跟我们现在的时代有关,数字平台,包括英特网、互联网带来的影响是有关的,所以顾客的需求变化特别快,而且形成各种小的、不同的顾客群,而不是像以前一样是一个大的整个市场,现在市场被分割的比较严重,由于这两个因素影响,企业在要创造利润的时候,实际是要针对市场的需求,要研究要研究市场的需求。

 我们画了旗状的一个凹一个凸,就是要对着它这个需求提供价值企业才可以生存,所以这个就是我们现在写的第二个挑战,那么为了要提供这个合适价值给市场,提供它的需求,我们的企业必须要非常的敏捷,那么这种敏捷的方式是,为了能够让企业及时的发现市场需求,并且调整组织结构,把生产、产品、价格、营销各种各样的手段来做一些符合市场的行动,这样才可以。那么,在这个过程当中,为了提供这样的价值,实际上是要利用很多的数据,因为在企业组织变革的过程当中,更多的一线人员会去做一些关于市场、关于价值的决策,而这种决策必须要依赖数据才能比较精准地进行决策,我们企业做好了这四样之后呢,它还要关注一个市场竞争的 问题,那么这个竞争呢除了传统的一种创新型的竞争,或者改良性的竞争之外,还出现了一种叫颠覆性的竞争,也就是我们现在常见的叫跨界,跨界竞争。所有的这些就倒逼着企业要去使用数据,这就是企业要数据的一个巨大的原因。

我们有一个案例,简单的讲一下,在我们时装行业走的比较早的红领集团,红领集团在他的战略转型里面主要是更多的关注提供一些个性化服务,去做拉单,然后给当地的顾客去量身材,然后把数据传回来,包括要定面料、哪种款式的西服,这些信息传到红领集团,瞬间信息就可以走到车间。

       红领现在的数据系统已经可以把订单直接在车间里分配到各个岗位,来进行灵活的敏捷的进行生产,因此他这种方式利用大数据平台,包括一些智能的算法来提高他个性化定制的效率,这样一种方式,让他现在在定制服装上供货速度可以达到 7天左右,6-7天。我们上次去跟他们聊的时候,他们希望是说在今年或者是到明年的时候,能够压到5天左右交货。那么这个速度就非常快了。

那么在这个过程当中,它实际上对它的数据的整合水平和供应链的整个水平,包括它工艺生产的水平要求非常高,其中有一个事,他们做的是跟数字化转型有相当大的关系,也就是我们都知道一个服装的版型,从他的西服的领子、袖口各种他其实有不同的标准,人的身材也不一样,有不同的版型,那么,早起没有数字化帮助的时候,实际上都是靠板型师来做打版的,那么现在,他把100多种板型,输入数据库,根据顾客的身材的数据他可以去设计,自动的设计辅助性的设计这个版型,这样他们就把这个版型师的要求降到了整个集团只有3-4个板型师这样的一个范围,不然的话按照传统的方式,没有数据的帮助,他这个个性化定制就会受制于版型师的能力。所以现在红领已经在我们时装行业里面,在个性化定制这一块是走的比较先进的,很多企业都会向他进行学习。

       问:赵老师,我问一下,您刚才讲的红领集团,他是不是符合您前面讲的五个要求?敏捷、测试、数据等。

       赵:他是完全符合的,他是走了数字化转型里面一个价值创造叫个性化定制。个性化定制是我们国家的2025智能制造的一个重大的一个方向, 他走的是那个方向。那么你可以看到它的敏捷性在哪里,就是你一个订单,就一套服装从数据输入到企业内部之后,它可以瞬间组成一个小团队,就为这一件服装进行服务。所以他是相当敏捷的,也就是说你每天可能一个裁缝师傅和别的裁缝师傅、设计师之间不同的工位,是可以任意之间组合的,根据服装的要求任意进行组合。

       问:那我可不可以理解为,他应该是按照标准化来生产的,否则他为了一套服装这么做的话,会亏的呀!

       赵:他们叫大规模定制化,什么叫大规模定制化呢?它实际上是把大量的这个服装里面的一些零配件,或者是辅料或者配件设计都标准化,他只是在进行组合。那么完全的定制化的,完全定制化的是不可能的,这个成本是非常非常高的。

我们其实在男装领域还好一点,现在女装领域里面要走标准化设计的,是我们杭州的伊芙丽品牌,伊芙丽是天猫双11当中,当天销量可以排到全国第4的,前三位都是进口的品牌,伊芙丽是我们国内杭州女装品牌中做的比较好的。他们在数字化转型里面也是投入了大量的精力和资金。那么,杭州另外一家叫韩都衣舍。大家可能都知道我们杭州其实是女装比较厉害的一个城市。

       那么在这个转型过程当中,事实上很多的服装企业在很多年前,十几年前就已经开始了对IT系统的投入,这些现代化的数字设备收集,包括管理上的系统投入,包括ERP系统、crm系统,财务系统,生产制造的各种系统,投入的金额也是非常的庞大,经过这么多年的发展下来,其实他们在生产管理的资源分配、顾客管理这些上面已经收集到了大量的数据,但是我们都知道这些系统收集上来的数据是各自为阵的,他实际上数据是没有通的,互相之间不通。那么按照阿里云的说法,就是说,数据他必须要通。你先把数据通上了你才可以用。那么因此在这两年,由阿里云提出来的叫数据中台的概念,给所谓的数据中台就是在这些 IT的系统上搭建了一个数据管理的平台,那么将各个erp系统crm系统各种生产数据放到了这个中台上,那么我们为什么要把这些数据放到中台上呢?是因为各个系统出来的数据他其实是,你没有办法在各个系统单独用的,你一定要放在统一的平台上进行使用,而且呢,每个系统数据本身的定义是比较复杂的,系统之间并不兼容,因此它必须需要放到一个统一的平台上,把数据洗好、整理好有一个统一的标准你才可以使用,这就是数据中台现在在做的事。

问:其实我可以理解就是比如说我的销售数据,还有我的财务数据、还有我的顾客数据,原来可能在各个系统里面,那现在的话有这个数据中台之后,那也就说在这个中台里面可以看到一个人他整个的在我公司里面什么时候买了多少钱的什么东西,一条数据链全能看到,是这个意思吗?

        赵:对啊,因为你原先如果似乎crm系统里边的,比如说你能看到顾客的数据,然后你只能到订单系统里面去看订单的数据,其实你使用起来、分析起来很不方便。但是你如果放在一个系统里的时候,一个顾客他产生的订单有没有退货,过去买过多少衣服其实一目了然,你使用起来特别方便,而且因为你统一了一个标准,所以你在使用数据的时候,他是有符合一定的数据标准,那么你在使用的时候就不会出现使用错的情况。

       这两年我们其实在很多大型的服装企业在投入数据中台的原因,包括今年杭州实际上是有很多,如果你去过云栖大会就知道,已经出了很多企业在专门做数据平台,围绕着BAT云计算公司它来做,搭建各种各样的数据中台。那么它说明一个什么问题呢?也就是说除了服装企业之外,很多其他企业也是对数据中台越来越重视了,也就是对数据越来越重视了。

       问:这种中台是不是大的企业才需要?一般像中小型企业他可能使用数据库就可以管理。

赵:这个很有意思,其实数据中台就是个数据库,它只是传统数据库现在用的比较少,用云计算的数据库可能比较多,那么它在整个数据库的整合上,包括在数据的这个流程管理上面,又多加了一层管理系统,然后在中台上还可以搭建各种各样的功能性的系统,来辅助经营决策。实际上这个中台呢是对我们所谓的前台是有很大的支持力度,就什么叫前台,比如说我要开发一个app,我要用到各种各样的数据,而你没有这个数据中台的话,它要到各个地方去取数据,要去调用,调用那就很麻烦,你很难去做好,我要服务一个顾客的话我要做个app,那我要怎么做呢?顾客有订单数据、退货数据、咨询数据、投诉数据等等数据,他有个中台,你在上面做这个app就很方便,所以中台就是这么一个概念。

 现在的企业实际上中台的建设,已经有了大概二年多的时时间了,有将近三年的时间就比较火,今年特别火。那么它实际上说明一个问题,就是中台的建设实际上并不会太长的。那么一般半年一年可能一个企业就做完了,小企业可能还没有这个需求,因为中大型的企业现在都在做,大型企业呢反而麻烦点,他做的不见得好,因为企业大,来的数据也很多,它不见得那么容易,反而是那种中型的或者私营企业,就像服装企业,他做的中台就比较多一些。那么也就我们预计实际上在未来也会有出现大量数据分析的需求,因为数据时代已经到来了。

 所以我们接下来看看我们在这个服装行业他的数据分析,都有些什么样的分析项目,我们要看服装行业有一些什么样的数据分析项目,其实我们要去了解一下那个服装行业的一个商业流程,它的业务流程 ,它的业务流程就是从一个服装设计开始到投入生产,然后放到经销商或者是走向门店、线下门店或者是走到天猫店,进行销售的这么一个过程。从这个流程里面,主要分析的是两个大的方向,一个是,对产品很关注,因为他是个市场行业,它的产品是决定一切的东西,所以他对产品非常关注,围绕产品有产品设计、产品定价、产品为谁设计种种这样的商业问题。

 问:那在这个产品里面的话,我们作为数据分析师的话他能够有一些什么对他有帮助的?

赵:能做很多,你看他的流程,我要设计一款产品,首先我要想好我要给谁设计,我的顾客是谁,我的顾客是18岁到20岁的年轻小姑娘吗?还是24岁到30岁的白领呢?如果拿伊芙丽的这个品牌来说,它应该有几个牌子,那么伊芙丽是针对这种城市白领女性,女性白领,那么价格也偏高端一些,所以,你要了解这些人的爱好、需求,所以你首先要定位这个人群。有的时候我们会拿到天猫销售的数据去知道这个顾客的画像是什么,他是属于什么样的人群,对知道这个人群之后呢要知道他的喜好,他的生活场景他穿衣服在哪里穿 。

   这些都是他们要关心的事情,那么你只有知道这些信息之后,我才知道我这件衣服是设计给你这个人在什么场景下穿的。大多数他们会是一个什么样的生活场景,这些信息其实对于设计师来说是非常非常关键的,那么早期这个市场变化不大的时候,我可以通过观察某一类人的行为,我可以基本上猜得到,但是现在变化很快的时候,其实生活的场景变化也非常快,那么我的设计师,尤其是设计一些特殊的场景的时候,我就要知道他们现在都在干什么。举个简单的例子来说:最近这几年出现一些叫时尚类的,叫户外,就是城市户外服饰,所谓的让城里城市里面的人,穿上一些户外运动的服装,有一种户外的感觉。所以呢,你就会紧紧盯着市场的这个这个趋势,那么这些数据从哪里来呢?一个是从天猫 上他本身那些报告;第二个呢也可能是从百度的一些搜索,关键词的搜索,或者是去做一些观察或者调研种种,这样就可以帮到设计师进行产品的设计,但你设计完之后才能交给企业去做市场测试,市场测试对于一个产品上市是很关键的,你设计了50款服装,不可能每一款都是爆款,如果不是爆款,你投入生产之后就会产生积压,因此他要找到最能卖的服装,虽然 对于设计师和企业来讲这50款, 都是辛辛苦苦设计出来的,但是可能只有两三款才可以最终上市去卖。

问:那这这两三款他怎么测试出来呢?

赵:他要利用天猫的数据,他一般在天猫或者他有些特殊的事实场景,因为他首先要找到精准的流量、精准的人群,那么现在的测试呢,都不是进行打样生产之后再去测试,因为有了数字化的平台,它可以把一个图片或者什么直接放在那个天猫上,然后向天猫购买,比如说我的针对人群是24岁到40岁的城市白领,我就购买这些流量,比如说购买了100000个流量过来,我要看看有百分之多少的人会看我这样的图片,我一共50款,就会发现这50款里有两三款是最热门的,当然他还得找一个数据基准,也就是这款类型的服装,市场平均的点击率是多少。

问:就是说我有50款新的产品 有五张图,然后我向淘宝买了一万个流量过来 这一万个流量是我觉得是精准的,比如说24岁到30岁, 在这假设, 然后这些人来了之后呢,他等于是看到我的50张图片,然后以点击率的这种方式哪个高(来评判)?

      赵:他有很多指标去评判,点击率只是其中一个参考点,如果要进入这个行业,要跟老师傅去学的,因为每一种行业,每一款服装它的东西不太一样,他有个基准的东西。所以要知道这些东西,这个只有你进入这个行业,有些老师傅可以给你讲,你主要去观察这些东西就就够了。那么我们初入行的时候可能仅仅是做数据收集和整理,慢慢有经验了就会学会去判断,所以实际上,你从一个数据分析师小白进入这个行业,他的要求并没有你想象的那么高,因为你很多的行业经验不足,虽然有一点技术能力的话,有个老师傅带着你,你会你会发展得比较好。

       所以在这个领域里面都会有那么,到后边去定价,如何定价定价也是可以进行测试,各种定价。那么,投入生产之后又会出现新的问题,时装的生命周期很短,打比方只有三个月的生命周期,比方说你一共定了1万件货,你要怎么去卖呢?什么时候该清货?你每天可能有一些指标去监控,到了一定时候,你就知道往后你要是再不打折扣的话,这批货就压在手里了。那么我们通常是打折打得太早了你会很快卖断货,然后就后面就没得卖,就是很好的一款产品没有卖到最好;如果晚了,就可能压货。

       问:那就是相当于在买卖过程中作为数据分析师的话,他要结合以前的一个买卖的一个数据情况,还要预测未来的一个发生的情况进行经验的一个判断吗?

      赵:这个问题非常好,通常在不同的行业中,其他的行业可能会用历史的数据来预测未来,而时尚行业他的变化实在是太快了,你过去同类型的服装来预测今年这款服装,可能是不太合适的。因此他会对数据分析师提出一个比较高的要求,能不能用最近这几周的数据加上天气的数据、外部的数据、第三方的数据,种种数据来只对你这款产品做出预测。这个对数据分析师在建模的上面要求就非常非常高。他要知道如何去处理这些脏数据啊,如何处理丢失数据啊,或者是离散数据啊,各种数据他都要进行处理,他才可以建好这个模型。那么目前据我所知应该在这方面还没有在国内的公司还没有在这方面有太多的去尝试这个东西。

      问:那就是相当于时装行业它变化比较快,它难以根据以前的数据进行预测,就根据现有的一些情况来预测。因为对于他们的压力就是现在存在的数据集其实是不够大。

      赵:对,对他们来说数据集不够大,历史数据不足的原因肯定是对它建模是有影响的,而且它的数据变动比较大,打折、促销、竞争啊各种各样的因素会影响它,这些都会对建模的数据分析师提出很大的一个挑战,所以在我们这个时装行业呢,有的时候他可能因为它难度太高他可能放弃去预测这个事情,而是通过什么呢去盯着他更紧,就是能做能做出及时反应的方式来解决这个问题。就是一些因素给抓到威胁的因素去抓到去避免它有积压的,我就避免它有那个太早去清货的,这样一个货供不上的一个事情。所以这些都是我们数据分析要去考虑的,那么这个只是电商的那么像伊芙丽这样他有带有线下门店的,那他门店里面的分析就更多了因为他们店里面装装这个摄像头,在哪件衣服上有rfid,就射频装置,顾客从进入到伊芙琳这个看上这个衣服,试了这个衣服,但是有没有买这个衣服那么他有一堆的指标来告诉伊芙丽的管理系统来告诉他们,经营人员这件衣服有很多人尝试但是没人买,那他可能版型有问题,设计上是没有问题,这个衣服非常流行,但是版型有问题人家穿了不舒服都不肯买,那他现在可以做到当天就一天时间就可以发现到,它有一个情报系统一天时间就可以发现这些衣服把它抽回来之后继续修改,然后再投放市场,因为它的流行的趋势太短了,所以他要反应极度迅速,因此他可以做到线下门店1500零库存,他们在这方面反应速度相当快,像伊芙丽做到从新的女装上新之后,上市只有七天时间差不多,所以这些都是可以分析的地方,什么竞品分析,价格分析,我们叫mark down,就是清货,分析.哪怕markdown里面也要也分,有些mark down不必要的,因为像他们在奥特莱斯有自己的店的话他有些货就直接放到奥特莱斯去打折卖,所以他不在线上,也不再。像伊芙丽就很少mark down,每家企业的战略不一样,伊芙丽很少mark down。但是其他品牌就会,在他要清货的时候去降价。

那我们今天的时间非常有限,也是没有太多可能去很详细的讲,那么我们未来会挑一些有意思的数据分析项目,单个单个的讲,来讲服装行业该怎么做,那么我们今天只是给到大致的介绍。那么我们在11月份开班,去教学生去学数据分析师这个课程,有两个月。我们现在已经跟杭州的一家服装企业签约了。在这两个月过程当中的所有的项目,我们都会用到这个企业的数据和他们的真实项目,也就是说会用他们的要求,客户提出来的要求来训练我们的学生。我们采取这样的方式,因为杭州现在非常重视服装这个行业。

那学数据分析师的从服装行业去到其他行业会不会有冲突。冲突不会有,因为我上回讲过,数据分析师它是一个大的范畴,我们之所以把我们做的东西叫分析思维,这种能力,就是我们职业的发展一种是技术一种是能力,这种能力可以什么,可以转换可以到别的行业都可以用到,那技术呢,服装行业跟别的行业,可能是有点差别,底层的可能编程excel,这些sql这些东西可能是一样差不多,所以你不管在哪个行业,做数据分析,其实真正的数据分析要有经验的数据分析是希望各行各业都做过,所以我们这个行业比较多姿多彩,就是在你的几十年职业生涯当中可以经历各种各样的行业,他是特别希望你去不同的行业都做过,这样的话你可以博采众长,这个行业的某些问题可以从别的行业借鉴。

数据分析师眼中的天猫产品推荐思路

今天主要讲一些关于推荐系统的一个发展的历史。推荐系统的思路跟我们一般的想法是很像,我要推荐顾客一个什么商品,一定是跟他过去购买的行为有关系的。

推荐系统分为四个阶段:单品推荐、协同过滤、千人千面、人工智能

单品推荐

   什么叫单品推荐?单品推荐的发展是根据咱们经营营销理论的发展有关的。这个理论是什么?早期是营销的理论是以卖货为主,我怎么把货卖出去。那么在卖货为主的这样的一个营销的阶段,我们商家肯定是说我有一个茶杯或者是咖啡杯,我希望找一些什么样的人,把这个咖啡杯推荐给他。这个跟你们认识我,向我推荐东西,这个方式是不一样的。

单品推荐的时候是我因为有了一个商品要把它卖出去,要把它卖火,我要找适合买我这个商品的人来进行推荐。那么基于这个条件下,它首先是要有一个标地性的一个行为,比如说你要购买这个咖啡杯,这是一个行为。那么谁更适合来购买这个咖啡杯?那么根据我们推荐的思路,一定是说我能不能根据历史上喜欢买这款咖啡杯的人,他的共同的一个特征是什么?然后我过个桥,我找到这些具备这个特征的人,然后我想要推荐,这就是我们在单品推荐里面的一个思路。 

单品推荐已经发展了有不下20年,在这个过程当中最出名的就是逻辑回归。逻辑回归主要是通过特征变量的设定一个权重来计算,计算他购买这个商品,这个概率就是0到1,1就是你绝对会购买,0就是你绝对不会购买。

优点是他的目的性非常强,而且目的可以多变,非常多变,我可以推荐产品,我可以推荐服务,我也可以来针对顾客的某种行为,把它标记上之后来看。有没有可能,某些特征会预测到或者是能够揭示顾客有某种特殊行为的,这个特殊行为不一定跟货品有关系了,他都是可以来进行逻辑回归的一个计算,就是你有多大可能性要干嘛了。所以它的目的性非常强,也非常多变。 

  第二个优点它比较精准,为什么是精准?因为你在做单品的时候,你的目的性很强之后,你的特征变量选取,包括在最后的计算,它是相对来说是比较精准的,比较精准。

  缺点是他从单一产品出发,或者从一个促销目的出发的,实际上他是无法针对顾客真实的需求进行推荐的。因此它作为现在讲顾客个性化推荐,它是属于一种比较假的个性化推荐,因为他的出发点是为了卖东西,而不是说我来看看顾客到底需要什么,我想推荐什么,所以它的出发点不一样。同时它建模的成本比较高,单品推荐的建模成本比较高,那么无法大规模的应用到多个商品的推荐。

我们直接应用的时候,会把这些顾客根据购买商品的概率进行从极大值到极小值的这么一个排序。那么我们选定其中一部分,我们认为可以接触的顾客,然后向他们推荐这个商品。


协同过滤

发展到21世纪的时候,物质已经很丰富,从传统的推销这个概念已经更多的关注到去增加顾客价值,就是如何服务顾客,通过服务顾客跟顾客建立一个良好关系,我才能够占取利润。因此他对顾客的需求可能更关注一些,所以你物品很丰富了,你不像以前你这个自行车品牌就那么两三个,能买到就不错了,现在到处都是各种各样需求,你顾客的个性化需求又比较高,因为现在年轻人他对商品的话有自己的要求,也不是你一个大规模生产同类型的商品我就会买的。

因此在这个商家来讲,他就更希望说我来了解了解顾客到底喜欢什么,我想推荐什么。我如果推荐错了,我可能就会永远失去顾客。所以他的思路跟单品推荐的时代已经不太一样了。那么你要一个顾客上到天猫上亿的产品当中,找到一款合适他的进行推荐,你没有一个大规模的算法是不行的,传统的单品推荐的算法肯定是不行的,他们这个情况下,亚马逊就最早提出来搞了一个叫协同过滤的算法。

协同过滤它本身发展到现在也是有很多分支,那么协同过滤由于它的一个特点是大规模的特点,只适合比较大的商家,一般的小的商家他不太会用这个东西,他的理论的概念就是说用户一如果买了老板电器,又买了四季沐歌的热水器,同时还去游轮,然后他又看用户二,买了老板电器,又会买四季沐歌。那么通过这样一群的顾客,我们发现老板电器跟四季沐歌是有关联性的,或者是相似或者是关联的,很有可能被同一个供顾客同时购买。

我们开个玩笑的话,就是说亚洲人会比较倾向跟亚洲人结婚,虽然你也会跟白人结婚跟黑人结婚,但是你的总的倾向还是喜欢黄种人,你在向他推荐另一半的时候,你绝对会推荐亚洲人,因为大部分人都是亚洲人和亚洲人,所以向你推荐亚洲人。

  因为这个整个品牌的配比度不是对消费层次决定,这就是因此它协同过滤的主要的概念就是这个概念,就哪两种品牌或者单品,他会常常会在被同一个人购买的,被联合购买的,那就有可能说当用户买到其中某一个商品的时候,它很有可能买另外一个有关联的产品。 

协同过滤的算法,其实具体来讲其实也不复杂,首先你要把两个商品共同购买的比例,或者是概率先计算出来,通过你的大规模的数据库里面计算出来,计算出来之后,你每一个人买过什么的?他做一个矩阵的相乘,也就是行×竖,就Jeff用这一行的数据乘以这个蜘蛛侠,那么Jeff对蜘蛛侠的积分就可以计算出来了。Jeff因为看过几蜘蛛侠,已经买过这个东西了,所以它就是1,但是如果是他去看怪物史莱克,Jeff没有看过怪物史莱克当1X1X0.67+0.41,那么结果就等于零1.08,在这边做了一个很好的解释,也就是通过这样一个方式,把Jeff跟所有的商品之间的分值就计算出来,分值越高,越有可能Jeff越有可能买这个商品,它是这个概念。

  只有一次推荐机会的话,会理论上就会向你推荐排名最高的商品,分值更高的商品,分值更高的商品。但是比如说Jeff是新顾客,他什么都没有,都变成零了,这叫冷启动。

协同过滤是属于大规模企业使用的一种算法。那么国内很多企业其实还没有到这个程度,除了天猫、京东这种比较大规模的,一般还能用得起hadoop,因为你可以看到如果是一亿个顾客跟一亿个商品的话,它的矩阵是很大的,一般计算机是无法进行这样的矩阵乘的成绩的一个算法的,一般都是一些大厂。

  华为不会,他不做C端,它不做C端它就没有那么多顾客。腾讯他们会,如果他要卖货的话,如果他货品很多,他就会去做,所以只有几个特点的公司才会去做协同过滤。一个是市值特别大,第二是toC的,然后它的产品特别多。拼多多肯定也会做,因为他们是同一类型的企业,肯定也会做这种推荐。

  那么一般的企业就不会做了,比如说我们现在做的一些企业,比如生产女装,他可能产品很多,但是他的相对来说变化很快,所以它在推荐的时候也不是特别有热情去推荐。因为它最主要的还是以单品推的方式,它这个行业有关系,比如说我是时尚行业,我一下做了1万件衣服,我想的不是说你过来,我看你喜欢什么买什么,而是我拼命要把货推给你。因为这个跟行业有关系,它的行业的特性决定,同时时尚行业因为它变化很快,用这种历史的数据来预测未来还是不太准确的。

千人千面

天猫是怎么干的?天猫其实是在做千人千面,千人千面其实跟前通过率是有一个巨大的关联性。那么首先他是要做协同过滤的,以天猫现在的技术的话,包括它的云计算,他们用的这种分布式计算,分布式计算的技术是完全可以做到协同过滤的算法的部署,这个没有任何问题。

  但是天猫它也受到了一个它商业模型的一个局限。因为天猫的赚钱模式是以别人做广告,向商家收费这样的一个方式。他虽然也是希望根据顾客的喜好,但他真正赚钱是什么?谁出的钱的商家谁是大爷,所以他也得为商家服务。 

天猫的推荐系统就出现一个,你不能说他几不像,但是它必须要当中给他做一个平衡。这个平衡就是说,我知道一个顾客你确实喜欢什么,用协同过滤的时候,东西我可以进行总结,但是我是不是一定会向你推荐顾客最喜欢的那个东西?不见得,也许我喜欢的东西只有两块钱三块钱。你向我推荐吗?这是我最想要的东西,你向我推荐不?不是。天猫是要考虑它的盈利的。那么他因为天猫最重要的经济来源是来源于商家的,因此商家做促销的时候,它的权重就会比较高。

商家对某些商品,比如说我对一个奢侈品牌,我本来两块钱就可以买,这是我要的。但是现在有更奢侈的东西要200多块钱,你可能就会拼命的向我推荐200多块钱,而不是向我推两块钱,因为两块钱的商家没有做广告,或者他甚至还卖得不好,不太好。那天猫肯定是推什么?卖的好的商家,这是它的算法决定。它的整个策略决定平台策略决定的。因此天猫的推荐所谓的千人千面,你一旦具备了分析思维,你其实对这些商家讲的什么千人千面什么,你就会去判断,为什么?你结合它的业务就知道他的算法的模型跟京东的算法模型如果都叫千人千面一定是不一样。

我觉得他们可能会除了协同过滤的系统之外,还会去根据顾客浏览过什么商品,收藏加购什么商品,购买过什么商品,参加过什么活动,包括其他很多他考虑的因素都会放进去,最后对每个因素进行重新赋予一个不同的权重,这个跟他的赚钱的策略是相关的。那么这个权重会最终导致说我到底向顾客推荐一个什么样的产品,这个是非常商业化的。

那么我为什么要讲这个东西?事实上说我们做数据分析师的人,难道就是学一个算法就算数据分析师吗?很显然不是。这个也是特别疑惑的,大概是学算法学编程,还是到底要学什么怎么做分析,我不是经常说分析师是有灵魂的,设计思维就是你的灵魂,你没有设计思维,分析思维,你就没有办法给天猫做推荐系统。因为你根本就不了解它的商业模式,是不允许直接用协同过滤的。你如果直接给他上协同过滤的话,肯定是不行的。因为这可能会在某些方面会违反他赚钱的一些原则,那么是不是京东就会说我纯粹用协同过滤系统,可能也不会,因为它也有一些它的策略,它也有商家。

我对顾客的增加,顾客的价值是我的最重要的一个战略,而不是卖货,我的协同过滤系统在设计的时候一定是为了增加顾客价值,进行权重调整的,而不是光为说你买一个东西或者怎么样,那么它的设计的思路又不太一样,因为它增加进去的东西不一样,我向你推荐的东西第一不能让你反感。第二让人觉得有价值,那么什么叫有价值?如果天猫我要买两块钱东西,天猫向我推荐200,我就觉得没有价值,没有性价比,这不是我要的,你只想卖货给我多挣我的钱而已。

 第三点,如果我是纯粹做客户价值的,我对卖什么东西我并不关心。我会说我怎么样服务好这个客户?好,首先来看说,小九你是我的高价值顾客,我是尽量向你推荐你喜欢的,因为你是高价值顾客。然后来了小陶你是低价值的顾客,甚至是不赚钱的顾客,我向你推荐的东西其实都无所谓了。因为你对我来说没有意义,我甚至都不愿意去服务你,所以他的思路就不一样。那么他在推荐产品的过程当中,更多的关注说我推荐给小九的产品是不要让她不开心,因为我只要他开心,他每年都会在我这儿花很多钱在买,我根本就不用担心,我要尽量要了解的不是说向你推荐产品,而是拼命地了解你要什么,我如果我的平台上还没有你要的东西,我要尽量组织过来,所以他的算法又不一样,他做的预测,因为你做推荐就是做预测,但他的预测的方向又不一样。

人工智能

  每一种推荐系统它本身是具备一定优缺点,它针对的产品和数据的场景是个有自己的优缺点,什么是最好的?实际上就是我们讲未来的人工智能。人工智能目前的算法,包括深度学习也好,包括神经网络也好,你们能想到的高大上的,还是在归纳。

 实际上我们在设计人工智能去做一些猜测,或者是去了解顾客的过程当中是可以做成一个预测的。那么它的设计思路就不一样了,我们又讲了分析思维,设计思路是不一样,你设计人工智能跟现在你能看到的学到的技术去做预测,用人工智能方式去做预测是不一样。那么我们希望是说未来的人工智能可能是比如说小九我给你设计一个人工智能只是针对你这个人设计的,我开始的原型可能是大家都一样,我放出去的人工智能都是一样,但是这个人工智能会跟着你,他只用你的数据和你周边相关的数据来了解你这个个人。

比如说有1亿个顾客,我可能有一我训练的模型可能会有一亿亿多种,可能我起步的原型是一样,但是随着你的行为的变化,包括人工智能作为一个相当于是个机器人导购一样的跟你的沟通,服务。在这个过程当中不断的进行学习,跟你交流,记录你的行为,他甚至还会猜测你在想什么,他会验证和判断,我们都知道所有的预测都是错的,那么他要知道我怎么样,我是对的还是错的,他可能会从去试验一下。

那么这种预测就不是归纳性,它是永远往前看,是来猜测我可能会需要什么,因为他用你个人的数据没有办法归纳,它只是一个事件营销。

我们未来可能会更多的去用一些人工智能的方式去做,这是未来的一个发展。

数据分析师如何帮助电商找到蓝海类目?

为什么电商现在需要找到蓝海类目呢?

 电商,现在的竞争是比较激烈的,大家都知道啊,这个活下去也不容易,但在杭州呢有很多新零售的企业,做得相当的不错,,包括一些二十多岁的年轻人,在做电商的时候,会找到一个所谓的蓝海,就是一种市场的机会,他能够敏锐地感觉到这种市场的机会,并且把握住,来进行突破,他能够在很短的时间内,就可以做出几百万的利润,所以这个蓝海类目是每一个做电商的企业都希望拥有的这么一种技术。

我首先要澄清一下,不是说你有了大数据才去做蓝海类目的,那么没有大数据,用天猫的直通车或者是天猫的生意参谋,还有天猫的一些数据呢,也是可以做蓝海类目的,但是他的局限性就比较大。我们从大数据的概念上来讲,如何找蓝海类目,主要是为了扩展一下思路,我们未来在找工作的过程中可以把这个思路跟用人单位去谈一下,会让人觉得你比较有水平。言归正传,我们还是要讲一下这个数据分析项目的步骤。那么数据项目的这个步骤呢,我们上周已经讲过有四个步骤啊,第一个你要确定目标;第二个要有结构化的思维进行分析、分解,然后呢通过结构化的思维分解了这个分析项目之后,再落实到具体的分析了这个方法或者是方案上,最后你一定要得出结论,有一个能够执行的结论,这就是我们通常数据分析的步骤,几乎这个步骤在每一个数据分析的项目中都会涉及到。

我们来看一下这个蓝海类目,在电商这个领域,它通常会有一些什么问题?它通常当然有很多各种各样的目的啊,但是我们经常把它分成什么三大类。

【第一类】

一个是我要寻找一个新的类目,什么叫类目呢?比如说袜子,或者是女装、男装它就是一个分别不同的一个类目,但这个类目底下又分很多种,男装里面有西装有衬衫等等,那就叫子类目,子类目再往下呢,就是个个我们讲s ku, sk u就是单个的商品,不同的商品。那么我如果已经有了男装的类目,我可能想要寻找机会在女装有所突破。那么,我们这种叫新的类目,也就是说新的类目和老的类目之间没有冲突,这种是一种,那么通常它的目的是为了扩大销售,扩大销售额和利润,他觉得我有这个渠道我就可以做。

【第二类】

第二种是已有类目的优化。什么叫已有类目的优化呢?就是我在男装领域或者女装领域我已经有了这个类目了,但是我对他这个大的类目底下的子类目,或者是单个的商品来进行优化。这个优化的目的,可能是我在这个类目底下有些商品已经过时,我要淘汰、我要干嘛,那么他又有新的产品出来,那么这种出来的新的商品,我们可以想象,它有可能会对老的商品,或者已经有的商品有冲突。比如说你买了新的商品就不会买老的商品, 可能会有这样的问题,因此它显然跟第一种寻找新的类目的商务分析的目标是有点区别的,这个大家一定要搞清楚。

【第三类】

第三种是完全是全新的,我要新开一家网店,到天猫上开店。比如,假设我对供应链这个能力特别强,我能够整合到各种各样的商品,对吧,比如说我们的客户他就有他自己设计的一些泳装和瑜伽装,女士的,但他也可以有什么,从外面看到比较好的货品,来补充他的这个商店,那么新开店,她一般选择余地就比较大,可以做任何类目,只要我能买够到货,我能看到一个蓝海类目,我杀进去我能拿到货,我就可以做。那么它这种情况和前面两种又不一样。

那么实际上我们在分析当中是要有所偏重的,虽然大的框架差不多,偏重还是有一点不同的。

在蓝海类目,我们都知道,一般要做数据分析的目标归纳,那蓝海类目的分析,它的目标归纳只有两个:一个,我要寻找生意的机会;第二个呢,我要看这个机会的竞争情况,机会可能很大,但是竞争也非常大,你愿不愿意杀进去?机会如果还可以,竞争不大的,我可能愿意杀进去。那么机会呢,你也要看到它这个机会是向下走的,还是向上走的?也就是他的趋势是向上还是向下。你一定不会进入一个已经夕阳的类目,因为那个已经走下坡路了,你杀进去的话要产生效益,我们都知道,你不是今天进去天猫店里明天就产生效益,对吧,他需要有个时间,那你如果他整体是向下走的,你一定不太愿意进去,所以我们整个类目的分析呢,主要是要看你的机会和你的竞争情况。

我们接下来看,因为我们有各种各样的分析方向,我只能讲一个啊!所以我每次走到背景调查的这个步骤,我都会跟大家有个假设,那么假设,我们今天要讲的这个案例,只是希望优化类目。它既不是新开天猫店,也不是要找一个完全不搭的这个类目,它是一个类目里面的优化,这样的一个项目。我要优化这个内容的话呢,从机会和竞争这两个方面去考虑,其实是我们要考虑三个方面的内容。

一是,你要从这两个方面去做背景调查。我们都知道做数据分析师要做市场调查,第一个是市场顾客的变化。顾客的变化里面,我们主要要看什么?因为我们前面讲的有个趋势问题,就是这个首先这个某个类目,它这个整个市场对该类目的商品需求的趋势是什么样?这个趋势的数据怎么拿呢?我们都知道,我们在线上不能教大家干违法的事,对吧,我们都知道最近爬虫抓的厉害,那么以前呢这个不抓的时候,我们是会去搞一些那个天猫的爬取的数据,或者呢生意参谋。如果你已经开了店,你去看生意参谋去参照,以为天猫会给到一些线上商品的需求趋势。我们国家在数据收集这一方面还没有做到比较完整,在北美的很多公司是提供市场分析数据报告的。我们有时候跟一些调查公司,或者第三方的数据公司,也是能够获取这个分析报告的。那么种种的数据渠道,这个在我们工作当中根据你要做的不同的类目,你要知道从哪去拿数据。那么其他呢是,比如说你的顾客群体对不同商品需求的变化,比如你本来,因为你已经有了店铺了,你一直在做的 顾客的那个群体,对商品某些商品的变化的需求是否有变化,还有呢,有些政治商业社会对类目的一些影响,这些都是我们要做好背景调查的地方。因为有些商品,比如说我们做户外商品,户外的话,现在来讲,整个社会的人还是比较注重健康的,那和十几年前是不一样的, 因此,社会经济对户外产品的影响是一个向上,所以这个都会给到我们一些那个背景的知识,另外一个非常重要的是说,你的顾客的流量的来源从哪里来?纯粹是天猫站内的?还是天猫在外外部流量?因为这个你也需要予以考虑。如果在外地流量可能有一部分的话,那你要考虑这个市场顾客变化的话,你的数据的来源就多啊,比如说你去看抖音上,关于你这个内幕的,你想进入的某些类目的那个方面这个视频啊,观看量如何对吧。就是参考其他的,参考其他的,为什么呢?在你的天猫里面的数据,它还比较集中在你已经购买的数据上,就是站内购买的数据。但是外部数据是什么呢?人家关心你这个类目的数据,这是不一样的,对吧。所以,有很多,那么像国外的话,我们可以参照谷歌的这个趋势数据,那么百度这一方面,好像说的,我去用过,好像缺乏一些,稍微缺乏一些。所以我们作为数据分析师,要知道从哪去看数据来看这个趋势,最终是要做出一个报告说这个类目的趋势是向上,比如说我的关心的类目,因为我们是已有的类目,所以我就可以针对这个类目进行专项分析,但是如果是你内容比较多,你可能要去看,先慢慢地挑,聚焦到某几个类目进行研究,否则的话你研究花的时间太多了。

第二个,商品的情况。商品的情况很有意思,比如说第一条,价格是否有议价空间?比如说你在进入的这个类目优化的这个类目,是属于那种标准品,所谓的标准品是不管什么品牌你卖的东西差不多的,比如说你卖的一辆奥迪汽车,它就属于标品,你问谁买它都是这个车,对吧,你的价格的溢价空间就没有了,但是说,你去卖一个,我后面又有一个茶叶作为例子,茶叶的议价空间就很大,就是什么A级龙井,什么3A级龙井茶的价格差很远,同样500克的龙井可能你不同的店买价格就不一样,这就是我们所讲的议价空间。有了议价空间,你的利润才有可能会被保证,那么未来你在做促销的时候玩的手段也会比较多。这个也是你要考虑的一个因素。

第三个,竞争对手。竞争对手主要是要和竞争相关,就是你这个类目里面,你在优化的过程当中,或者你要考虑那些子类目里面,是否有比较大的竞争对手?那假设你还比较有实力的,你一定不想跟一个巨无霸的竞争对手,在这个类目里面他已经很厉害了,你要去打败他你要花更大的精力,但是这个类目里面是一盘散沙的,你还不算小,那你进入这个类目去做,还比较有胜算, 主题思想就是这样,所以你要做好它。

我们又进入结构化思维的环节。在这个案例里面结构化思维你是怎么考虑的呢?销售机会!为什么呢?我只拿销售机会讲,竞争这块我暂时不讲,后面还要讲。

蓝海类目呢跟一般的这个数据分析有点不太一样,那么销售的机会,你去判断,我们讲的要用STP的方式,为什么叫STP啊?因为你首先考虑说谁是我的顾客?s就是指顾客群体, t是什么呢?就是你的目标顾客群体是谁,你要确定你的目标顾客群体是谁,比如说我卖茶叶,卖茶叶我卖给18岁的人群好呢,还是三四十岁的人好?还是五六十岁的人好?你首先要进行确认,那么这个确认过程,如果说你不需要数据也可以了解的,那就不要用数据分析,你如果不清楚的就要用到数据了,就是哪类人是你最终的用户。你已经有了店了,怎么确认呢?我们天猫店里是有数据的,所以我能看看哪些人是我这个类目的最佳顾客嘛,我给他做一下,对吧。所以p就是定位,我们一点点来讲吧,Stp,把它讲清楚。

所以我们结构化思维里面 说,因为我的销售机会主要是销售额,销售额等于什么呢?顾客数X单次消费额X消费频率X市场占有率。那么这些数据,顾客数量和单次消费额X消费频率X市场占有率呢,是可以通过你的天猫里的数据进行估算的,完全是可以估算的。但是最关键的是谁是顾客?这个事情你到现在还不见得会很清楚,你虽然知道我的类目这块是谁我的最佳顾客了,但是因为你要产生一个新的子类目,或者新的商品,这些新的商品的主要顾客是谁,你可能还要再等等再确定。

那我怎么弄呢?我做出一个创新的产品,我找蓝海嘛,我一定不要杀到红海里面去。蓝海怎么找呢?他要通过横向思考思考,不能用下钻了,下钻是一个点往下走,我们上一个礼拜讲过,横向思考会给你一种就是交集在一起 给你一个关联性的一个信息,那么这个关联性是什么呢?我看一个知觉图,这个知觉图是我们寻找新产品定位的一个分析手法,知觉图里我们拿一个,比如说,我们拿一种食品,我要设计一个食品,我把竞争对手的数据都收集到,我的品牌ABC分别是落在不同的象限里面,比如四项线。品牌A是什么意思呢?是属于那种高端品牌里面的低卡路里的健康水平,所以他价格很高,低卡路里的健康食品,对吧,低热量的健康食品,而B呢是什么呢?是低端产品里面的垃圾食品,高卡路里的,那C呢,它是落在什么呢?是高端品牌里面的这个健康食品,类似像这种。那么abc已经把这个知觉图里面的三个相线占了,那你的最佳的蓝海在哪里?很显然,就是那个红的机会那个地方。 当然啦,如果里面的泡泡比较少,那你还是可以跟他打。比方说你品牌C的泡泡比较小,说明在这个领域里它还不够大,那你还是可以跟它打的,这个就是你通过这个图来理解,这个我们叫定位。

我们数据怎么做呢?我们首先来看我做产品分析我们首先来看,我等我的天猫店来看,在我这个比如说我们茶叶类的,我们是做茶叶的,我打个比方我做茶叶,我做茶叶我怎么看?在我这个类目里面,我五年的消费的话,总顾客数没有什么大的变化,假设,他有各种各样的情况,得出结论不一样,但是呢我的消费一直在上升呢,那说明一个什么问题?顾客数不变,消费上升,第一,要么他的单次消费高了,就是消费能力高了,二呢,他消费的多了,那这个咱们知不知道呢?天猫数据是知道的,那你在做一个深拉,往下钻一钻,再看一看就明白到底是哪一种。比如说我现在在卖,我有普通型的茶叶、有有机茶叶、有小罐茶高端茶叶、功夫茶各种茶,我把它做了一个分析之后发现,我的销量的上升,是由这个橘黄色的线,就是有机茶叶和黄色的高端茶叶带来的,那么很显然说明它的趋势是向上升的,而其他的低端茶叶、功夫茶这种走下坡路,那我要去做这种优化的话,我肯定是要看向上走的方向是否还可以创造出一个新的类目来,这个是我要考虑的。

那我接下来怎么做呢?这个是一个具体分析方式了。我现在要看一下,如果我要做有机茶、高端茶,我得检查一下竞争情况,我又做了一个视像图,比如说我的头部企业,就是占有最大占有率的,有机茶里面的所谓的头部企业最多也就占了什么 1.7% ,也就是它的市场占有率它只能达到1.7%,就说明头部没出来,没有一个头部企业,那么高端茶已经能做到13%了,就是它的市场占有率很厉害啦,就是有一个店做的特别厉害,谁都买它的,对不对,这个利润的竞争的话等于说出现一个头部企业,你要和它竞争的话就有点问题。

然后再看,价格范围的话有机茶是239块钱,就是上下差239,而高端茶是差1300多块钱,那我就说这两个东西都是向上走的,它的议价空间也比较大,各种价格都有,有点不一样。那我把它这个数据变成第二张视像图之后,我会发现什么呢?头部企业明显不明显、竞争数量多与不多、有机茶和高端茶分别处于两个象限里面,象限里面我可不可以做成什么呢?有机茶放到这儿来,高端茶放在这儿,这就变成一个什么产品啊?叫有机的高端茶,新产品就出来了,以前没有过, 没有人这么干,我做一个有机的高端茶,因为我两个都往上走的,你可以想象说,我做个有机高端茶可能也是往上走的,然后我在这个方面再去看啊,做高端茶有机茶的主要品牌,ABC,根据视觉图我来画一下ABC,高端茶我这个概念,他们的竞争的位置在哪里?我的位置在哪里?我啪一划,我发现说a品牌是那个高端非有机,b品牌是低端有机,c品牌是低端非有机,结果发现你的这个有机高端品牌,是成立的。那么这种直觉图里面的数据是从哪儿来呢?传统是做调研,现在可以干嘛,现在可以通过顾客的评价数据,文本挖掘的数据可以采集到,当然我们知道,我们在天猫上很多数据是刷的,比较假的,但是加的话,你作为数据分析师必须要建立起一个能力,又判别的能力,就把有价值的数据提取出来,你就可以进行这样的一个分析,那这样的分析你马上做完这一套析之后,你就知道,有机高端茶是你可以进入的,在茶叶这个类目里面 进入的一个新类目,这个就是一个蓝海,那当然了你有了这个想法之后他到底销售情况怎么样?你是不清楚的,那么我们在天猫里怎么干呢?我们在还没有投入这个栏目的时候,我们会做一个市场测试, 一般的那个电商都是这么玩的,做个市场测试,市场反应很好,那么,他就可以进行这个类目。市场测试这个事情到底怎么做?我们未来可以请一些专家来讲,如何做市场测试来证明你这个想法是对的。作为一个新的类目,如何进行预测?

业务分析人员和业务智能之间的区别是什么

       工具使用区别:业务分析使用SWOT分析,用例建模,预测建模,数据建模,用户故事,需求分析等不同阶段和分析阶段。数据分析采用实时分析、映射分析、数据报表、在线分析处理、仪表盘等。

未来的数据分析师们在这里,我将分享我对BI和BA差异的看法,会用简单的文字来解释它。

       首先你应该知道BI和BA到底是什么。从BI开始商业智能指的是由技术和策略组成的过程,组织通过这些技术和策略来分析当前的业务数据,这些数据提供了业务操作的过去、当前和预测数据。

      例如,BI在酒店行业中被有效地使用,统计信息被用来建立不同的房间预订价格。Trivago就是其中之一,它比较不同的网站和酒店在不同网站上的价格。然而,商业分析是指持续使用技术和策略,从过去的商业数据中探索和获得洞察力和绩效,从而制定成功的未来商业计划。

       让我们举个例子——如果一个家居用品制造商想要预测未来的利润,那么商业分析主管将应用一个框架来解决这个问题,并将开发一个预测模型来提供建议和结果。我们来看一下差异。

       数据使用

       商业智能:BI使用历史和当前数据分析业务操作。

       商业分析:BA使用过去的数据来获得洞察力,并在商业运作中提供帮助。

       区域的浓度

       BI:商业智能主要关注数据分析的报告。

       BA:商业分析主要关注执行多种操作应用程序的各种工具。

       数据分析

       BI:如前所述,BI使用历史数据或过去数据对当前场景进行数据分析。基于过去的成功和错误,现在的行动是BI。

      商业分析研究未来可能发生的活动。它结合了分析和预测分析的过程,给出了需要的变化和改进的范围的想法。

      数据转换

      BI:商业智能不会转换或破坏现有数据,而是使用相同格式的数据来从中获取信息。

     BA:商业分析将现有数据转换或分解为不同的形式或元素,以获得洞察力。

       数据的形成

       BI:商业智能生成的数据是仪表板、报告或数据透视表的形式,具体取决于高管、经理和数据分析师等用户。

      商业数据分析使用过去的BI能力和信息来帮助客户高效地完成他们的工作。

       工具使用

       BI:数据分析采用实时分析、映射分析、数据报表、在线分析处理、仪表盘等。

       BA:业务分析使用SWOT分析,用例建模,预测建模,数据建模,用户故事,需求分析等不同阶段和分析阶段。

      此外,使用BI的原因是为了有效地运营业务。数据分析师帮助企业提高生产效率和运营效率。

      据说,使用数据分析技术的业务部门做出更好、更快决策的可能性是其他部门的五倍此外,预计到2021年,BI和分析市场的价值将增长到1000亿美元,这些就是商业智能和商业分析的不同之处。

大厂疯抢的数据分析师,究竟有多厉害?

你有没有发现,在互联网时代,数据分析能力已成为升值涨薪的必备技能?

为什么这样说?

一方面企业及整个市场的需求都很大,月薪15k以上的数据分析岗位层出不穷,甚至更高的月薪都会存在。另一方面市场的缺口也很大,企业也趋向于拥有数据思维的人才,产品、运营、增长等岗位,数据分析能力已成为标配。

在这种大数据环境的驱使下,越来越多的人动了入职数据分析的心思...

在向我们咨询的同学中,就有这样的三种人....

应届生

掌握了一些SQLExcel、Tableau,做了一些开源项目,就迫不及待的开启求职之路。大部分简历毫无音讯,少部分收到了面试机会,但也摆脱不了1轮游的窘境...

转行的职场人

敏感的捕捉到数据时代的红利,立即投身到入职数据分析的道路上。但即无专业背景,又无相关工作经历的他们,付出了很多努力,也拿不到想要的那张入场券...

跳槽的职场人

在公司兢兢业业好几年,最终化身SQL Boy或表哥、表姐,继续留在这里,晋升涨薪困难。下定决心,踏出改变的那一步,可是接到的面试邀请,与原岗位相比并没有实质性提升...

随着投递的增多,可投岗位机会的减少,使得上述同学,深陷求职困境,想要打破目前的状态,那就需要从本质上去分析问题,对症下药。

首先,我们可以先分析下,这三种同学的求职特点:

应届生同学

对数据岗位缺乏了解,求职没有规划,求职方法不得当,也没有真正的实战项目经验,易盲目求职。

针对这样的同学,建议大家先从技能、业务、沟通三方面进行自我定位,清晰自己对数据岗位的了解程度。其次按照【城市】【行业】【公司】【岗位】四个方向,设定职业目标,重点规划职业生涯,避免盲目求职的发生。最后,用好应届生自身的求职优势,合理选择公司进行投递。

转行/跳槽职场人

无法合理判断自身情况,不能根据背景选择适合岗位,缺乏专业的面试指导,随意投递,浪费机会。

对于有工作经验的职场人来说,是否能转行/跳槽,还有转行、跳槽的时间成本,是大家首先要考虑的问题。

一般来说专业、工作行业、工作职业、工作年限等都会成为求职路上的一道道坎或推动力。合理了解自身情况,硬转、硬跳也是要有策略的,把数据变成核心技能,深挖之前工作的相关内容,基于技能与可用的背景,再去找工作。

在入职数据分析的路上,一开始的迷茫无措,是不可避免的。在如今的求职寒冬时期,光靠自己的摸索,容易浪费时间,错失大量珍贵机会,得不偿失。

为此,我们建议的入职道路是:你需要系统的课程学习+真实案例的实践+职场支持,再带着有说服力的作品去敲开数据分析的大门。 

看到这里,你可能会说:我明白这个道理,可是寻找课程就很浪费时间,实战项目就更别提了。职场支持?市面上号称保offer的指导有的是,我该怎么分辨?

教你五招选好大数据分析师培训机构,确保不被忽悠!

目前市场培训机构情况

1、机构类别

2、类别优缺点

A、传统IT培训机构

优势:品牌优势、连锁优势、环境优势、有完整的管理流程

劣势:实战师资缺乏(分校多、实战数据分析师少而贵)

B、认证考试培训机构

优势:品牌背书优势

劣势:认证培训属于第三方,针对有工作经验从业者的能力评价考核体系,非培训体系。

C、线上培训机构

优势:价格便宜、实战师资

劣势:学员很难坚持、问题难以咨询

D、线下企业项目实训机构

优势:实战师资、师傅带徒弟模式、贴近企业岗位需求

劣势:品牌低、收费高

二、大数据分析师培训与软件开发培训区别

三、什么样的人需要报班

1、转行人群

转行人员分为二种,一种为有工作经验的从业者,二是非大数据相关专业的应届生;这类人群在报班学习的时候有二种选择:

选择一:零基础直接报班学习,如果没有编程基础的人最大的学习瓶颈期是前期PYTHON、SQL、MYSQL、数仓等工具学习;最好选择能有这些基础课程免费试听的机构,这样能给自己一个退路,否则从培训机构手上退费是件比较麻烦的事情。

选择二:如果你是一个好学、有毅力的人,像PYTHON\SQL\MYSQL\数据清洗\数据可视化等这些工具课在网上都有免费的,完全可以先自己学一段时间,其实编程没有大家想的那么难,只要看得懂,能慢慢写点东西,再去找个培训机构快速提升就可以了,这样能保险些,费用也会低一些。

2、提升人群

提升人员也分为二种,一种是已经从业在数据统计、数据助理等岗位,因为工作单一性强,虽然接触到一些数据报表、可视化等工作,就像一个螺丝钉类型的工作,每天只负责一块事情,或者只做一项固定的工作,想突破自己,想提升自己全局驾驭公司数据分析应用能力的人。

第二种人员是今年开始正式毕业于大数据相关专业的应届生,因为在高校学习了非常系统的理论知识,但是非常缺乏企业数据应用,如果想往大数据分析师方向就业报班提升效果最佳。

另外提醒的是,不管是小白还是提升,都需要多了解大数据这个行业的相关问题,比如大数据工程和大数据分析的区别、大数据商业分析师和工业分析师的区别,大数据分析师企业工作场景、大数据分析师需要具备的能力、如何快速成为大数据商业分析师、未来大数据分析师的职业划分等等,这些知识需要多了解,这样你就能更加清楚这个行业,不会被忽悠。多和从业者去交流。

还有一个提醒就是看书不要乱看,毕竟大家学习的时间是有限的,在没有弄明白学习路径前不要乱买书,浪费钱不说还浪费自己的时间,对于数据分析师入门必须要知道的知识只要看几本书就可以了,后期根据自己就业的岗位和职业规划去看相关的书籍,小白入门可以看这几本书,《从EXCEL到PYTHON—数据分析进阶指南》,《PYTHON基础》、《深入浅出数据分析》、《统计学方法与数据分析》、《数据质量控制》等。网上都有电子书资料,可以白嫖。

四、学大数据分析师报班最需要看什么?

以上二种报班人群在选择培训机构的时候需要注意以下三点:

1、需仔细看培训大纲,单独的工具课程培训不值得花几万,完全可以白嫖自学。需要看大纲中是否有商业分析项目教学、企业真实项目训练、实在没有企业级项目训练看是否有模拟的大数据分析实验平台,模拟企业项目训练。

2、报班时候最重要的是看师资力量,大数据分析师目前在中国真正做过项目的分析师本来就少,而这个行业越有经验越值钱,一般的培训机构请不起,如果某培训机构宣传有N个牛逼讲师,基本上是吹牛逼的,(曾经某培训机构请我上数据分析项目课程一天5K都付不起),另外如果是大数据分析师班写老师介绍中写JAVA多牛逼,曾经工作在哪些大厂,做过分析师,一看就是假的,大厂数据分析师会去一个培训机构教书吗?数据分析必须要会JAVA吗?基本上都是原来搞软件开发那些培训老师包装一下出来误人子弟的,我们这个领域必须是师傅带徒弟的模式,所以对老师的要求非常高,报班时可以去网上查主讲老师情况。以免受骗!

3、真正高价值的培训是金字塔尖的专业培训,非常专业的职业培训是做不成规模的,因为师资覆盖不了那么多学生,也不会有多个培训产品,这方面有别于原来的IT培训,这种专业人才的培训必须是单一性岗位,小班指导、师傅带徒弟方式、企业参与紧密结合性。

五、培训机构招生的几大手段

1、假装招聘忽悠找工作者

用招聘大数据分析师发布招聘岗位,薪资诱人,约上门面试,进行转化。

2、严厉打击咨询者

咨询人员电话或者上门咨询采用寻找弱点,严厉打击,击溃你的信心方式,让你参加培训。

3、贷款让你感觉没有经济压力

给你算个人投入产出经济账,先为自己投入几万,未来工作多么美好,没钱报名没关系,可以贷款,只要交几千手续费(其实就是利息),有的机构把利息给你承担了,看起来好像好像是免息的,其实就是学费没给你折扣。

4、邀请上门,做秀试听课

只要你咨询,天天电话邀请你上门试听,试听课程都是设计好的,要从趣味性、专业性、互动性上策划,让你感觉能学会、喜欢学。只要你上门试听当然就可以给你洗脑了。

5、签订就业企业协议,承诺包工作

给你看一本厚厚的企业用人合作协议,说学完能包工作,还能达到多少薪资,这社会谁还能包安排工作,明显是个伪承诺,但是很多人会信。

6、成功学子

给你看一堆原某某学长,成功就业情况,不一定有几个是真实的,哈哈,让你感觉自己也能进大厂,也能拿N万年薪。

不能再说了,否则怕引起机构对我的攻击,哈哈!一句话先考虑自己需要不需要培训,如果需要培训最好货比三家,平时多进一些大数据分析师的社群,多听听,多了解,只有这样才能了解这个领域,避免上当受骗!