大数据局架构师是围绕大数据平台系统的研发人员,需要熟练掌握Hadoop、Spark、Storm等主流大数据平台的核心框架;掌握如何编写MapReduce的作业及作业流的管理,完成对数据的计算等;掌握分布式系统原理,对储存、计算、消息列队、集群管理、虚拟化技术有深入的认识和了解。

大数据架构师需要学习的技术有:

  1. 编程语言——Java,Python,R,Ruby,Scaia
  2. 大数据通用处理平台——Hadoop,Spark,Flink
  3. 分布式存储——HDFS,Ceph,Swift,MySQL
  4. 资源调度——Yarm,Mesos
  5. 数据结构——栈,队列,链表,二叉树,散列表,红黑树,B树
  6. 虚拟化方向——KVM,XEN,VMvare,OpenStack

大数据架构师需要具备的其他能力:

  1. 理解和沟通大数据获得业务的方式的能力
  2. 能够处理各种各样的数据的能力
  3. 在云计算、数据仓库、数据挖掘方面的知识和经验

发表评论

您的电子邮箱地址不会被公开。