大数据运维的主要工作内容是什么

大数据运维的主要工作内容是对大数据集群进行监控和维护升级,保障集群正常运行,从而保证数据收集服务能正常运行,保证集群资源够用,监控集群资源消耗情况。

大数据运维主要做运营维护。Linux操作系统、应用系统维护监控调优和故障排除,关注开源社区动态,追逐前沿技术和应用等。国内的互联网运维负责软件测试交付后的发布和管理,将交付的业务软件和硬件基础设施高效合理的整合,转换为可持续提供高质量服务的产品,同时最大限度降低服务运行的成本,保障服务运行的安全。

大数据运维工程师的任职资格:

1、熟练掌握Linux操作系统原理及常见服务配置:rsync、ftp、smb等;

2、精通Linux下主流web服务器的配置和管理:apache、nginx、haproxy、varnish、squid、lvs、tomcat、jetty;

3、精通python/php/golang至少一种语言,并熟悉相关的前端框架;

4、熟悉mysql、redis、mongodb数据库的管理维护;

5、熟练使用至少一种开源监控方案:zabbix、ganglia、open-faclon、cacti;

6、熟练使用开源的自动化部署工具:cfengine、puppet、ansible、saltstack;

7、熟练使用kvm、xen虚拟化软件;

8、熟练使用ELK日志收集与分析系统;

9、熟练使用Hadoop生态圈(HDFS,Yarn、Spark,Storm,HBase、Impala、Hive、kafka、flume、Zookeeper)等工具组件;

10、熟悉JVM虚拟机调优;

11、熟悉jenkins持续集成。

类似文章

发表评论

您的电子邮箱地址不会被公开。