技多不压身,大数据工程师,作为工程师中的高富帅,掌握更多的大数据技能,就可以让自己走的更远。下面是StuQ发布的大数据工程师技能图谱,供大家参考:
大数据通用处理平台Spark
Flink
Hadoop
分布式存储
HDFS
资源调度
Yarn
Mesos
机器学习工具
Mahout
SparkMlib
TensorFlow(Google系)
AmazonMachineLearning
DMTK(微软分布式机器学习工具)
数据分析/数据仓库(SQL类)
Pig
Hive
kylin
SparkSQL,
SparkDataFrame
Impala
Phoenix
ELK
8.1ElasticSearch
Logstash
Kibana
消息队列
Kafka(纯日志类,大吞吐量)
RocketMQ
ZeroMQ
ActiveMQ
RabbitMQ
流式计算
Storm/JStorm
SparkStreaming
Flink
日志收集
Scribe
Flume
编程语言
Java
Python
R
Ruby
Scala
数据分析挖掘
MATLAB
SPSS
SAS
数据可视化
R
D3.js
ECharts
Excle
Python
机器学习机器学习基础
聚类
时间序列
推荐系统
回归分析
文本挖掘
决策树
支持向量机
贝叶斯分类
神经网络
机器学习工具
Mahout
SparkMlib
TensorFlow(Google系)
AmazonMachineLearning
DMTK(微软分布式机器学习工具)
算法一致性
paxos
raft
gossip
数据结构
栈,队列,链表
散列表
二叉树,红黑树,B树
图
常用算法1.排序
插入排序
桶排序
堆排序
2.快速排序
3,最大子数组
4.最长公共子序列
5.最小生成树
最短路径
6.矩阵的存储和运算
云计算云服务
SaaS
PaaS
IaaS
Openstack
Docker
晓数网热点文章推荐:
精耕细作打造深度优化的服务流程
高校信息化建设中设计团队如何高效工作的思考
影响高校大数据建设落地的几个误区:创意是大数据建设落地的必要条件吗?
高校门户网站信息安全威胁与对策探析
影响高校大数据建设落地的几个误区:数据交换平台是大数据平台吗?
供给侧结构性改革对智慧校园服务建设的借鉴与启示