要想學好大資料,大資料工程師需要學會以下知識:
1.會基本的linux操作;
2.至少要精通一門JVM系的語言;
3.掌握一門實時流式處理框架;
4.學好分散式儲存框架;
5.深入瞭解和學習分散式協調框架;
6.新開發的列式儲存資料庫,也是要學好的;
7.學習Kafka處理訊息佇列。
大資料分析師或者資料科學家要想學好大資料,需要掌握以下技能:
1.要有紮實的數學功底,不僅要熟練掌握一元微積分的使用,還一定要精通線性代數,尤其是矩陣的運算、向量空間、秩等概念。
2.要基本掌握概率和各種統計學方法。
3.學習分析互動框架,比如Hive。
4.學習機器學習的框架。