工作9年,也算是一路见证了大数据行业的发展。一开始绝大多数都是从后端开发转过来的,再之后迎来了“数据即黄金”的时代,细分领域的人才需求骤增,许多人纷纷涌入这个行业。
但目前看,业内大数据人的处境却各有不同(从公众号粉丝留言、知乎等收集的数据做了一个小调查):
28%,数仓居多,日常工作就是拉宽表,混日子混到尴尬,一年到头10来万的样子
32%,Sql Boy/Girl,基本的增删改查,也是被吐槽最多的,薪资不详
25%,幸运的在一些核心业务部门,实时计算、流批一体的业务场景,一年能入手30、40万
10%,业务骨干,业内大牛,创建或参与优秀的开源项目,P6+水平
5%,高级架构师级别,大型项目的负责人,年薪动辄过百万的管理者。
从运维仓管、开发工程师到架构师、总监、CTO,Title五花八门。差距明显但真实。
为什么?在我看来,选对行业、选对方向和公司是一方面,但懂不懂技术、懂不懂数据、懂不懂业务,这三块决定了大数据人的职场发展潜力。我一般面试时也是从这三块来考核面试者的工作能力的。对于面试这块,之前也写了一些东西,大家感兴趣的话可以翻看下之前的文章。此外,不少朋友纠结大数据的发展前景,哪个方向更好,上限怎么样之类的问题。
大数据方向这么多,怎么选?
建议选择贴近业务一些,不要做纯技术。不是说纯技术(比如纯数仓)不好,只是对于大多数人来说,天花板较低。(很多自建的数仓平台迁移到云端后,运维方向、平台开发基本就没啥事了)建议选择政策支持且市场看好的行业,比如:医疗、电商平台、智慧交通或教育产品等。
第二个问题,大数据人有哪些稳妥的学习路线呢?
讲真,多且杂。现在社招的话,各种数据库、中间件都得会——spark/hadoop/kafka/flink/hdfs/yarn/hive 硬技能,还有就是各种基础算法,gbdt/lr 算法等等。想要成功进阶,这些技术必须啃下来。但切忌东打一拳,西踢一脚。一位候选人面试一会提 Flink、一会提 ClikHouse 时,但被问到什么是“数据倾斜”时却支支吾吾,很是可惜。再一个是项目实操。一方面可以检测自己的技术水平,另一方面是实战场景中发现并解决业务问题。如果想要拿到一份可观的薪水,没有实打实的PB、TB级的项目经历,不大可能。许多新手很难接触到,再加上没有高手指点,多半也会手忙脚乱,折在半路上。