私信我或关注微讯号:猿来如此呀,回复:学习,获取免费学习资源包。
大资料又称巨量资料,就是资料量大、来源广、种类繁多(日志、视讯、音讯),大到PB级别,现阶段的框架就是为了解决PB级别的资料。
专业的来讲:大资料(big data,mega data),或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的资讯资产。
大资料的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity(真实性)。
二、学大资料需要什么语言基础?
首先,学习大资料是需要有java,python和R语言的基础。
1) Java学习到什么样的程度才可以学习大资料呢?
java需要学会javaSE即可。javaweb,javaee对于大资料用不到。学会了javase就可以看懂hadoop框架。
2) python是最容易学习的,难易程度:python java Scala 。
python不是比java更直观好理解么,因为会了Python 还是要学习java的,你学会了java,再来学习python会很简单的,一周的时间就可以学会python。
3) R语言也可以学习,但是不推荐,因为java用的人最多,大资料的第一个框架Hadoop,底层全是Java写的。就算学会了R还是看不懂hadoop。
java在大资料中的作用是构成大资料的语言,大资料的第一个框架Hadoop以及其他大资料技术框架,底层语言全是Java写的,所以推荐首选学习java
再给你们举例说明下它们的分工和作用,java注重业务,大资料注重资料,前端是脸(页面显示),java是胳膊(业务),大资料是直男大脑,人工智能,深度学习是有情商的大脑。
三、大资料职业发展方向
学会了大资料,不需要从java做起,可以直接做大资料开发工程师。等积累了几年的经验, 就可以做算法工程师了。看看学会了大资料可以从事哪些岗位:
大资料开发工程师
资料分析师
hadoop开发工程师
spark开发工程师
资料仓库开发工程师
资料清洗工程师(ETL)
大资料架构师
算法工程
四、大资料优势
大资料受国家大力支援大量的资源都投资在这方面,大资料中心在贵州落坐,人工智能和云端计算都基于大资料,需要大批大资料人才。
1)、大资料人才薪资待遇
一般的一线城市大资料相关岗位平均月薪在12-15K 北京平均17K,大资料算法工程师,年薪在30万—50万左右。
2)学习大资料有学历/专业要求吗
高中也找到工作,但是大专以上学历更好,虽然是本科学历,但大学四年中也没有学习到实际的操作技能,学习到的东西在工作中用不到,只是在理解某些东西容易些。
五、大资料学习路线
大资料高手班课程大纲:
linux+高并发 + Hadoop生态圈 +分散式搜寻+ Strom流式计算 + Spark + 机器学习算法
正常来讲学习大资料之前都要做到以下几点:
1.学习基础的程式语言(java)
2.掌握入门程式设计基础(linux操作,数据库操作、git操作)
3.学习大资料里面的各种框架(hadoop、hive、hbase、spark)
这是正常学习大资料必须要做到的三个步骤,如果有了java基础再去学习基本上已经成功了一半,起码不用为了基础语言的学习而恼火了。
真正的大资料的学习不能仅仅停留在理论的层面上,比如现在经常用到的spark框架目前支援两种语言的开发java或者Scala,现在python语言也能支援了。大资料的方向的切入是全方位的,基础语言的学习只是很小的一个方面,程式设计落实到最后到程式设计思想,有了指导思想学习起来就能方便很多。
六、0基础可以学大资料吗
虽然大资料需要Java基础。但是,0基础小伙伴也可以学。
来源网络,侵权联络删除