学完大数据可以做什么

作者&投稿:陈宣 (若有异议请与网页底部的电邮联系)
java转行大数据要学习哪些技术~

对于Java程序员,大数据的主流平台hadoop是基于Java开发的,所以Java程序员往大数据开发方向转行从语言环境上更为顺畅,另外很多基于大数据的应用框架也是Java的,所以在很多大数据项目里掌握Java语言是有一定优势的。
当然,hadoop核心价值在于提供了分布式文件系统和分布式计算引擎,对于大部分公司而言,并不需要对这个引擎进行修改。这时候除了熟悉编程,你通常还需要学习数据处理和数据挖掘的一些知识。尤其是往数据挖掘工程师方向发展,则你需要掌握更多的算法相关的知识。
对于数据挖掘工程师而言,虽然也需要掌握编程工具,但大部分情况下是把hadoop当做平台和工具,借助这个平台和工具提供的接口使用各种脚本语言进行数据处理和数据挖掘。因此,如果你是往数据挖掘工程方向发展,那么,熟练掌握分布式编程语言如scala、spark-mllib等可能更为重要。
Java程序员转大数据工程师的学习路线图:
第一步:分布式计算框架
掌握hadoop和spark分布式计算框架,了解文件系统、消息队列和Nosql数据库,学习相关组件如hadoop、MR、spark、hive、hbase、redies、kafka等;
第二步:算法和工具
学习了解各种数据挖掘算法,如分类、聚类、关联规则、回归、决策树、神经网络等,熟练掌握一门数据挖掘编程工具:Python或者Scala。目前主流平台和框架已经提供了算法库,如hadoop上的Mahout和spark上的Mllib,你也可以从学习这些接口和脚本语言开始学习这些算法。
第三步:数学
补充数学知识:高数、概率论和线代
第四步:项目实践
1)开源项目:tensorflow:Google的开源库,已经有40000多个star,非常惊人,支持移动设备;
2)参加数据竞赛
3)通过企业实习获取项目经验
如果你仅仅是做大数据开发和运维,则可以跳过第二步和第三步,如果你是侧重于应用已有算法进行数据挖掘,那么第三步也可以先跳过。

现在大数据的发展还刚开始起步,所以几年后应该就业不会差的,以后更多的东西都是要依赖于大数据的,有了大数据就可以降低人力物力财力的浪费了。

目前各处都在讨论大数据前景如何好,大数据就业机会如何多,很多人都对大数据这个行业充满了向往。但是可能大多数人都不清楚大数据学出来后究竟能做什么?大数据行业到底有些什么岗位?
目前在国内来说,大数据行业大概有以下几种岗位:数据分析师,数据架构师,数据挖据工程师,数据算法工程师,数据产品经理。接下来为大家详细介绍一下各岗位的工作内容。
1. 数据分析师。
数据分析师 是数据师的一种,指的是不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具,提取、分析、呈现数据,实现数据的商业意义。
作为一名数据分析师、至少需要熟练SPSS、STATISTIC、Eviews、SAS等数据分析软件中的一门,至少能用Acess等进行数据库开发,至少掌握一门数学软件如matalab、mathmatics进行新模型的构建,至少掌握一门编程语言。总之,一个优秀的数据分析师,应该业务、管理、分析、工具、设计都不落下。
2. 数据架构师。
数据架构师是负责平台的整体数据架构设计,完成从业务模型到数据模型的设计工作 ,根据业务功能、业务模型,进行数据库建模设计,完成各种面向业务目标的数据分析模型的定义和应用开发,平台数据提取、数据挖掘及数据分析。
从事数据架构师这个职位,需要具备较强的业务理解和业务抽象能力,具备大容量事物及交易类互联网平台的数据库模型设计能力,对调度系统,元数据系统有非常深刻的认识和理解,熟悉常用的分析、统计、建模方法,熟悉数据仓库相关技术,如 ETL、报表开发,熟悉Hadoop,Hive等系统并有过实战经验。
3. 数据挖掘工程师。
一般是指从大量的数据中通过算法搜索隐藏于其中知识的工程技术专业人员。这些知识可用使企业决策智能化,自动化,从而使企业提高工作效率,减少错误决策的可能性,以在激烈的竞争中处于不败之地。
成为数据挖据工程师需要具备深厚的统计学、数学、数据挖掘理论基础和相关项目经验,熟悉R、SAS、SPSS等统计分析软件之一,参与过完整的数据采集.整理.分析和建模工作。.具有海量数据下机器学习和算法实施相关经验,熟悉hadoop,hive,map-reduce等。
4. 数据算法工程师。
在企业中负责大数据产品数据挖掘算法与模型部分的设计,将业务场景与模型算法进行融合等;深入研究数据挖掘模型,参与数据挖掘模型的构建、维护、部署和评估,支持产品研发团队模型算法构建,整合等;制定数据建模、数据处理和数据安全等架构规范并落地实施。
需要具备的知识有:扎实的数据挖掘基础知识,精通机器学习、数学统计常用算法;熟悉大数据生态,掌握常见分布式计算框架和技术原理,如Hadoop、MapReduce、Yarn、Storm、Spark等;熟悉Linux操作系统和Shell编程,至少熟悉Scala/Java/Python/C++/R等语言中的一种编程;熟悉大规模并行计算的基本原理并具有实现并行计算算法的基本能力。
5. 数据产品经理。
数据平台建设及维护,客户端数据的分析,进行数据统计协助,数据化运营整理、提炼已有的数据报告,发现数据变化,进行深度专题分析,形成结论,撰写报告;负责公司数据产品的设计及开发实施,并保证业务目标的实现;进行数据产品开发。
需要具备的技能有:有数据分析/数据挖掘/用户行为研究的项目实践经验 ;有扎实的分析理论基础,精通1种以上统计分析工具软件,如SPSS、SAS,熟练使用Excel、SQL等工具; 熟悉SQL/HQL语句,工作经历有SQL server/My SQl等的优先 ;熟练操作excel,ppt等办公软件,熟练使用SPSS、SAS等统计分析软件其中之一 ;熟悉hadoop集群架构、有BI实践经验、参与过流式计算相关经验者加分 ;熟悉客户端产品的产品设计、开发流程 。

如果你是合格的大数据开发技术人员,那当然有高薪的工作,并不是说你学完了之后就一定有高薪工作的,那需要看你学习怎么样。

大数据

目前大数据培训相对其他培训项目要好就业,
因为其他语言还是技能培训都是有一定的市场基础的,
而大数据在最近两年才大力发展,并且在各领域蔓延,
因此所产生的人才缺口巨大,而在企业中真正对大数据技能比较强力的技术人才,又特别的少;
应用越来越广,技术人才却产生较慢,刚培训的人员,只能适应基本的软件操作和理论基础;
还达不到企业要完成复杂业务的技术需求;
所以培训入门快,拿薪资快,但只是一时,进入企业,不努力学习是跟不上发展与用人需求的。



我们知道大数据的火爆,知道大数据的就业前景好,但学习大数据能找什么工作呢?这个是很多学生的困惑。为学生提供了以下几个就业方向。

当前医疗行业、能源行业、通信行业、零售业、金融行业、体育行业等各行业都可以从其数据的采集、传输、存储、分析等各个环节产生巨大的经济价值,而提供大数据基础设施的企业、大数据软件技术服务的企业、行业大数据内容咨询服务的企业都将从大数据的广泛应用而得到迅速发展。
学习大数据可以从事很多工作,比如说:hadoop 研发工程师、大数据研发工程师、大数据分析工程师、数据库工程师、hadoop运维工程师、大数据运维工程师、java大数据工程师、spark工程师等等都是我们可以从事的工作岗位!不同的岗位,所具备的技术知识也是不一样的,需要从各个方向学习,逐个击破!
比如说:Hadoop开发工程师
你需要具备一下技术:
a. 基于hadoop、hive等构建数据分析平台,进行数据平台架构设计、开发分布式计算业务;
b. 应用大数据、数据挖掘、分析建模等技术,对海量数据进行挖掘,发现其潜在的关联规则;
c. 对hadoop、hive、hbase、Map/Reduce相关产品进行预研、开发;
d. 通过Hadoop相关技术解决海量数据处理问题、大数据量的分析。
e. Hadoop相关业务脚本的性能优化与提升,不断提高系统运行效率;
数据工程师
职责:
a. 分析各类用户不断变化的行为;
b. 预测各类营销对用户的影响,定位精准市场投放;
c. 帮助实现自动化监控平台。
Hadoop运维工程师
你需要具备以下技术知识:
a. 平台大数据环境的部署维护和技术支持;
b. 应用故障的处理跟踪及统计汇总分析;
c. 应用安全,数据的日常备份和应急恢复;
数据挖掘分析师
你需要具备以下技术:
a.对优先考虑的账户进行统计分析,从而更大限度的成功化。
b.与主管或客户端沟通行动计划,并找出需要改进的地方。
c.执行战略数据分析和研究,以支持业务需求。
d.找准机会从而用复杂的统计建模提高生产率。
e.浏览数据来认准机会并提高业务成效。
f.指定业务流程,目标和战略的理解,以提供分析和解释。
g. 针对内部讨论的理解,在适当情况下获得业务需求和必要的分析。
正所谓,术业有专攻,即使同为大数据技术,也是有不一样的,主要还是看自己感兴趣的方向!

1. 数据分析师。
数据分析师 是数据师的一种,指的是不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具,提取、分析、呈现数据,实现数据的商业意义。
作为一名数据分析师、至少需要熟练SPSS、STATISTIC、Eviews、SAS等数据分析软件中的一门,至少能用Acess等进行数据库开发,至少掌握一门数学软件如matalab、mathmatics进行新模型的构建,至少掌握一门编程语言。总之,一个优秀的数据分析师,应该业务、管理、分析、工具、设计都不落下。
2. 数据架构师。
数据架构师是负责平台的整体数据架构设计,完成从业务模型到数据模型的设计工作 ,根据业务功能、业务模型,进行数据库建模设计,完成各种面向业务目标的数据分析模型的定义和应用开发,平台数据提取、数据挖掘及数据分析。
从事数据架构师这个职位,需要具备较强的业务理解和业务抽象能力,具备大容量事物及交易类互联网平台的数据库模型设计能力,对调度系统,元数据系统有非常深刻的认识和理解,熟悉常用的分析、统计、建模方法,熟悉数据仓库相关技术,如 ETL、报表开发,熟悉Hadoop,Hive等系统并有过实战经验。
3. 数据挖掘工程师。
一般是指从大量的数据中通过算法搜索隐藏于其中知识的工程技术专业人员。这些知识可用使企业决策智能化,自动化,从而使企业提高工作效率,减少错误决策的可能性,以在激烈的竞争中处于不败之地。
成为数据挖据工程师需要具备深厚的统计学、数学、数据挖掘理论基础和相关项目经验,熟悉R、SAS、SPSS等统计分析软件之一,参与过完整的数据采集.整理.分析和建模工作。.具有海量数据下机器学习和算法实施相关经验,熟悉hadoop,hive,map-reduce等。
4. 数据算法工程师。
在企业中负责大数据产品数据挖掘算法与模型部分的设计,将业务场景与模型算法进行融合等;深入研究数据挖掘模型,参与数据挖掘模型的构建、维护、部署和评估,支持产品研发团队模型算法构建,整合等;制定数据建模、数据处理和数据安全等架构规范并落地实施。
需要具备的知识有:扎实的数据挖掘基础知识,精通机器学习、数学统计常用算法;熟悉大数据生态,掌握常见分布式计算框架和技术原理,如Hadoop、MapReduce、Yarn、Storm、Spark等;熟悉Linux操作系统和Shell编程,至少熟悉Scala/Java/Python/C++/R等语言中的一种编程;熟悉大规模并行计算的基本原理并具有实现并行计算算法的基本能力。
5. 数据产品经理。
数据平台建设及维护,客户端数据的分析,进行数据统计协助,数据化运营整理、提炼已有的数据报告,发现数据变化,进行深度专题分析,形成结论,撰写报告;负责公司数据产品的设计及开发实施,并保证业务目标的实现;进行数据产品开发。
需要具备的技能有:有数据分析/数据挖掘/用户行为研究的项目实践经验 ;有扎实的分析理论基础,精通1种以上统计分析工具软件,如SPSS、SAS,熟练使用Excel、SQL等工具; 熟悉SQL/HQL语句,工作经历有SQL server/My SQl等的优先 ;熟练操作excel,ppt等办公软件,熟练使用SPSS、SAS等统计分析软件其中之一 ;熟悉hadoop集群架构、有BI实践经验、参与过流式计算相关经验者加分 ;熟悉客户端产品的产品设计、开发流程 。

大数据分析师、大数据挖掘师/算法工程师、大数据工程师、大数据运维工程师、大数据仓库工程师、大数据产品经理、大数据架构师/资深大数据架构师,这些都是可以的,大数据是现在非常火的专业,前景非常好。

大数据专业主要学什么?
答:今年有20多所高校开设了大数据专业,很多人都听说过,但是大数据专业到底是什么,可以干什么,需要学什么,很多人对此都不了解,今天就来分享下大数据专业的干什么的内容。学完大数据专业可以干什么工作 1.大数据系统架构师 大数据平台搭建、系统设计、基础设施。技能:计算机体系结构、网络架构、编程范式、文件...

大数据都有哪些就业方向?
答:大数据是IT行业的新宠,前景好,薪资高,越来越多的人想要转行大数据,开始学习大数据,但是对于转型着来说,面对全新的行业,它的就业前景怎么样呢,学了大数据又能从事哪些工作呢?大数据行业人才稀缺,市场需求量大。目前大数据行业人才仅为50万,而实际上整个行业人才需求超100万,可谓人才缺口巨大。而且...

大数据学习都能干什么?
答:对于求职者来说,大数据只是所从事事业的一个方向,而职业岗位则是决定做什么事?大数据从业者/求职者可以根据自身所学技术及兴趣特征,选择一个适合自己的大数据相关岗位。下面为大家介绍十种与大数据相关的热门岗位。一、ETL研发 企业数据种类与来源的不断增加,对数据进行整合与处理变得越来越困难,企业迫切...

大数据学完出来都是干啥的,求讲解
答:大数据从就业来说,目前总共分为以下几个方向,各个方向的技能要求不一样,对应的岗位也有不同:1、大数据开发方向 大数据开发又分为平台开发和应用开发,平台开发对技术深度的要求很高,应用开发岗更多是基于开源框架来实现具体需求,在企业当中的需求比较普遍。开发岗包括Hadoop开发工程师、Spark开发工程师、...

大数据云计算学习完可以从事什么工作?
答:kafka消息队列、storm编程(storm编程、strom实时看板案例、storm高级应用)。完成第三阶段的学习,大家能够胜任Storm实时计算相关工作,包括ETL工程师、大数据开发工程师、Storm流式计算工程师等岗位。阶段四 :项目开发(strom日志告警、strom路由器项目开发)。了解了strom项目开发,大家能够胜任流计算开发工作,...

大数据方向学完,都可以从事什么岗位呢?
答:大数据学习职业路线:大数据运维和云计算:大数据运维工程师等:熟知大数据生态圈,完成大数据平台的开发与运行稳定,相关技术点Linux,hadoop,Python,Redis等。大数据离线开发技术:大数据工程师、大数据开发工程师、大数据离线开发工程师:学习掌握大数据相关框架,如MR,HDFS,Yarn,Hive,spark等 大数据实时处理...

学完大数据可以做什么
答:目前各处都在讨论大数据前景如何好,大数据就业机会如何多,很多人都对大数据这个行业充满了向往。但是可能大多数人都不清楚大数据学出来后究竟能做什么?大数据行业到底有些什么岗位?目前在国内来说,大数据行业大概有以下几种岗位:数据分析师,数据架构师,数据挖据工程师,数据算法工程师,数据产品经理。

学大数据之后能做什么工作?
答:大数据工程师:运用编程语言实现数据平台和数据管道开发,需要计算机编程能力 数据架构师:高级算法设计与优化;数据相关系统设计与优化,有垂直行业经验最佳,需要平台级开发和架构设计能力 比较多人选择的是:数据分析师 数据分析师在企业中发挥的价值在于能够利用已有的数据资料(一手或二手的)进行观测,实验,...

大数据能做什么?哪些领域会使用到大数据呢?
答:如果你是合格的大数据开发技术人员,那当然有高薪的工作,并不是说你学完了之后就一定有高薪工作的,那需要看你学习怎么样。大数据 目前大数据培训相对其他培训项目要好就业,因为其他语言还是技能培训都是有一定的市场基础的,而大数据在最近两年才大力发展,并且在各领域蔓延,因此所产生的人才缺口巨大,而...

大数据云计算学习完可以干什么?
答:大数据云计算学习完可以进行相关的工作。如需学习大数据云计算,推荐选择【达内教育】,该机构与多家企业签订人才培养协议,全面助力学员更好就业。【大数据云计算】就业具体如下:大数据的核心就是数据的抓取与分析,而分析环节,目前离不开人工设置变量,建立模型。大数据分析对人才的要求很高。首份大数据发展...