随着计算机存储技术的发展,各行各业(包括金融证券保险、游戏、咨询、医疗、能源、通信、零售、体育等)都可以从其大数据的采集、传输、存储、分析等各个环节产生巨大的经济价值,如此巨大的数据需要专业的人士去发现以及挖掘出有用的信息,给企业各个层面提供技术支持和决策引导,数据分析师应运而生。目前市场上合格的
大数据分析人才稀缺,所以
大数据分析师的薪资非常高,进入行业越早的
大数据分析师,随着实践经验的增加,身价越来越高。
职业发展与薪资
数据分析师的发展方向概括下来有两个:一个方向是业务分析师(偏业务分析),另一个方向则是数据挖掘工程师(偏数据挖掘建模)。
业务分析师
业务分析师一般从业务的角度出发,为公司的其他部门(比如:运营、产品等)提供业务方面的数据服务,具体内容如下:
报表开发:其他业务部门(如运营部、产品部等)会提一些需求过来,需要数据分析师帮他们做一下常规的日报、周报、月报等;
数据监控:数据部门经常会根据业务需求,对关键性的指标进行监控(如活跃度指标、转化率指标、留存率等指标),监控不是问题,问题是数据出现波动后的查因及解决方案;
数据化运营:说白了就是让数据指导运营决策、驱动业务增长。需要将数据分析师与一线运营者的各自优势进行搭配,实现数据功效的最大化;
输出分析报告:需要数据分析师根据目标项目,整理出一系列相关的分析报告,包括可视化的数据展现、问题的原因、可执行的行动方案、预期的效果等等。
对于数据分析师而言,以上的工作绝大多数通过Excel和SQL查询语句就能搞定了。最关键的是数据分析思维和业务的理解,每个人所展现出来的能力都会有所区别和高低,关于这方面的培养可以多跟公司的运营部门同事交流、查看运营相关的书籍或者与有经验的数据分析师进行探讨等。
数据挖掘工程师
对于数据挖掘工程师而言,更多的则是根据不同的技术性项目(如何实现动态定价、如何预判某个事件的好坏、如何识别出不同价值的客户等)来完成挖掘相关工作,甚至有时并不需要对数据业务非常的熟悉。对于数据挖掘来说,具体有以下这些流程步骤:
明确问题:在进行一项数据挖掘项目之前,首先需要明确待解决的问题是什么?这个问题是否可以通过挖掘技术(预测、分类、聚类、关联、推荐等)解决;
数据抽取:一旦明确了问题需求,就需要查找跟问题相关的数据,即从数据库中抽取出解决问题的支撑数据、甚至是结合第三方数据(数据共享、爬虫、合作等);
数据清洗:由于现实中的数据存在异常、缺失、量纲不一致、口径不一致等问题,需要提高数据质量,否则算法再优秀,结果也是有问题的;
特征工程:在干净的数据基础上还需进一步完成特征的提取,目的是降低模型复杂度的同时下找到影响问题的核心变量(因素);
建模:根据问题类型(预测型、分类型等)选择合适的模型(同类问题不同模型的试算对比)进行拟合;
模型验证:模型建好后,接下来就是要验证模型在样本外的表现如何了,一定要避免模型出现过拟合或欠拟合的状态;
迭代及部署:整个步骤都是一个迭代的过程,因为数据在变动,模型也会跟着变动,通过不断迭代找到最理想的模型然后实现线上的部署工作;
在这些过程当中,绝大多数时间都会花费在数据抽取、清洗和特征提取上,而后面的建模、验证和部署则是水到渠成的事了。再一次强调,如果选择数据挖掘这个方向的话,必须具备强悍的数学功底和编程技术。
技能要求
入行数据分析师还是需要一些基本技能的,例如Excel技能、数据库操作(MySQL/SQL Server/Oracle/Hive等)、Tableau可视化、R或Python的编程能力等。下图是一家互联网企业发布的数据分析师的任职要求,可以看得出数据分析师岗位对于分析软件有着有多样性要求,单纯熟练某一种软件在工作选择时可能会受到限制。
这些都是企业在招聘数据分析师时提到最多的“任职资格”,其实这也都是技能门槛。如果这些你还没有接触过,可以在准备入行前花1~6个月去充充电,可以选择闭关修炼、或观看学习视频、或挑选口碑比较好的全日制班、周末培训班。