大数据行业经过几年的发展和沉淀,大数据项目岗位细分领域已经趋于完善,本文主要探讨在大数据分析这个领域,通过爬虫爬取各个招聘网站的相关数据,对细分岗位进行深入分析。
此次分析结果呈现经历三个阶段:
1. 细分查询目标
2. 确定数据源获取范围
3. 数据清洗、准备
· 数据源获取的比例,分别来自拉勾、智联、51job等等网站,如下如:
· 每一个细分岗位进行分析
基于业务,通过数据分析手段发现和分析业务问题,为决策作支持
数据分析|定义:数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
数据分析|岗位描述:
数据分析|爬取数据整理:所有数据存放在excel,见下图
数据分析|词云统计:
数据分析|具体技能要求:
偏技术,通过建立模型、算法、预测等提供一些通用的解决方案,当然也有针对某业务的
数据挖掘|定义:数据挖掘是通过分析每个数据,从大量数据中寻找其规律的技术,主要有数据准备、规律寻找和规律表示3个步骤。数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。
数据挖掘|岗位描述:
数据挖掘|爬取数据整理:存放在excel
数据挖掘|词云统计:
数据挖掘|具体技能要求:
跑数据,跑数据,跑数据
算法工程师|定义:
1、研究新算法或者在现有算法的基础上做优化。这时需要读一些研究论文,并针对自己所面对的应用场景,做专门的新型算法研究及对现有算法进行改进。
2、工程开发:将构建的算法通过代码实现,在数据集上进行测试,检验效果。
3、算法调整、参数调优。对于大部分的算法,构建好模型、代码实现只是最初的一步,更多的工作量是在对算法模型进行调整、参数进行调优,从而可以使得自己构建的算法可以更加匹配你所分析的数据,达到最优的效果。
算法工程师|岗位描述:
算法工程师|爬取数据:存放excel
算法工程师|词云统计:
算法工程师|具体技能要求:
大数据分析师|定义:基于各种分析手段对大数据进行科学分析、挖掘、展现并用于决策支持的过程,大数据分析师就是从事此项职业的从业人员称呼。大数据分析师可以使企业清晰的了解到企业现状与竞争环境,风险评判与决策支持,能够充分利用大数据带来的价值,在进行数据挖据与展现后,呈现给企业决策者的将是一份清晰、准确且有数据支撑的报告。
大数据分析师|岗位描述:
大数据分析师|爬取数据:存放excel
大数据分析师|词云统计:
大数据分析师|具体技能要求:
看了详细的对比图文,是不是对这四个岗位的认知更加清晰一点了呢w
更多图文对比分析欢迎关注微信号成都科多大数据,你想了解的,这里都有哦。