大数据工程师
大数据工程师可以从事对大量数据的采集、清洗、分析、治理、挖掘,并对这些数据加以利用、管理、维护和服务的相关技术工作。
2020年05月15日,国家邮电通信人才交流中心印发了《关于开展大数据工程师专业技术等级考试的通知》(邮电人才【2020】15号),这标志着我国大数据工程师专业技术等级考试制度的建立,该文件明确将推动提高大数据专业技术人员理论与技能水平。
大数据开发工程师是做什么的?岗位要求高吗?大数据开发工程师要负责数据仓库建设、etl开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等工作内容。熟练掌握数据仓库、hadoop生态体系、计算及二次开发、大数据平台工具的开发:开发平台、调度系统、元数据平台等工具,该岗位对于技术要求较高。
大数据开发工程师的岗位要求有哪些:
1、本科以上学历,计算机相关专业,对数据处理、数据建模、数据分析等有深刻认识和实战经验
2、熟悉hivesql语言,熟悉shell, python等脚本语言
3、有hadoop、spark、flink等大数据平台的使用经验
4、有数据仓库建设、商业数据分析、增长项目经验
5、java/scala至少熟练使用一种
6、熟练掌握hadoop及map-reduce应用开发,熟练掌握hbase、hive、storm、spark等大数据开发工具
7、熟悉至少一种实时计算引擎 storm,sparkstreaming, flink, 对hadoop生态其他组件有一定了解,比如 hbase, hadoop, hive, druid等
熟悉hadoop/spark/hive/hbase等大数据工具,主导过大型数据平台建设者优先;
9、精通sql,熟悉常用的关系型数据库、非关系性数据库和数据仓库,具有sql性能优化经验;
9、了解微服务开发理念、实现技术,熟悉常见设计模式,熟练掌握ssh开发框架,熟练进行java、python代码编写,熟悉多线程编程
10、有hadoop/hive/spark/storm/zookeeper 等相关开发经验或从事分布式相关系统的开发工作
11、熟悉linux/unix系统和丰富的java开发经验
12、3年以上企业级数据仓库开发经验,有大规模集群应用开发经验优先
13、熟悉数据仓库理论,具备复杂业务需求梳理能力
14、熟练sql开发,精通mysql等关系型数据库
15、熟悉linux系统,具备shell、python等脚本开发能力者优先
16、学习能力强,喜欢研究开源新技术,有团队观念,具备独立解决问题的能力,具备扎实的计算机理论基础, 对数据结构及算法有较强的功底
详解中国电信5G技术白皮书,5G网络总体演进原则及策略
欧洲首款3D打印汽车登场,采用电动四轮,世俗可达70Km
【金升阳直播】EMC设计与风险评估
无人驾驶中多通道雷达系统设计
FPGA自动化测试难度凸显
大数据工程师
基于FPGA原型验证系统的图像处理解决方案
通孔与表面贴装:有什么区别?
浅谈自动驾驶中传感器的仿真
批量漏洞挖掘工具安装教程
人工智能与文娱行业结合,编曲者或将可以歇业了
SpaceX计划2月份进行星际飞船系统第三次飞行测试
机器人实时定位方案的介绍
HoloRide推出可以防止晕车的虚拟现实技术
机智云Gokit3.0源代码分析之协议结构体的定义
禾赛科技AT128获国际顶级OEM激光雷达量产定点,加速拓展全球ADAS市场
IMAX首席业务拓展官:看重中国用户的体验
电化学合成多维纳米硅用于锂离子电池负极材料
EDA处于芯片产业链的最上游,是芯片设计和生产的必备工具
华亚智能新产品MOCVD系列进入量产阶段