《大数据产业人才岗位能力要求》T/MIITEC 006-2021

大数据产业人才岗位能力要求

Big Data Industrial Talents Competency Framework

目    次

1  范围

2  规范性引用文件

3  术语和定义

4  大数据主要方向及岗位

• 主要方向
• 主要岗位及职责

5  大数据产业人才岗位能力要素

6  大数据产业人才岗位能力要求

• 大数据预处理岗位能力要求
• 大数据标注岗位能力要求
• 大数据分析岗位能力要求
• 大数据产品开发岗位能力要求
• 大数据项目实施与运维岗位能力要求
• 大数据平台建设岗位能力要求
• 大数据安全岗位能力要求
• 大数据管理岗位能力要求
• 大数据运营与应用岗位能力要求
• 大数据咨询服务岗位能力要求

附录A（资料性附录） 大数据产业人才岗位能力提升

1. 大数据产业人才岗位能力提升内容
2. 大数据产业人才岗位能力提升阶段和方式
3. 大数据产业人才岗位能力提升活动供给类别

附录B（资料性附录） 大数据产业人才岗位能力评价

1. 大数据产业人才岗位能力评价方法
2. 大数据产业人才岗位能力评价等级
3. 大数据产业人才岗位能力等级评价权重

参考文献

引      言

大数据是新一轮科技革命和产业变革的重要驱动力量，是构建数字社会和数字经济的核心基础，是塑造国家竞争力的重要抓手。“十三五”期间，我国确立大数据发展战略，将大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新。“十四五”规划纲要对数字中国建设做出顶层设计，提出“打造数字经济新优势、加快数字社会建设步伐、提高数字政府建设水平、营造良好数字生态”。

自“十三五”时期起，基于海量数据资源和丰富应用场景的先天发展优势以及国家大数据战略支持，我国大数据生态体系逐步完善，大数据技术与产业得到长足发展，市场规模不断扩大，社会影响力不断提高。要实现大数据产业高质量发展，加快建设实体经济、科技创新、现代金融、人力资源协同发展现代产业体系，大数据产业人才是不可或缺的资源。加快培养发展一大批兼顾大数据技术和行业经验的复合型人才是我国从“数据大国”迈向“数据强国”的关键。但是，当前大数据人才队伍建设滞后产业发展，存在人才结构性短缺、人才质量良莠不齐等问题。因此，建立以产业需求为导向、岗位能力需求为基础的大数据产业人才标准是推进我国大数据产业人才队伍建设的重要举措之一。

本标准立足大数据产业技术体系及大数据企业实际岗位需求，围绕大数据数据预处理、数据标注、数据分析、产品开发、项目实施与运维、平台建设、数据安全、数据管理、运营与应用、咨询服务等10个方向，梳理出31个具体岗位的能力要求。该标准为加快大数据人才需求侧与人才培养供给侧有效对接提供支撑，为企业人才遴选招聘、院校大数据学科建设、社会培训、人才评价、人才服务提供指导参考。

大数据产业人才岗位能力要求

T/MIITEC 006-2021

1  范    围

本标准规定了大数据主要方向岗位能力要求。

本标准适用于指导各单位开展大数据领域人才培养、人才评价、人才招聘、人才引进等工作。

2  规范性引用文件

下列文件对于本文件的应用是必不可少的。

• GB/T 35295-2017 《信息技术 大数据 术语》
• GB/T 35589-2017《信息技术 大数据 技术参考模型》
• GB/T 36073-2018 《数据管理能力成熟度评估模型》
• T/MIITEC 004-2020 《工业和信息化人才岗位能力评价通则》

3  术语和定义

下列术语和定义适用于本文件。

3.1  大数据 big data

具有体量巨大、来源多样、生成极快、且多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。

[来源：GB/T 35295-2017 《信息技术 大数据 术语》，2.1.1]

3.2  非结构化数据 unstructured data

不具有预定义模型或未以预定义方式组织的数据。

[来源：GB/T 35295-2017，2.1.25]

3.3  大数据生存周期模型 lifecycle model for big data

用于描述大数据的“数据—信息—知识—价值”生存周期和指导大数据相关活动的模型;这些活动主要由收集、准备、分析和行动等阶段覆盖。

[来源：GB/T 35295-2017 《信息技术 大数据 术语》，2.1.26]

3.4  数据挖掘 data mining

从大量的数据中通过算法搜索隐藏于其中信息的过程。

[来源：GB/T 35295-2017，2.2.9]

3.5  数据预处理 data preprocessing

包括数据验证、 清洗、 标准化、 格式化和存储。

[来源：GB/T 35589-2017《信息技术 大数据 技术参考模型》，7.3.3]

3.6  数据处理 data processing

数据操作的系统执行。

[来源：GB/T 35295-2017 《信息技术 大数据 术语》，2.2.2]

3.7  数据管理 data management

在数据处理系统中, 提供对数据的访问, 执行或监视数据的存储, 以及控制输入输出操作等功能。

[来源：GB/T 35295-2017 《信息技术 大数据 术语》，2.2.3]

3.8  大数据服务 big data service

基于大数据参考体系结构提供的数据服务。

[来源：GB/T 35295-2017，2.1.15]

4  大数据主要方向及岗位

4.1  主要方向

根据大数据技术体系及对人才的需求，本标准围绕数据预处理、数据标注、数据分析、产品开发、项目实施与运维、平台建设、数据安全、数据管理、运营与应用、咨询服务等10个方向对人才的岗位能力进行说明。

4.2  主要岗位及职责

本标准主要涉及以下大数据岗位，具体如表1所示。

表1  大数据各方向主要岗位及职责

表1 大数据各方向主要岗位及职责

5  大数据产业人才岗位能力要素

本标准从综合能力、专业知识、技术技能、工程实践能力四个维度提出了大数据产业人才岗位能力要素。

表2  大数据产业人才岗位能力要素列表

表2 大数据产业人才岗位能力要素列表

6  大数据产业人才岗位能力要求

6.1  大数据预处理岗位能力要求

6.1.1 数据采集工程师

a）综合能力

1. 熟悉大数据采集汇聚技术体系及其发展趋势；
2. 熟悉典型应用场景下大数据采集的解决方案和流程；
3. 具备良好的沟通表达及团队合作能力；

b）专业知识

1. 熟悉典型文件采集、日志采集、消息采集、DPI采集原理及方案；
2. 熟悉网络协议，如TCP/IP、FTP、HTTP等技术原理，了解COAP、MQTT等物联网协议技术原理；
3. 熟悉HTML技术、正则表达式及爬虫原理；
4. 熟悉多进程/多线程并发处理及容器化技术；
5. 熟悉大数据采集相关的标准与规范知识、有关法律法规以及行业准则；

c）技术技能

1. 熟悉标准SQL语言，熟练至少一种常用关系型数据库，如MySQL、PostgreSQL等；
2. 熟悉至少一种常用编程语言，如Python、GO、Java等，具备编程基本技能及良好的代码编写习惯；
3. 熟悉网页爬取技术，熟练使用Scrapy等常见爬虫框架，并且可做二次开发；
4. 熟悉ELKB日志采集分析方案，熟练使用如Logstash、Beats等常见日志采集工具；
5. 熟悉如Kafka、Flume、RocketMQ、RabbitMQ等消息队列方案，为不同类型的大数据计算框架提供数据汇聚；
6. 熟悉至少一种NoSQL数据库、分布式文件系统、ETL工具，如MongoDB、HDFS、Sqoop等；

d）工程实践

1. 具备日志分析、网页数据爬取、数据库数据采集、传感器或移动终端数据采集等典型业务场景下数据采集方案的设计和开发经验；
2. 具备良好的项目方案及技术文档编制能力；
3. 具备典型业务场景下数据采集系统的建设、实施、运维经验。

6.1.2 数据清洗工程师

a）综合能力

1. 熟悉数据治理体系、数据质量控制、数据稽核方法，以及行业发展趋势；
2. 具备良好的沟通能力和表达能力，善于学习和归纳，能够独立开展业务调研、规范制定、流程设计、报告编写工作；
3. 具备良好的协调能力和合作精神，善于配合开展数据采集、加工、存储、分析工作；

b）专业知识

1. 掌握统计学、应用数学相关知识，了解数据分析常用手段及其数学原理；
2. 熟悉常见的数据清洗方法和流程；
3. 熟悉常见的数据预处理方法，如数据转换、平滑处理、规范化处理和数据脱敏的方法和原则；
4. 掌握管理学知识、工程统筹知识，熟悉人机协作计划制定的关键要素；
5. 掌握常用数据库的管理和使用方法、常用数据库间数据传输技术，掌握标准SQL语言；
6. 了解数据质量相关的标准与规范知识；

c）技术技能

1. 熟悉使用编程语言或清洗工具进行数据清洗，如Java、Python、Kettle等；
2. 熟悉Hadoop生态组件，如Hive、HDFS、HBase、Spark、Storm、Flume、Kafka等；
3. 熟悉标准SQL语言，能熟练使用和管理常用数据库；
4. 熟悉至少一种主流NoSQL数据库，熟悉至少一种主流关系型数据库；
5. 熟悉Linux，能熟练使用Shell、Python等脚本语言，并编写自动化脚本；
6. 熟练运用统计方法进行数据统计；

d）工程实践

1. 具备数据仓库建模、设计ETL数据抽取流程、设计任务调度、制定维护作业计划、按照数据存储结构进行数据清洗的经验；
2. 具备设计稽核点的经验，能合理设计稽核逻辑，完成完整性、一致性、及时性、准确性稽核；
3. 具备相当的文档撰写能力，能够完成系统运维文档、维护作业计划、应急处理方案等文档的编写。

6.1.3 数据存储工程师

a）综合能力

1. 熟悉典型应用场景下大数据存储需求及问题解决的方案；
2. 具备良好的学习能力，能够跟踪大数据存储技术发展趋势；
3. 具备良好的沟通能力和表达能力；

b）专业知识

1. 熟悉大数据存储分类、存储方式、处理特性、数据库数据模型、数据库存储与处理架构等相关知识；
2. 熟悉分布式文件系统HDFS基础知识、熟悉NoSQL数据库，如列数据库Hbase、文档型数据库MongoDB、键值数据库Redis等的相关技术原理和运行机制；
3. 熟悉关系数据库概念、原理和应用场景；
4. 了解云数据库的概念、基本原理和代表性产品的使用方法；
5. 了解大数据安全存储方法；

c）技术技能

1. 熟悉常见分布式文件系统，如HDFS、FastDFS等系统的操作和使用；
2. 熟悉列数据库HBase、文档型数据库MongoDB、键值数据库Redis等NoSQL数据库的部署及使用；
3. 熟悉标准的SQL语言，熟练使用常用关系数据库如Oracle、MySQL等；
4. 熟悉常用的数据库中间件如Hibernate、Mango、Cobar等的部署及应用；
5. 熟悉一种主流编程语言、脚本语言、大数据相关编程语言，具备较强的编码能力和良好的代码编写习惯；
6. 能够制定多副本存储，数据备份和恢复数据备份，故障恢复与迁移故障恢复方案；

d）工程实践

1. 具备相当的大数据存储需求分析与存储架构设计经验；
2. 具备相当的大数据项目相关数据库部署经验。

6.2  大数据标注岗位能力要求

6.2.1 标注采集工程师

a）综合能力

1. 了解人工智能产业发展趋势；
2. 了解数据标注典型业务场景和业务流程；
3. 具备良好的沟通表达及团队合作能力；
4. 熟悉人工智能数据相关的需求和定义，掌握解析、采集项目需求文档的能力；

b）专业知识

1. 熟悉数据采集作业的规范和操作流程；
2. 了解常见数据类型采集所需的专业设备及型号；
3. 掌握数据采集相关知识，了解数据标注工具组件功能；
4. 掌握人工智能、深度学习、语音识别、计算机视觉、自然语言理解等基础知识和原理；
5. 深入了解数据标注规范及质检标准；

c）技术技能

1. 掌握合法合规获取人工智能数据的渠道和方法；
2. 掌握专业采集环境及工具（含硬件）的搭建和调配；
3. 掌握复杂场景或专业领域的数据采集任务技能，且数据质量满足规范要求；
4. 掌握特定需求下的数据采集场景搭建能力；
5. 能够熟练应用数据采集软件，具备对于指定数据采集设备应用的快速学习能力；
6. 能够独立完成采集工具部署以及采集脚本开发准备；

d）工程实践

1. 具备完成通用领域，不涉及专业采集设备的简单数据和复杂数据采集任务的能力；
2. 具备完成复杂场景或专业领域的数据采集任务的能力，如3D点云采集、3D人脸采集等。

6.2.2 数据标注工程师

a）综合能力

1. 了解人工智能产业发展趋势；
2. 了解数据标注典型业务场景和业务流程；
3. 具备良好的沟通表达及团队合作能力；
4. 熟悉人工智能数据相关的需求和定义，掌握解析、标注项目需求文档的能力；

b）专业知识

1. 掌握人工智能基础知识和原理；
2. 熟悉数据标注作业的架构体系和操作流程；
3. 熟悉数据标注工具组件功能；
4. 了解数据标注的工作内容，使用范围及形式，熟悉各项标注类型；
5. 掌握数据标注规范及质检标准；

c）技术技能

1. 具备解析标注项目需求文档的能力；
2. 熟练使用人工智能数据标注工具和平台；
3. 掌握复杂场景、专业领域的数据标注能力，且标注数据质量满足规范要求；
4. 熟悉Windows、Linux等常见操作系统、常用办公软件；
5. 具备保密条件下的数据标注能力；

d）工程实践

1. 具备完成通用领域简单数据标注任务的能力，如图像标框、视频切割标注、语音切分标注、中文朗读普通话转写标注和中文实体名标注等；
2. 具备完成通用领域复杂数据标注任务的能力，如人脸106点关键点标注、视频人体追踪标注、方言识别标注、文本相关性判断标注等；
3. 具备完成复杂场景或专业领域的数据标注任务的能力，如图文混合标注、3D点云标注、航空语音标注等。

6.2.3 标注质检工程师

a）综合能力

1. 了解采集和标注数据的典型应用场景；
2. 掌握解析采集和标注项目需求文档的能力；
3. 具备总结提炼能力，能够将工作实践上升为理论与经验；

b）专业知识

1. 掌握人工智能、深度学习、语音识别、计算机视觉、自然语言理解等基础知识和原理；
2. 熟悉质检审核作业操作规范和流程；
3. 掌握样本抽样检测知识，能够合理设计有效质检方案；

c）技术技能

1. 熟练应用数据标注工具进行在线数据审核与修改；
2. 掌握各类数据格式，能够实现对数据交付技术参数的检查；
3. 掌握复杂场景和专业领域内的数据质量要求、评判标准和质检/验收流程，具有拟定验收标准的能力；
4. 能够完成项目质检，对已有的质量问题提供改善方案，并对验收结果负责；

d）工程实践

1. 具备全类型数据标注结构审核与修改经验；
2. 具备根据项目需求，完成相应的质检任务并按照流程反馈质检结果的能力；
3. 具备完成复杂场景或专业领域的数据标注项目质检能力。

6.2.4 标注管理工程师

a）综合能力

1. 了解人工智能产业发展趋势；
2. 了解数据标注典型业务场景和业务流程；
3. 具备大项目、项目集管理与沟通能力；
4. 能够建立清晰的项目数据集管理机制；

b）专业知识

1. 掌握项目管理相关知识；
2. 了解数据定制服务的报价规则；
3. 了解工期管控和精准预测的方法；
4. 掌握人工智能数据生产工艺流程；

c）技术技能

1. 熟悉项目环境，能够针对不同标注项目制定特定标注流程、配置对应工具模板；
2. 熟悉项目范围管理，能够使用标注工具和平台执行在线任务分配；
3. 具备项目风险管理能力，能够制定项目计划，管控项目资源，控制项目整体风险；
4. 熟悉项目约束，能够把握项目进度、质量与成本间的平衡关系，合理控制项目变更；
5. 熟悉项目文档管理，能够完成项目交付文档，汇报项目整体进展，总结项目实践经验；

d）工程实践

1. 具备丰富的数据采集、标注、质检项目经验；
2. 熟悉项目操作规范和流程，具备组建与带领团队的组织协调经验，完成数据采集、标注任务，且数据质量满足规范要求。

6.3  大数据分析岗位能力要求

6.3.1 数据算法工程师

a）综合能力

1. 熟悉大数据算法演进及其演化趋势，具备典型业务场景下的算法应用能力；
2. 具备优秀的抽象建模能力、逻辑思维能力，独立将现实问题转化为数学模型；
3. 具备良好的沟通技巧和推动能力，能够正确理解业务需求，并能够选择合适的算法方案；

b）专业知识

1. 熟悉数据结构与算法，熟悉概率论、数理统计、线性代数、随机过程、最优化理论等相关基础知识；
2. 熟悉折半、倍增、搜索、分治、贪心、暴力、构造等基础算法；
3. 熟悉常见的机器学习和深度学习模型、原理和应用场景；
4. 掌握大数据生命周期管理方法；
5. 熟悉大数据平台基础知识及相应的大数据算法运行环境及其并行算法框架；

c）技术技能

1. 了解一种或多种主流深度学习框架，如TensorFlow、PyTorch、MXNet、Caffe、Theano等，具备根据实际应用场景设计算法和算法调优的能力；
2. 熟悉MATLAB等仿真工具，熟悉数据分析工具SAS、SPSS等的使用；
3. 熟悉Hadoop生态组件，如Hive、HDFS、HBase、Spark、Storm、Flume、Kafka等；
4. 熟悉Oracle、MySQL、SQL Server等关系型数据库及相应的数据库中间件，熟悉标准SQL语言使用；
5. 熟悉使用Java、C++、Scala、Python、R等编程语言，具备扎实可靠的编程能力及良好的代码编写习惯；
6. 熟悉Hadoop、Spark、Storm、Flink等常见的大数据计算框架；

d）工程实践

1. 具备相当的大数据算法分析研发经验；
2. 具备相当的大数据算法优化经验。

6.3.2 数据挖掘工程师

a）综合能力

1. 熟悉大数据下数据挖掘各方法体系及其应用领域的现状和发展趋势；
2. 掌握典型的数据分析与数据挖掘的任务场景和问题解决过程；
3. 掌握数据分析思维方法，善于沟通并充分理解需求；
4. 掌握良好的业务建模能力，能够协调数据团队、业务团队协同工作；

b）专业知识

1. 熟悉数据结构与算法，熟悉概率论、数理统计、线性代数、随机过程、最优化理论等相关基础知识；
2. 掌握常见数据挖掘算法的原理和应用，如分类算法、聚类算法、回归算法、关联分析算法、特征工程算法；
3. 熟悉数据采样、数据透视、数据集成、缺失值处理、异常值检测、异常值处理、标准化等数据预处理方法；
4. 了解多层感知机、卷积神经网络、循环神经网络、生成式对抗网络等深度神经网络的原理和应用；

c）技术技能

1. 熟练使用Pandas、Numpy、Matplotlib、Scikit-learn等数据处理与挖掘算法包；
2. 掌握数据库的原理和标准SQL语言的使用；
3. 掌握交互式数据挖掘分析工具Orange Dataming的使用；
4. 掌握大数据平台下的Spark SQL查询语句和Spark MLlib机器学习框架；
5. 了解至少一种深度学习算法框架，如Tensorflow、PyTorch、飞桨等；

d）工程实践

1. 具备相当的工程应用能力，能够权衡并解决工程应用中的性能、安全、隐私、成本等问题；
2. 具备相当的文档撰写能力，能够撰写分析报告以及应用开发方案等。

6.3.3 数据分析工程师

a）综合能力

1. 熟悉大数据分析技术体系及其发展趋势；
2. 熟悉典型应用场景下大数据分析的需求场景和解决方案；
3. 具备良好的沟通能力和表达能力，善于进行数据分析成果的推广和辅助决策；

b）专业知识

1. 熟悉统计学、应用数学相关知识，了解数据分析常用手段及其数学原理；
2. 掌握数据结构、数据库、数据建模、数据挖掘、数据分析等知识；
3. 掌握数据分析常见分类、基本原理与常见数据分析方法；
4. 掌握基本数据分析方法和高级数据分析方法，如数据统计分析与特征描述、数据相关性分析、分类分析、回归分析、聚类分析、异常检测、离群点分析等；
5. 了解大数据分析相关的标准、规范知识以及有关法律法规；

c）技术技能

1. 掌握常用于统计分析、交互式分析、批处理分析和实时流分析等的数据分析工具，如SAS、SPSS、Hive SQL/Spark SQL等；
2. 熟悉至少一种主流编程语言、脚本语言和大数据相关编程语言，如Java、Python、Scala等，具备编程基本技能及良好的代码编写习惯；
3. 熟悉主流NoSQL数据库，如Hbase、Kudu、Redis、MongoDB等，熟悉至少一种主流关系型数据库，如Oracle、SQL Server、MySQL等；
4. 熟悉SQL、HQL等数据库编程语言及相关管理工具，熟悉脚本语言开发和优化提升；
5. 熟悉Hadoop、Spark、Storm、Flink等常见的大数据计算框架；

d）工程实践

1. 具备较强的典型业务场景下的数据敏感性和分析能力，有能力选择适合的数据分析方法；
2. 具备较强的大数据项目分析经验；
3. 具备一定的大数据分析环境搭建经验。

6.3.4 数据可视化工程师

a）综合能力

1. 熟悉大数据下数据可视化相关技术和方法的应用领域和发展趋势；
2. 掌握常见业务场景下的数据可视化方案；
3. 掌握数据分析思维方法和一定的美学设计原则；
4. 掌握利用数据可视化技术解决具体问题的方法；

b）专业知识

1. 掌握数据可视化的含义、作用和基本流程，熟悉数据可视化基本工具和数据可视化科学研究工具的类型和应用领域；
2. 掌握OLAP方法的定义及应用，掌握数据多维分析方法的原理；
3. 掌握常用的数据统计分析方法，掌握常用统计指标的含义及用法；
4. 掌握商业场景数据分析与可视化理论和方法；
5. 掌握Java服务端开发框架，包括Spring Boot、JPA、Spring Security等；
6. 掌握JavaScript面向对象的思想以及MVVM的前端开发理论；

c）技术技能

1. 精通数据库的原理和标准SQL语言的使用；
2. 精通一款商业级可视化分析工具或图表制作工具；
3. 精通Hive、HBase、Spark SQL、MongoDB等NoSQL数据库应用与查询优化；
4. 精通至少一门应用数据开发语言，如Java语言、Python语言等；
5. 理解并掌握JavaScript语言核心技术，如DOM、BOM、Ajax、JSON等；
6. 熟练常见前端框架及工具库，如 Webpack、js、jQuery、RequireJs；
7. 熟悉常见网页前端数据可视化技术，如Echarts、Highcharts、js等；

d）工程实践

1. 具备相当的业务需求分析能力，能够发现数据可视化分析的目标问题；
2. 具备相当的数据可视化技术应用能力，能够完成数据可视化分析过程；
3. 具备相当的文档撰写能力，能够撰写数据分析报告，并提出业务问题的解决方案；
4. 具备一定的产品设计能力，研究并持续改善产品的质量、性能和用户体验。

6.4  大数据产品开发岗位能力要求

6.4.1 数据产品架构工程师

a）综合能力

1. 具备较强的学习能力，能够跟进大数据产品架构技术发展趋势；
2. 熟悉典型的大数据业务场景，掌握大数据产品架构方法；
3. 具有责任感和团队意识，能够推动大数据产品开发落地；

b）专业知识

1. 熟悉分布式系统的基础知识和架构体系；
2. 掌握大数据分布式架构理论、设计原则、常见架构等相关知识；
3. 掌握大数据相关技术，熟悉大数据典型业务流程、应用方式，熟知大数据架构设计中部署架构、安全架构相关规范及设计实现的要求；
4. 熟悉我国现行的大数据标准体系，熟悉大数据架构相关技术分类、技术标准，能够按照相关标准规范设计和实施大数据架构；
5. 熟悉大数据主流技术，如大数据开发技术、分布式技术、数据仓库技术、缓存技术、大数据安全相关技术等，熟知相关技术的原理、特点、应用方式；

c）技术技能

1. 熟悉分布式技术如分布式消息、分布式计算、分布式存储、分布式监控、分布式版本控制、微服务及容器技术的使用场景和常用工具；
2. 熟悉大数据产品微服务架构环境，如OpenStack、Docker、Kubernetes、Istio等；
3. 掌握基于ToGAF架构方法展开业务架构、应用架构、技术架构、数据架构、部署架构、安全架构，且能够根据具体业务场景及需求设计并实施架构；
4. 熟悉大数据架构所需的实时性、可靠性、一致性等核心指标及实现方案；
5. 熟悉至少一种主流编程语言、脚本语言、大数据相关编程语言，如Java、Python、Scala等，具备较强的编码能力和良好的代码编写习惯；

d）工程实践

1. 具备较强的高并发、分布式环境下的架构需求分析与设计经验；
2. 具备相当的大数据产品项目架构开发经验。

6.4.2 数据开发工程师

a）综合能力

1. 具备较强的学习能力，能够跟进大数据开发技术发展趋势；
2. 能够熟悉典型的大数据业务场景，进而把握大数据产品开发的方向和目标；
3. 具备良好的沟通协调能力，团队意识强；

b）专业知识

1. 熟悉大数据生命周期管理方法，包括大数据采集、预处理、存储、分析和可视化；
2. 掌握Hadoop生态圈各功能组件基本概念、主要特点、运行机制；
3. 掌握SQL、NoSQL数据库原理及应用场景；
4. 熟悉分布式存储和大规模数据批量计算的实现原理；
5. 熟悉分布式计算框架的核心思想和适用场景；
6. 熟悉分布式资源管理框架在通用资源管理和调度方面的工作机制；
7. 掌握大数据产品开发过程和方法；

c）技术技能

1. 熟悉常见分布式计算框架，如MapReduce、Flink、Storm、Spark/Spark Streaming等；
2. 熟悉分布式数据存储相关技术，如HDFS、HBase、Hive等；
3. 熟悉大数据采集环境，包括Flume、Kafka、Sqoop、RocketMQ、RabbitMQ等；
4. 熟悉分布式资源管理与集群协调工具，如YARN、ZooKeeper等；
5. 熟悉主流NoSQL数据库，如HBase、Kudu、Redis、MongoDB等，熟悉至少一种主流关系型数据库，如Oracle、SQL Server、MySQL等；
6. 熟悉SQL、HQL等数据库编程语言及相关管理工具，熟悉脚本开发和优化提升；
7. 熟悉至少一种主流编程语言、脚本语言、大数据相关编程语言，如Java、Python、Scala等，具备较强的编码能力和良好的代码编写习惯；
8. 具备一定的大数据应用工程项目规划、设计、管理能力；

d）工程实践

1. 具备相当的大数据开发环境搭建经验和大数据项目开发经验；
2. 具备一定的大数据项目技术管理经验。

6.4.3 数据测试工程师

a）综合能力

1. 具备较强的学习能力，能够跟进大数据测试技术发展趋势；
2. 熟悉典型的大数据业务场景；
3. 具有良好的逻辑思维能力、业务分析能力、沟通和表达能力；

b）专业知识

1. 熟悉大数据测试方案、测试计划、测试用例、测试报告等的编写方法，以及测试用例执行和测试结果分析的方法；
2. 熟悉大数据系统测试常见的测试模型、测试类型、测试方法；
3. 熟悉大数据生命周期管理方法，包括数据采集方法、数据清洗方法、数据存储架构、数据分析算法、数据可视化方法等；
4. 熟悉大数据平台架构和运行机制；
5. 熟悉数据质量保证和质量控制的基本方法、基本流程和工作产品；
6. 了解设计和开发测试工具和自动化测试框架的方法；

c）技术技能

1. 能够搭建大数据测试环境，包括平台环境、架构环境、采集环境、存储环境、测试平台等；
2. 能够根据测试方案和测试计划，编写和执行测试用例，输出测试报告，并不断优化测试过程、提高测试效率；
3. 能够选择合适的测试方法和测试工具进行不同类型的测试，熟悉常用的Bug管理跟踪工具，熟悉主流性能测试工具，如JMeter等；
4. 熟悉大数据自动化测试框架，具备自动化测试脚本编写能力；

d）工程实践

1. 具备相当的大数据测试环境搭建经验；
2. 具备相当的大数据用例编写和执行经验；
3. 具备相当的测试结果分析和测试报告编写经验。

6.4.4 大数据产品经理

a）综合能力

1. 熟悉大数据产品技术体系及大数据产品发展趋势，熟悉典型的大数据产品业务场景；
2. 具备良好的沟通和协调能力，能够把握产品关键点和用户痛点，并能简明扼要的表达产品的价值点；
3. 了解行业趋势，善于捕捉市场、技术、竞争者等各种变化对产品发展的影响，收集用户体验与市场需求，发掘确认创新或改进产品的机会；

b）专业知识

1. 掌握大数据及其产品的生命周期管理方法；
2. 熟悉大数据产品技术环境，如大数据平台构成及运行机制、大数据存储环境和大数据计算环境；
3. 熟悉大数据产品敏捷开发方法，如产品规划方法、产品设计方法、产品实现方法和产品测试方法，熟悉BRD/MRD/PRD/FSD等文档撰写；
4. 了解大数据相关的标准与规范知识以及有关法律法规；

c）技术技能

1. 掌握需求调研、需求分析、产品策划、原型设计、Demo制作等所需的工具，如XMind、Axure、Visio等；
2. 熟悉需求调研、需求分析，能够完成产品策划、原型设计、Demo制作、产品流程和交互设计，完成BRD/MRD/PRD/FSD等文档的撰写和管理；
3. 熟悉常用大数据分析平台及相应数据分析工具，如Hadoop、Spark、Storm等；
4. 熟悉标准SQL语言，了解常用编程语言Python、Scala、R等的一种；
5. 了解常用的SQL和NoSQL数据库，如Oracle、HBase、MongoDB等；

d）工程实践

1. 具备相当的产品设计经验，能够开展业务调研、需求分析、产品设计等工作；
2. 具备相当的大数据产品策划、设计、开发和应用管理经验。

6.5  大数据项目实施与运维岗位能力要求

6.5.1 大数据解决方案工程师

a）综合能力

1. 具备较强的分析和撰写方案的能力；
2. 具备较强的沟通技巧和文案呈现能力；
3. 熟悉大数据行业的应用场景，发掘整合行业生态应用；
4. 熟悉大数据行业相关标准及生态系统的发展趋势；

b）专业知识

1. 熟悉国内外大数据安全政策法规及标准；
2. 熟悉大数据平台的硬件选型标准及常用的组网架构；
3. 熟悉数据库范式、数据仓库、商务智能等理论知识；
4. 熟悉大数据常用的架构，了解主流的批流一体、湖仓一体方案；
5. 熟悉产品原型设计的理论及人机交互设计的知识；
6. 了解业务关系管理、业务营销、财务管理等IT服务营销相关知识；

c）技术技能

1. 掌握IT基础架构设计技能，包括当前主流的服务器、存储、网络、安全等产品；
2. 熟悉常用关系型数据库与大数据平台的整合方案等；
3. 熟悉批处理及流处理的大数据集群组建方案，如Hadoop、Spark、Storm、Flink等；
4. 熟悉云原生环境下大数据与容器、K8S编排、存算分离的整合方案；
5. 熟悉常用的数据治理工具及数据安全管理工具，如Atlas、Ranger、Sentry等；

d）工程实践

1. 具备政务、交通、旅游、教育等大数据行业项目售前支持、策划、调研与方案编写等的实践经验；
2. 具备调研、梳理及分析客户痛点的能力，完成有针对性的行业解决方案规划及设计；
3. 具备较强的办公软件操作能力，能有效撰写技术方案书，绘制网络拓扑、数据流图等。

6.5.2 数据实施工程师

a）综合能力

1. 了解大数据技术体系及其发展趋势，熟悉常见的大数据实施场景；
2. 具备良好的沟通能力、表达能力和项目管理能力，能够有效推动项目落地；
3. 具备较强的责任心和质量意识，实施过程能够满足系统设计要求；

b）专业知识

1. 熟悉大数据平台相关的基础知识和技术原理；
2. 熟悉大数据项目实施的主要阶段、主要内容和关键活动，如个性化定制、系统部署、系统培训、系统验收和系统运维；
3. 了解大数据项目生命周期的各个阶段；
4. 了解大数据实施相关的标准、规范知识以及有关法律法规和项目管理知识领域；

c）技术技能

1. 熟悉主流版本的Linux和Windows Server等服务器版操作系统的部署和管理；
2. 熟悉常见的大数据平台及生态组件，如Hadoop、HDFS、HBase、Spark、Storm、Flume、Kafka、Hive等；
3. 熟悉主流的资源管理与调度系统、大数据采集系统、大数据存储平台、大数据计算环境的安装和部署；
4. 熟悉常用思维导图、产品原型工具，如XMind、Axure、Visio等；
5. 熟悉项目实施过程，能够根据项目需要开展定制开发、系统部署、系统培训、系统验收和系统运维等活动；

d）工程实践

1. 具备相当的大数据项目部署和实施经验，推动系统上线与验收工作；
2. 具备相当的文档撰写能力，能够完成项目需求说明书和验收报告等文档的编写。

6.5.3 数据运维工程师

a）综合能力

1. 具备较强的学习能力，能够跟踪大数据运维技术发展趋势；
2. 具备服务意识，能够与用户进行有效沟通，提升用户满意度；
3. 具备较强的预防意识和责任心，能够发现大数据系统运行过程中存在的问题和隐患，并及时解决；

b）专业知识

1. 熟悉计算机硬件组成原理、操作系统原理、计算机网络、服务器硬件等基础知识；
2. 熟悉大数据平台构架，具备大数据平台相关组件安装部署及日常运维的基础知识；
3. 熟悉信息系统运维方法论和大数据系统运维相关知识，包括大数据系统安装部署、安全配置、事件处理、问题诊断、日志分析、性能调优等；
4. 掌握大数据运维平台构成、运行机制和使用方法，掌握自动化运维方法和自动化运维脚本编写方法；
5. 熟悉主流IT运维方法论和规范标准，如DevOps、ITIL等；

c）技术技能

1. 熟悉大数据系统运维技能，包括操作系统安装配置、大数据系统安装部署、安全配置、问题诊断与处理、性能调优等；
2. 熟悉常见自动化运维语言或工具，如Python、Shell等；
3. 熟练常见自动化运维配置管理工具、自动化运维监控管理工具，如Puppet、Zabbix等；
4. 熟悉Hadoop主流生态组件的使用，熟悉主流分布式开发组件的安装部署及调优；
5. 了解设计和开发自动化运维与监控的工具；

d）工程实践

1. 具备自动化运维工具的使用经验；
2. 具备相当的系统问题发现与处置经验；
3. 具备一定的运维管理经验。