《大数据产业人才岗位能力要求》T/MIITEC 006-2021

6.6  大数据平台建设岗位能力要求

6.6.1 数据平台架构师

a）综合能力

1. 熟悉主流大数据平台技术体系以及发展趋势；
2. 熟悉根据各类场景设计大数据平台建设的解决方案；
3. 具备良好的沟通能力、组织协调能力；
4. 具备较强的建设方案文档与项目文档撰写能力；

b）专业知识

1. 熟悉大数据平台生态体系各类组件的原理、开发方法、部署方法以及调优方法；
2. 掌握大数据平台整体设计方法，包含数据采集与处理、离线计算、实时计算、作业调度、数据能力开放、平台安全管理等；
3. 熟悉元数据管理、数据标准管理、数据质量管理、数据安全管理、数据生命周期管理等数据治理理论知识；
4. 熟悉分布式系统模型、远程调用RPC、分布式协调与同步机制等分布式系统理论知识；
5. 了解机器学习、深度学习、人工智能等数据挖掘相关理论知识；
6. 了解Devops开发运维一体化、AIops智能运维等高级运维体系建设理论知识；
7. 了解信息系统安全管理、计算机网络安全等安全理论知识以及国内外数据安全政策法规与数据安全管理标准；

c）技术技能

1. 熟悉Hadoop、Spark、Storm、Flink等常见的大数据计算框架的原理、开发方法、部署方法以及调优方法；
2. 熟悉Prometheus、Grafana、Zabbix、Ganglia、Ansible等主流大数据平台运维开发工具；
3. 熟悉Java、Scala、Python等常用编程语言；
4. 熟悉标准SQL语言以及HiveQL、Spark SQL、Flink SQL等语言，掌握数据库规划设计与管理方法；
5. 了解云计算开发管理工具OpenStack与容器化管理工具Kubernetes；
6. 了解一种或多种主流深度学习框架，如TensorFlow、PyTorch、MXNet、Caffe、Theano等；

d）工程实践

1. 具备丰富的企业级大数据平台顶层架构设计与工程建设实践经验；
2. 具备数据分类管理、数据质量管理、数据生命周期管理等数据治理经验。

6.6.2 数据平台开发工程师

a）综合能力

1. 熟悉主流大数据平台组件的行业应用范围与发展趋势；
2. 具备良好的沟通表达能力和较强的团队协作意识；

b）专业知识

1. 掌握程序设计基本知识，包括面向服务架构设计、高并发程序设计、面向对象程序设计、数据结构与算法设计模式等；
2. 熟悉计算机科学与技术基础理论知识，包括计算机系统人机交互理论、操作系统原理、计算机网络、数据库管理等；
3. 了解数据仓库理论，熟悉各类多维数据建模方法，了解数据治理知识体系内容；

c）技术技能

1. 精通至少一种常用编程语言，如Java、Scala、Python等
2. 掌握SpringBoot、SpringCloud、Netty、Django等主流企业级应用开发框架；
3. 熟悉Hadoop、Spark、Storm、Flink等常见的大数据计算框架；
4. 熟悉JetBrain IDEA、JetBrain Pycharm、VSCode、Git、Jemter等程序开发与测试工具的使用方法；

d）工程实践

1. 具备丰富的企业级大数据平台应用开发实践经验；
2. 具备高性能、高并发、高可靠应用软件设计与优化经验。

6.6.3 数据平台运维工程师

a）综合能力

1. 熟悉大数据平台的整体架构演进趋势，以及典型的大数据应用架构；
2. 掌握常见的大数据平台应用场景，能够针对不同场景给出大数据平台选型建议；
3. 掌握IT系统运维的核心理论，善于从逻辑出发解决系统运维问题；
4. 掌握良好的沟通能力，善于与产品和研发进行协作，实现研发运维一体化；

b）专业知识

1. 掌握进程管理、存储管理、系统安全、虚拟化等Linux操作系统的原理；
2. 精通路由交换、通信安全、网络服务等计算机网络知识；
3. 掌握磁盘阵列、网络存储、分布式文件系统、分布式数据库等理论知识；
4. 掌握程序语言编译、应用部署、服务监控、日志排查等方法；
5. 熟悉评估和处理常见安全风险问题和安全事件的方法；
6. 了解ITSS服务流程，并了解规划设计，部署实施、服务运营、持续改进、监督控制内容；

c）技术技能

1. 熟悉Linux日常运维和管理，具备基本Shell、Python脚本阅读能力，深入理解持续集成和持续交付；
2. 掌握VPN的构建管理、防火墙的配置、路由表的配置等网络操作技能；
3. 熟悉Java、Python、js等编程语言的编译、构建、运行等运维技能；
4. 熟悉Docker、Kubernetes的原理、使用、日常运维等；
5. 掌握HDFS、Hive、HBase、MongoDB等分布式数据系统的安装与调试；
6. 掌握Spark、Kafka、Flume、Redis等分布式处理系统的安装与调试；
7. 熟悉常见开源软件、组件，如HAProxy、Nginx、Tomcat、Git、FTP等；

d）工程实践

1. 具备相当的IT资源规划能力，可以根据部署需求给出合理的资源规划；
2. 具备相当的业务量分析能力，可以根据业务量确定合理平台架构和硬件需求；
3. 具备相当的运维实践能力，可以独立完成大数据平台系统的搭建与运维；
4. 具备实际工作能力和实践经验，能够进行大数据平台部署、联调和管理。

6.7  大数据安全岗位能力要求

6.7.1 数据安全架构工程师

a）综合能力

1. 关注大数据相关安全技术，能够跟踪大数据安全架构技术发展趋势；
2. 具备良好的沟通能力和表达能力，能够与大数据产品工程师、数据开发工程师进行有效沟通；
3. 具有良好的逻辑思维，能够把握典型场景下存在的安全问题，并能够针对安全问题提出可行的解决方案；

b）专业知识

1. 掌握网络安全、数据安全相关的工作原理和技术方法；
2. 掌握传统的大数据安全架构和零信任大数据安全架构方法，以及相应的安全防护模型和安全风险评估方法；
3. 掌握大数据平台及其生态组件的安全技术；
4. 熟悉常用的大数据安全防护技术、安全标准、安全规范以及相关的法律法规；

c）技术技能

1. 掌握常用的传统大数据安全技术防护方案和信任安全架构下的大数据安全技术防护方案；
2. 掌握大数据产品及其生态组件安全技术、风险分析技术与安全评估技术；
3. 熟悉安全运维支撑平台，如OSSIM等；

d）工程实践

1. 具备大数据安全架构设计能力，并能够编制相应的安全架构文档；
2. 具备大数据安全架构问题分析能力，并能够针对问题提出解决方案。

6.7.2 数据安全评估工程师

a）综合能力

1. 关注大数据相关安全技术及其发展趋势，跟进最新的安全政策与法律法规研究；
2. 具备良好的沟通能力和表达能力，能够与大数据产品工程师、数据开发工程师进行有效沟通；
3. 具有良好的逻辑思维和快速解决问题的能力，能够在复杂的大数据场景中迅速发现、定位安全问题，并提出可行的解决方案；

b）专业知识

1. 掌握信息安全技术基础，了解主流的网络安全和数据安全设备；
2. 熟悉网络安全法、等保、数据安全管理办法等法律法规及相关行业监管要求；
3. 熟悉常见的安全攻防技术，熟悉常见漏洞原理、修复及降低风险的方法；
4. 掌握渗透测试技术和大数据安全防护技术；
5. 掌握安全评估模型和流程；

c）技术技能

1. 熟悉主流数据安全技术，如行为监控、数据脱敏、权限管控、加解密算法等；
2. 熟悉国内外主流安全检测系统与工具，如Burpsuit、AWVS、Nmap、Nessus、OpenVAS、Metasploit、Kali等；
3. 了解大数据产品及其生态组件安全技术、风险分析技术与安全评估技术，包括但不限于Hive、HBase、Kafka、Flink、ES、Spark等；
4. 掌握大数据风险分析与评估防范过程；

d）工程实践

1. 具备大数据安全评估能力，并能够编制相应的评估文档；
2. 具备大数据安全问题分析能力，并能够提出整改方案。

6.7.3 数据安全运维工程师

a）综合能力

1. 具备良好的学习能力，能够跟踪大数据安全技术和安全运维技术发展趋势；
2. 具备较强的安全意识和安全敏感性，能够发现大数据系统各环节存在的安全隐患和问题，并及时解决；
3. 具备良好的沟通能力；

b）专业知识

1. 熟悉大数据安全原理以及大数据常见威胁、漏洞和风险；
2. 掌握常用的大数据安全攻防方法，包括安全域划分、访问控制列表、渗透测试等；
3. 熟悉大数据安全构架方法，包括传统的安全架构方法和零信任安全架构方法，以及相应的大数据安全防护体系；
4. 掌握大数据安全运维规程，了解常见的安全设备及系统；
5. 了解大数据安全运维相关的标准规范、法律法规；

c）技术技能

1. 熟悉常见的信创安全产品及相关主流技术；
2. 熟悉服务器版操作系统的安全运维技术，如Linux、Windows Server等；
3. 熟悉大数据平台及其生态组件的安全运维技术，如Hadoop、HDFS、HBase、Spark、Storm、Flume、Kafka、Hive等；
4. 熟悉安全运维平台的部署与使用，如OSSIM；
5. 熟悉常见的渗透测试工具，如OpenVAS、Metasploit等；

d）工程实践

1. 具备相当的安全运维经验，特别是常见运维平台和运维工具的使用；
2. 具备一定的安全文档编写能力，能够完成安全日志整理及安全事件报告书的编写；
3. 具备一定的开源文档阅读水平，能够按照文档指引处理故障。

6.8  大数据管理岗位能力要求

6.8.1 数据管理工程师

a）综合能力

1. 熟悉大数据管理技术体系及其发展趋势；
2. 熟悉典型应用场景下大数据分析的需求场景和解决方案；
3. 具备良好的沟通能力和表达能力，善于进行数据分析成果的推广和用于辅助决策；
4. 能够独立开展业务调研、数据管理和报告编写工作；

b）专业知识

1. 熟悉常用SQL语言，熟练操作Mysql、Oracle等大型数据库；
2. 熟悉数据仓库架构及原理，能独立进行数据仓库数据建模；
3. 熟悉相关数据分析组件ODPS、ADS等；
4. 熟悉存储过程、触发器等数据库开发；
5. 了解大数据管理相关的标准与规范知识及相关法律法规；

c）技术技能

1. 掌握数据全生命周期管理要求；
2. 掌握常用数据统计、审计等管理工具；
3. 掌握监控数据库的性能能力；
4. 具备处理数据库的备份恢复、应急恢复能力；

d）工程实践

1. 具备分析数据和批量处理数据的能力；
2. 具备较强的典型业务场景下的数据敏感性和管理能力，能够使用适合的数据管理方法，运用数据辅助决策；
3. 具备相当的文档撰写能力，能够完成数据需求说明书和数据管理报告等文档的编写。

6.8.2 数据治理工程师

a）综合能力

1. 熟悉大数据治理技术体系及其发展趋势；
2. 熟悉典型应用场景下大数据治理的需求场景和问题解决方案；
3. 具备良好的沟通能力和表达能力，善于进行数据治理成果的推广并将成果用于辅助决策；

b）专业知识

1. 掌握基本数据和高级数据的治理方法；
2. 熟悉统计学、应用数学相关知识，了解数据分析常用手段及其数学原理；
3. 熟悉数据治理目标、内容、架构等相关知识，熟悉数据战略的规划与实施方法；
4. 熟悉数据治理体系，包括组构、制度、流程、绩效和标准等；
5. 了解数据中台技术和微服务架构环境；
6. 了解大数据治理相关的国内外治理模型、标准与规范知识；

c）技术技能

1. 熟悉常用的数据治理工具及其他相关工具，如Atlas、Ranger、Sentry等；
2. 熟悉数据治理的常用工具和最佳实践，如数据指标、元数据、数据标准、数据质量、数据安全、数据资产目录等；
3. 掌握数据的优化和管理工具，具备开展数据分析、数据评估、数据清洗、数据监控、错误预警等的能力；
4. 具备针对数据组织流程进行优化和管理的能力，如完成制定目标、评估流程、优化计划、监督审核机制、评估改善效果等多个环节；

d）工程实践

1. 具备较强的典型业务场景下的数据敏感性和治理能力，能够使用适合的数据治理方法，运用数据辅助决策；
2. 具备大数据治理及管理(元数据、数据标准、数据质量、数据安全、数据资产目录等)方案制定、实施及评估能力；
3. 具备相当的文档撰写能力，能够完成数据需求说明书和数据治理报告等文档的编写。

6.9  大数据运营与应用岗位能力要求

6.9.1 数据运营工程师

a）综合能力

1. 了解大数据发展历史和现状，关注企业数字化转型发展趋势；
2. 具备商业敏感性和洞察力、数据分析能力，对行业及市场敏感、有前瞻性；
3. 具备良好的沟通技巧、执行力，善于整合内外资源和协同各类渠道，达成业务目标；

b）专业知识

1. 熟悉大数据、数据统计、数据挖掘、分类分析等基础知识；
2. 掌握大数据生命周期管理方法及大数据架构方法；
3. 掌握大数据市场营销、电子商务等基础知识；
4. 了解大数据运营建设、管理体系构建方法、宣传推广方法和途径；
5. 了解熟悉大数据隐私保护和安全防护技术；
6. 熟悉大数据运营相关法律法规和标准规范；

c）技术技能

1. 能够根据业务需求，基于数据统计、数据挖掘、分类分析等工具进行数据分析并指导运营决策；
2. 能够基于大数据从生态、品牌、渠道、社区、商家、产品、内容、市场等各方面展开运营优化；
3. 掌握大数据运营方法和运营流程，协助优化运营流程，提高流程的效率，改进使用体验；

d）工程实践

1. 具备根据前台部门的业务需求提供数据服务支撑的能力和经验；
2. 具备基于大数据产品提供运营支撑及运营分析并达成业务目标的能力和经验。

6.9.2 数据应用工程师

a）综合能力

1. 了解大数据发展历史和现状，关注企业数字化转型发展趋势；
2. 具备良好的问题分析和处理能力；
3. 熟悉大数据典型应用场景，基于对垂直行业业务和大数据技术的深刻理解，制定垂直行业大数据项目的解决方案，推广大数据应用；

b）专业知识

1. 熟悉大数据生命周期管理方法和大数据应用方法；
2. 熟悉相关的业务知识及数据业务化方法，熟悉大数据可视化技术；
3. 熟悉大数据应用环境，如大数据平台构成及运行机制、大数据存储环境和大数据计算环境等；
4. 了解大数据技术平台及相关生态组件等的技术原理；

c）技术技能

1. 掌握大数据应用技术，包括业务架构技术、应用架构设计、数据架构设计；
2. 熟悉大数据可视化框架和技术，包括Kibana、js、ECharts等；
3. 熟悉Hadoop生态组件，如Hadoop、Spark、Storm、Flume、Kafka、Hive等；
4. 熟悉至少一种主流编程语言、脚本语言、大数据编程语言，如Python、Java、Scala等；
5. 熟悉至少一种NoSQL数据库，熟悉至少一种主流关系型数据库；

d）工程实践

1. 具备电商、金融、健康医疗等领域大数据应用经验；
2. 具备大数据应用展示推广经验。

6.10  大数据咨询服务岗位能力要求

6.10.1 大数据咨询师

a）综合能力

1. 熟悉行业发展趋势，善于捕捉市场、技术、竞争者等各种变化对行业发展的影响，发掘创新或改进产品的机会；
2. 具备良好的逻辑思维能力、学习能力，能够通过数据发现问题、分析问题，并提出解决方案；
3. 具备良好的沟通能力和表达能力；

b）专业知识

1. 熟悉大数据治理和大数据应用等知识，熟悉主流大数据技术体系；
2. 掌握大数据生命周期管理方法；
3. 熟悉大数据平台概念、构成及运行机制；
4. 了解大数据相关的标准与规范知识以及有关法律法规；

c）技术技能

1. 具备数据治理、数据分析、数字化转型解决方案规划与设计的能力；
2. 熟悉云计算、大数据相关产品和技术；
3. 熟悉常用批处理分析平台和实时流分析平台等数据分析工具，如Hive/Spark SQL、Hadoop、Spark、Storm等；
4. 熟悉至少一种主流编程语言、脚本语言、大数据相关编程语言；
5. 熟悉至少一种主流NoSQL数据库，熟悉至少一种主流关系型数据库；

d）工程实践

1. 具备数据挖掘、数据仓库或商业智能项目管理经验；
2. 熟悉大数据典型应用场景和解决方案，具备方案汇报、论证能力以及良好的文档撰写能力；
3. 具备大数据建设项目咨询经验，能够完成数据需求说明书和数据分析报告等文档的编写。

6.10.2 大数据培训师

a）综合能力

1. 具备良好的学习能力，善于快速学习大数据知识与技术，并进行转化、归纳、总结；
2. 具备良好的逻辑思维能力，能够输出结构化人才培养方案及课程体系；
3. 具备良好的沟通交流能力，善于与需求方、学员进行沟通交流；
4. 熟悉大数据产业发展趋势、所在行业知识与应用案例、大数据主流技术体系；
5. 熟悉大数据技术人才成长规律；

b）专业知识

1. 熟悉统计学、应用数学、计算机基础、大数据领域技术原理与应用；
2. 掌握大数据课程开发方法；
3. 掌握大数据教学设计原理；
4. 了解教育学、心理学、社会学等方面的知识；

c）技术技能

1. 掌握需求调研工具，如问卷法、访谈法等；
2. 掌握常用的培训方案设计与课程开发工具，如ADDIE、PPT等相关软件；
3. 熟悉常用的授课技巧，如TTT、SPOT引导技术；
4. 掌握大数据领域实战教学能力，如Python编程教学、机器学习实操、大数据平台实操演示等；
5. 熟悉常用教学评估方法，如柯氏四级评估方法；

d）工程实践

1. 具备大数据相关培训需求下的方案设计与实施经验；
2. 具备一定时间量的教学实践经验，能够独立负责课堂；
3. 具备相当的文档撰写能力，能够完成培训需求说明书、咨询报告和教学方案等文档的编写；
4. 具备一定的大数据培训相关的咨询经验。

6.10.3 社群数据管理师

a）综合能力

1. 了解大数据发展历史和现状，关注企业数字营销下私域社群流量的用户大数据的发展趋势；
2. 熟悉社群管理的典型应用场景，对私域流量运营的战略决策和目标制定有着深刻理解；
3. 具备社群管理数据分析和管理能力，善于从数据中发现和定位问题，并调整优化；
4. 具备良好的沟通表达及团队合作能力；

b）专业知识

1. 掌握现行社群管理相关标准、规范及相关法律法规；
2. 熟悉新媒体社交产品规则，掌握私域社群用户的大数据管理的方法，并确保数据的安全；
3. 掌握内容运营、用户运营的知识和方法，通过数据标签实现精准用户运营；

c）技术技能

1. 掌握企业微信及主流私域运营和数据统计和管理工具的应用；
2. 熟悉图文编辑、视频剪辑软件的应用，如PS、PR、剪映等；
3. 掌握社群运营绩效衡量、用户画像分析、产品服务等数据分析方法；
4. 掌握从社群定位、标准作业程序到团队协同的综合管理方法，维持社群内容的合规性，确保所有社群用户和交互数据的安全可追溯；

d）工程实践

1. 具备社群管理整体规划、设计及实施经验；
2. 具备典型业务场景下社群建设、精准用户引流、用户留存及转化的数据统计及效果评估经验；
3. 具备私域社群用户运营全流程及数据安全管理经验；
4. 具备社群管理运营复盘分析和持续改进的能力。

附 录 A （资料性附录）

大数据产业人才岗位能力提升

A.1  大数据产业人才岗位能力提升内容

岗位能力提升内容应包括：

1. 软技能等相关综合能力提升；
2. 基础知识、专业知识等相关知识提升；
3. 基本技能、专业技能等相关技术技能提升；
4. 基于项目经验的工程实践能力提升。

A.2  大数据产业人才岗位能力提升阶段和方式

大数据产业人才岗位能力提升分为岗前提升和在岗提升两个阶段，这两个阶段共同构成大数据相关岗位产业人才不同阶段和能力水平的终身教育体系。

1、岗前提升方式，包括：

• 理论教学；
• 理论与实践一体化教学；
• 项目实训、企业实习等方式。

2、在岗提升方式，包括：

• 内部在岗培训；
• 外部脱岗培训；
• 项目实践或导师辅导等。

A.3  大数据产业人才岗位能力提升活动供给类别

大数据产业人才岗位能力提升活动供给包括：

1. 教育、培训机构培养：符合要求的各级教育机构（普通高校、中等和高等职业院校等）及培训机构应根据大数据产业人才各岗位能力要求，制定人才能力提升方案，为大数据产业及企业培养合格的从业人员，满足个人发展需要；
2. 企业培养：企业结合业务发展需要，应根据大数据产业人才各岗位能力要求有针对性、有计划地实施岗位能力提升计划，满足个人发展需要，增强企业竞争力；
3. 个人培养：从业人员根据个人发展计划，做好职业规划与岗位定位，对标大数据产业人才岗位能力要求，不断积累提高综合能力，积累专业知识、技术技能和工程实践经验。

大数据产业人才岗位能力提升路径见图A.1。

图A.1  大数据产业人才岗位能力提升路径

图A.1 大数据产业人才岗位能力提升路径

附  录 B （资料性附录）

大数据产业人才岗位能力评价

B.1  大数据产业人才岗位能力评价方法

对从业人员进行评价和定级，评价结果可以作为大数据产业人才能力胜任、职业发展等活动的依据。评价方式包括：

1. 综合能力主要通过笔试或答辩等方式进行评价；
2. 专业知识主要通过笔试考核的方式进行评价；
3. 技术技能主要通过实验考核方式进行评价；
4. 工程实践主要通过成果评价方式进行评价。

B.2  大数据产业人才岗位能力评价等级

大数据产业人才岗位能力评价等级可以分为初、中、高级三级，能力分为9等。

1. 初级（1—3级）：在他人指导下完成所承担的工作，并具有一定独立工作能力，具有一定实践经历；
2. 中级（4—6级）：独立完成较为复杂的工作，具备指导他人工作的能力，具有一定工作经验；
3. 高级（7—9级）：独立完成高度复杂的工作，精通关键专业技能，引领革新，具有资深经验。

B.3  大数据产业人才岗位能力等级评价权重

大数据产业人才岗位能力等级评价权重表如下：

大数据产业人才岗位能力等级评价权重表

大数据产业人才岗位能力等级评价权重表

参 考 文 献

[1]  GB/T 38673-2020 《信息技术 大数据 大数据系统基本要求》

[2]  GB/T 38672-2020 《信息技术 大数据 接口基本要求》

[3]  GB/T 37721-2019 《信息技术 大数据分析系统功能要求》

[4]  GB/T 38675-2020 《信息技术 大数据 计算系统通用要求》

[5]  GB/T 38633-2020 《信息技术 大数据 系统运维和管理功能要求》