大数据领域处理海量数据的采集、存储、计算和分析，是数字化时代的核心基础设施。

编程与基础

必修

Java SE 核心

必修

集合、IO、多线程、网络编程（大数据框架多基于 JVM）

Python 基础

必修

数据处理脚本编写、爬虫基础（辅助 ETL 开发）

SQL 进阶

必修

复杂查询、窗口函数、CTE、SQL 优化与执行计划

Linux 操作

必修

常用命令、Shell 脚本、权限管理、进程管理

数据结构与算法

选修

排序、Hash、树、分布式场景下的常用算法

数据仓库与建模

必修

数据仓库理论

必修

维度建模（星型 / 雪花型）、分层架构（ODS / DWD / DWS / ADS）

Hive 数据仓库

必修

HiveQL、分区表 / 分桶表、存储格式（Parquet / ORC）

HDFS 分布式存储

必修

文件读写原理、副本机制、NameNode / DataNode 架构

数据采集

必修

Flume / Logstash 日志采集、DataX / Sqoop 数据同步

Apache Hudi / Iceberg

选修

湖仓一体、ACID 事务、增量查询

分布式计算

必修

MapReduce 编程模型

必修

Mapper / Reducer、Shuffle 原理、Combiner

Apache Spark 核心

必修

RDD、DataFrame / Dataset、Spark SQL、Spark Streaming

Spark 调优

必修

内存管理、Shuffle 调优、数据倾斜解决方案

Apache Flink 核心

必修

DataStream API、时间语义、Watermark、状态管理

Flink CDC

选修

实时数据同步、MySQL Binlog 捕获

Presto / Trino

选修

联邦查询、跨数据源分析

消息队列与实时管道

必修

Apache Kafka

必修

生产者 / 消费者、Topic / Partition、偏移量管理

Kafka 高阶特性

必修

幂等性、事务、Exactly-Once 语义、Kafka Streams

实时数仓架构

必修

Kafka + Flink + ClickHouse 实时管道搭建

Apache Pulsar

选修

多租户、分层存储、计算存储分离

RocketMQ

选修

事务消息、延时消息、顺序消息

调度与数据治理

必修

任务调度

必修

Apache Airflow DAG 编写、Cron 触发、依赖管理

DolphinScheduler

必修

可视化工作流、定时调度、告警机制

数据治理

必修

元数据管理（Atlas）、数据质量（Griffin）、血缘分析

数据可视化

必修

Superset / Grafana 搭建报表平台

数据安全

选修

数据脱敏、访问控制、审计日志

大数据平台与架构

选修

Lambda 架构

选修

批流一体化数据处理

Kappa 架构

选修

纯流式数据处理架构

ClickHouse 实时 OLAP

选修

列式存储、MergeTree 引擎、查询优化

Doris

选修

现代化 MPP 分析数据库、StarRocks

云原生大数据

选修

EMR / Databricks / Snowflake 云数仓