数字指挥舱平台 - 数据智能管控平台

12,856

数据资产总量

1,247

API服务数

3,028

调度任务数

5

智能助手运行中

集群资源概览 (近24小时)

平台健康状态

系统可用率99.99%

HDFS存储利用率62.3%

YARN资源利用率47.8%

数据质量合格率98.5%

Kerberos认证状态已启用

信创适配状态全栈适配

告警信息

WARN 2026-08-12 10:32 - Tez任务内存配置偏高 (租户: data_analysis)

WARN 2026-08-12 09:15 - Hive小文件数量超阈值 (表: ods.user_events)

INFO 2026-08-12 08:00 - 数据质量稽核完成，合格率98.5%

今日任务统计

运行中142

已完成1,856

等待中328

失败3

信创适配状态

CPU鲲鹏 / 飞腾 / 海光 / 兆芯

操作系统欧拉 / 麒麟 / 统信

网络IPv4/IPv6双栈

部署模式异构混合部署

数据资源目录 - 多维度检索

表名	数据库	主题域	数据分层	数据量	更新时间
dwd_user_behavior_di	Hive	用户域	DWD	2.3亿行	2026-08-12 08:00
dws_device_active_di	Hive	设备域	DWS	4,580万行	2026-08-12 07:30
ods_order_info_di	Hive	订单域	ODS	1.1亿行	2026-08-12 06:00
dim_product_info	MySQL	产品域	DIM	12.5万行	2026-08-11 22:00

全链路数据血缘跟踪

API服务管理 - 向导模式开发 & 权限管控

API名称	数据源	调用方式	状态	今日调用	频次限制	流量限制
用户画像查询API	Hive	HTTP/SQL	已发布	35,280	1000次/分钟	10MB/次
设备状态实时查询	HBase	HTTP	已发布	128,500	5000次/分钟	1MB/次
订单汇总统计API	Doris	SQL	测试中	1,240	100次/分钟	50MB/次
实时消息推送API	Kafka	HTTP	已发布	892,000	10000次/分钟	500KB/次

智能报告生成

选择报告类型并输入主题，智能生成格式化报告

用户看板

设备看板

平台看板

操作日志

286,450

总用户数

45,230

活跃用户数

+12.5%

月增长率

用户增长趋势

1,205,680

设备总数

892,340

激活设备

621,500

在线设备

892M

总连接数

1,247

API总数

操作日志

时间	操作人	行为类型	操作页面	详情
2026-08-12 10:35:22	zhangsan	API调用	数据共享	调用用户画像查询API
2026-08-12 10:30:15	lisi	修改	任务管理	修改调度任务依赖关系
2026-08-12 10:28:01	wangwu	发布	数据开发	发布ETL任务 dwd_user_etl

任务上线检查智能助手

👋 你好！我是任务上线检查智能助手。我可以通过自然语言帮你检查任务上线条件。

你可以这样说：
• 「检查昨天的用户同步任务是否已具备上线条件」
• 「帮我检查 dwd_order_etl 的上线合规性」
• 「查看 2026-08-11 的上线任务是否存在风险」

开发规范知识库

📋 当前规范版本: v3.2.1 (更新于 2026-08-10)

知识库支持动态更新，更新后无需重启服务即可生效

✅ 命名规范检查: 表名/字段名/任务名命名约定

✅ 高危语法禁用: 笛卡尔积/禁用函数检测

✅ 依赖完整性: 表血缘/调度周期一致性

✅ 主键/分区键检查: 动态分区/去重逻辑

✅ 大表全表扫描检测 (数据量>1000万)

⚠️ SQL注入风险语法检测

多类型数据导入 - 自动生成数据标准

支持结构化(数据库表/Excel/CSV)和非结构化(文档/日志/PDF)数据导入解析，自动完成词根拆分、英文命名、业务含义标注、数据类别划分。

点击上方按钮导入数据，查看自动生成的数据标准结果

自然语言对话 - 数据模型设计 (DDL生成)

👋 你好！我是数据标准智能助手。我可以通过对话帮你完成数据模型设计。

试试这样说：
「我需要一个用户订单宽表，包含用户基本信息、订单金额和配送地址」

数据质量智能助手 - 规则生成 & 血缘定位

👋 我是数据质量智能助手。我可以通过业务信息自动生成质量规则，并通过字段级血缘定位质量问题。

试试这样说：
• 「根据用户订单表的业务上下文生成质量规则」
• 「定位 dwd_order_info 中金额字段的质量异常原因」

字段级血缘 & 故障处理方案

数据运维智能助手

核心能力：
✅ 整合关联任务日志、调度依赖等多类信息，分析故障根因（任务失败/长时间排队）
✅ 对话式运维：支持模糊查询和口语化指令
✅ 结构化知识沉淀：处理成功流程自动积累和训练

💬 试试这样说：
「昨天晚上那个用户同步任务怎么又失败了」
「查看 dwd_etl 任务最近一次失败的根因」
「2026-08-11 批次的任务为什么一直排队」

故障诊断结果展示

对话式运维诊断结果将在此展示

数据集成开发

可视化拖拽编排

在线SQL编辑器

模板创建

数据采集/开发离线编排画布 - 拖拽组件构建数据流

📥 MySQL
数据源

→

🔄 字段映射
标准化/加密

→

⚡ Spark
Join/聚合

→

📊 Hive
目标表

FTP上传存储过程循环入口触发器 Kafka采集HBase推送 Redis加载ES同步

INSERT OVERWRITE TABLE dwd_user_behavior_di PARTITION(dt='${bizdate}') SELECT user_id, event_type, COUNT(1) AS event_cnt, MAX(event_time) AS last_event_time FROM ods_user_events WHERE dt = '${bizdate}' GROUP BY user_id, event_type;

📥 MySQL → Hive 全量同步

标准全量数据采集模板

🔄 增量CDC同步模板

基于binlog的增量同步

📊 日志采集 → Kafka → Hive

实时日志采集处理链路

数据开放服务

向导模式创建API

数据源

请求方式

返回格式

调用频次限制

返回数据流量限制

API调用方权限管控

调用方	API名称	频次限制	流量限制	状态
业务系统A	用户画像API	1000/min	10MB	已授权
第三方B	设备状态API	500/min	1MB	已授权
数据分析组	订单汇总API	200/min	50MB	待审批

数据质量管控

📋 数据标准管理

✅ 命名标准✅ 字段标准✅ 维度标准✅ 词根标准

⚙️ 内置质量规则

模型质量规则

程序质量规则

采集单元质量规则

完整性校验规则

📊 质量稽核可视化

统一调度管理

🔧 调度Broker全生命周期管理

Broker名称	所属集群组	任务量	状态
broker-prod-01	生产集群组	1,245	运行中
broker-prod-02	生产集群组	1,180	运行中
broker-test-01	测试集群组	324	已停止

📊 调度集群组监控

运行中: 2,425

等待中: 328

失败: 3

实时任务监控

任务总览 & 明细

18

运行中

2

失败

任务名称	类型	并行度	吞吐量	状态
用户行为实时ETL	Flink	16	12,500/s	运行中
设备状态流处理	Flink	24	45,200/s	运行中
订单实时汇总	Spark Streaming	8	3,800/s	失败

Checkpoint & 背压监控

资源监控

CPU & 内存 - 按时间维度统计分析

HDFS & Hive资源监控

资源分析治理

📦 Hive小文件治理 & EC存储

表名	小文件数	总大小	最后访问
ods_user_events	12,450	2.3GB	2026-08-12
dwd_behavior_202508	856	45GB	2026-03-15
dwd_behavior_202502	1,230	38GB	2026-01-20

⚠️ 异常任务识别 & Tez内存分析

异常类型	任务名称	详情	建议
数据倾斜	user_join_task	Task最大/最小=852x	建议使用广播Join
长尾任务	device_agg	平均时长15min，尾部98min	数据重分区
Top DAG	order_summary	消耗CPU 420核·时	优化Join顺序
Tez内存偏高	report_gen	配置4GB/实际2.1GB	降至2.5GB

应用管理

📱 租户应用信息查看

应用名称	CPU使用	内存使用	状态
user_profile_etl	12核	24GB	运行中
device_agg_job	48核	96GB	运行中
tensorflow_train_v2	32核	128GB	资源不足

🔍 应用SQL信息 & 资源消耗Top N

点击左侧「查看SQL」按钮查看应用中执行的SQL语句及执行计划