计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive
本文导读

数仓规划

更新时间:2025-02-27 GMT+08:00

数仓规划,目前系统默认的数仓分层包含SDI、DWI、DWR、DM(Data Mart)等4层,支持用户自定义数仓分层。数仓规划对数仓分层以及数仓模型进行统一管理。

  • 关系建模下包含SDI层和DWI层两层模型,物理模型归属于两层模型之一。
    • SDI:Source Data Integration,又称贴源数据层。SDI是源系统数据的简单落地。
    • DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。
      说明:

      物理模型设计时的考虑事项如下:

      • 物理模型要确保业务需求及业务规则所要求的功能得到满足,性能得到保障。
      • 物理模型要确保数据的一致性及数据的质量。
      • 新业务或新功能增加时能够以较少的改动或不改动就能够满足需求的扩展。
  • 维度建模需要基于维度,新建DWR层模型,最终将数据汇总到DM层模型中。
    • DWR:Data Warehouse Report,又称数据报告层。DWR基于多维模型,和DWI层数据粒度保持一致。
  • 数据集市,面向展现层,数据有多级汇总。
    • DM(Data Mart):又称数据集市。DM面向展现层,数据有多级汇总。

系统默认的数仓分层的四层层级的名称支持由管理员自定义,单击层级名后的即可重命名。重命名建议能够区分不同层级,规则为只能包含英文字母、中文、数字、下划线,且以英文字母或中文开头。

物理模型、维度模型、数据集市,都是模型,在数仓规划进行统一管理。

说明:

数仓规划支持细粒度权限管控,在数据安全模块对数据架构模型目录权限管控策略进行配置。详细操作请参见配置目录权限(高级特性)

新建数仓分层

数仓分层支持用户根据实际业务场景进行自定义。具体操作如下:

  1. 进入数据架构主页面。
  2. 在数据架构控制台,单击左侧导航树中的“模型设计 > 数仓规划”
  3. 单击一个数仓分层右侧的“新建”,选择“添加至前面”或“添加至后面”,进入“新建数仓分层”页面。
    说明:

    “添加至前面”或“添加至后面”表示新建的数仓分层在当前数仓分层的前面或者后面。

    图1 自定义数仓分层

  4. 配置数仓分层相关参数。
    图2 新建数仓分层

    表1 数仓分层参数说明

    参数

    说明

    *分层名称

    定义数仓分层名称。只能包含中文、英文字母、数字和下划线,且以中文或英文字母开头。输入长度不能超过10个字符。

    *分层类型

    选择分层类型。分层类型选择以后不支持修改。

    • 关系建模
    • 维度建模
    • 数据集市
      说明:
      1. 关系建模一般用于业务系统及数仓贴源层、整合层的建模。
      2. 维度建模用于数仓公共层或数据报告层的建模。
      3. 数据集市用于汇总表和应用表等数据应用表的建模。

    描述

    数仓分层描述信息。支持的长度0~200字符。

    禁用自定义项

    选择自定义项。如果没有自定义项,则表示没有可禁用的自定义项。

  5. 单击“确定”。数仓分层新建完成。
  6. 更多操作如下:
    • 单击已新建的数仓分层右侧的“编辑”,可以修改数仓分层的参数信息,分层类型不支持修改。
    • 单击已新建的数仓分层右侧的“删除”,可以删除数仓分层。该分层下有模型数据,不可删除。

新建模型

  1. 进入数据架构主页面。
  2. 在数据架构控制台,单击左侧导航树中的“模型设计 > 数仓规划”
  3. 单击一个数仓分层下面的“添加模型”,进入“新建模型”页面。
  4. 配置模型相关参数。
    图3 新建模型

    表2 模型参数说明

    参数

    说明

    *模型名称

    定义模型名称。只能包含中文、英文字母、数字和下划线。

    数据连接类型

    选择数据连接类型。

    • 不限制数据连接
    • 选择数据连接

    *数仓分层

    • 如果是在DWI层、SDI层或者自定义关系建模数仓分层,此处支持选择DWI、SDI、自定义数仓分层。
      说明:
      • SDI:Source Data Integration,又称贴源数据层。SDI是源系统数据的简单落地。
      • DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。
    • 如果是在DWR层或者自定义维度建模数仓分层,此处仅可选择DWR、自定义数仓分层。
    • 如果是在DM层或者自定义数据集市数仓分层,此处仅可选择DM、自定义数仓分层。

    前缀校验

    输入检验前缀。只能包含英文字母、数字和下划线,且以英文字母开头。

    说明:

    模型校验前缀,针对关系建模里面的物理表(关系表)、维度建模里面的事实表、数据集市的汇总表的新建、修改、导入表时,会校验是否有前缀,没有的话会校验失败。进行逆向操作时,也会校验是否有前缀。

    描述

    数仓模型描述信息。支持的长度0~600字符。

  5. 单击“确定”。数仓模型新建完成。
  6. 更多操作如下:
    • 单击已新建的数仓模型右侧的“编辑”,可以修改数仓模型的参数信息,数据连接类型不支持修改。
    • 单击已新建的数仓模型右侧的“删除”,可以删除数仓模型。删除操作无法恢复,请谨慎操作。如果模型包含业务表,无法删除。
    • 单击已新建的数仓模型的“数据表”或“字段”或“标准覆盖率”可以跳转到对应的数仓分层页面。比如,单击DWI数仓分层模型的“数据表”会跳转到“关系建模”页面。
    • 如果数仓模型比较多,可以单击“查看更多”和“收起更多”进行折叠展示。
    • “未分层”的数仓模型会在页面上方显示。支持编辑和删除。
      • 单击“编辑”,可以修改数仓模型的参数信息,可以给未分层的数仓模型配置数仓分层(此处支持选择DWI、SDI、自定义数仓分层)。数据连接类型不支持修改。
      • 单击“删除”,可以修改数仓模型的参数信息,可以删除数仓模型。删除操作无法恢复,请谨慎操作。如果模型包含业务表,无法删除。

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容