设计DAG 操作场景 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式：通过收费站时间、车牌号、收费站编号...... 逻辑：以下两种情况下判定这两辆车是同行车 如果两辆车都通过相同序列的收费站，

查看更多 →

约束设计 DEFAULT和NULL约束 如果能够从业务层面补全字段值，那么，不建议使用DEFAULT约束，避免数据加载时产生不符合预期的结果。 给明确不存在NULL值的字段加上NOT NULL约束，优化器会在特定场景下对其进行自动优化。 给可以显式命名的约束显式命名。除了NOT

查看更多 →

标准设计 新建码表 新建数据标准 父主题： 数据架构

查看更多 →

依次新建更多的流程或子流程。一般需要设计L1~L3三层流程。第一层标识为L1层，第二层标识为L2层，第三层标识为L3。 示例如下： 图3 流程设计示例 导出流程 您可以将数据架构中已创建的流程导出到文件中。 在数据架构控制台，单击左侧导航树中的“流程设计”，进入流程设计页面。 单击流程列表上方

查看更多 →

DLV 提供了丰富的数据源，您在使用大屏时可以根据数据存储的位置，进行数据连接，在大屏上展示数据结果。 登录DLV控制台，单击“我的数据”，您可以对数据源进行管理。 DLV目前支持接入以下几种类型的数据源： API类 数据库类 文件类 其他 API类 DLV目前只支持API数据源。 数据库类

查看更多 →

新建DWS数据源 参考登录AstroCanvas界面中操作，登录AstroCanvas界面。 在主菜单中，选择“数据中心”。 在左侧导航栏中，选择“数据源”。 在数据源管理页面，单击“新建数据源”。 选择“DWS”，配置数据源参数。 图1 新建DWS数据源 数据源名称：数据源的名称，

查看更多 →

数据仓库 服务 DWS DWS集群启用KMS加密 DWS集群启用日志转储 DWS集群启用自动快照 DWS集群启用SSL加密连接 DWS集群未绑定弹性公网IP DWS集群运维时间窗检查 DWS集群VPC检查 父主题： 系统内置预设策略

查看更多 →

创建数据仓库 GaussDB (DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后，记录集群的内网IP。 为确保E CS 与GaussDB(DWS)网络互通，GaussDB(DWS)数据仓库需要与ECS在同一个区域，同一个虚拟私有云和子网下。 表1 DWS规格

查看更多 →

数据仓库错误码 SQL标准错误码说明 第三方库错误码说明 GAUSS-00001 -- GAUSS-00100 GAUSS-00101 -- GAUSS-00200 GAUSS-00201 -- GAUSS-00300 GAUSS-00301 -- GAUSS-00400 GAUSS-00401

查看更多 →

策支持系统发展。 数据仓库相比数据库，主要有以下两个特点： 数据仓库是面向主题集成的。数据仓库是为了支撑各种业务而建立的，数据来自于分散的操作型数据。因此需要将所需数据从多个异构的数据源中抽取出来，进行加工与集成，按照主题进行重组，最终进入数据仓库。 数据仓库主要用于支撑企业决策

查看更多 →

e、HBase、MySQL、DWS（数据仓库服务）数据源，使用高效的数据导入接口导入数据。 多种数据源支持 数据源类型繁杂，针对不同数据源开发不同的任务，脚本数量成千上万。 支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。 多种网络环境支持 随着云计算技术

查看更多 →

Elasticsearch ECS自建数据源 实例 选择对应数据源下待连接的实例（除ECS自建数据源外均需要配置)。 内网IP ECS机器内网IP（仅ECS自建数据源需要配置）。 VPC ID ECS机器使用的VPC的ID地址（仅ECS自建数据源需要配置）。 网络ID ECS机器使

查看更多 →

消费数据实时同步至DWS数据仓库，实现Kafka实时入库到DWS的过程。 本实践预计时长90分钟，实践用到的云服务包括 虚拟私有云VPC 及子网、弹性负载均衡ELB、 弹性云服务器 ECS、 对象存储服务 OBS、分布式消息服务Kafka、 数据湖探索 DLI和数据仓库服务DWS 调优表 调优表实践

查看更多 →

策支持系统发展。 数据仓库相比数据库，主要有以下两个特点： 数据仓库是面向主题集成的。数据仓库是为了支撑各种业务而建立的，数据来自于分散的操作型数据。因此需要将所需数据从多个异构的数据源中抽取出来，进行加工与集成，按照主题进行重组，最终进入数据仓库。 数据仓库主要用于支撑企业决策

查看更多 →

MySQL、DWS（数据仓库服务）数据源，使用高效的数据导入接口导入数据。 多种数据源支持 数据源类型繁杂，针对不同数据源开发不同的任务，脚本数量成千上万。 支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源，具体数据类型请参见支持的数据源。 多种网络环境支持

查看更多 →

数据源 数据源连接测试失败排查操作 MRS Hive数据源测试连接失败 FTP数据源测试连接失败 OBS数据源测试连接失败 Kafka数据源连接失败

查看更多 →

数据源 创建数据源 查询数据源列表 查询数据源详情 修改数据源内容 修改数据源特征 删除数据源 查询数据源任务结果 父主题： API

查看更多 →

链路时，至少有一条数据源链接模式需为“RDS”。 添加数据源 登录MAS控制台，进入“数据源”页面。 在左上角命名空间下拉框选择所需命名空间。 单击右上角的“添加数据源”。 在“添加数据源”页面，填写配置信息，然后单击“确定”。 图1 添加数据源 表1 数据源配置参数 参数 配置说明

查看更多 →

数据标准设计 数据标准设计方法 针对属性字段设计数据标准，数据标准用于描述业务层面需共同遵守的属性层数据含义和业务规则。其描述了对某个数据的共同理解，这些理解一旦确定下来，就应作为标准被共同遵守。数据标准设计遵从以下原则： 以业务为导向，必须满足各标准各方的迫切需求，并根据业务需求分阶段推进制定工作；

查看更多 →

据模型，设计各种样式的管理报表，满足用户的各种账表查询需求。 图1 财务自助分析业务图 企业在日常业务中形成了多种业务和财务数据。 企业管理人员和财务人员想要查看业务或者财务数据的统计表。 可由报表设计人员根据业务人员的需求设计报表样式。 企业管理人员和财务人员根据设计好的报表查询财务业务报表数据。

查看更多 →

API设计配置 ROMA API提供了API设计文件规范性检查，帮助用户快速设计标准的RESTful API。您可以选择已有的规则集或者新建规则集对API设计文件进行规范性检查。 ROMA API也支持配置扩展字段，您按照Swagger规范性设计API的同时，也可额外自定义扩展字段。

查看更多 →