数据仓库 咨询与规划服务 产品介绍 常见问题 计费说明 父主题： 咨询与规划

查看更多 →

数据源 数据源连接测试失败排查操作 MRS Hive数据源测试连接失败 FTP数据源测试连接失败 OBS数据源测试连接失败 Kafka数据源连接失败

查看更多 →

数据源 创建数据源 查询数据源列表 查询数据源详情 修改数据源内容 修改数据源特征 删除数据源 查询数据源任务结果 父主题： API

查看更多 →

单击右上角的“添加数据源”。 在“添加数据源”页面，填写配置信息，然后单击“确定”。 图1 添加数据源 表1 数据源配置参数 参数 配置说明 所属分区 选择数据源所属的主备分区。 数据源类型 选择数据源类型，目前支持MySQL、PostgreSQL、Redis和OpenGauss。如无法选择某个数据源，请编辑命名空间开通更多功能点。

查看更多 →

，将各种数据源元数据信息采集到数据资产模块，作为技术资产呈现。同时支持采集规范设计创建的数据模型，作为业务资产呈现，并与技术资产自动关联。规范设计中创建的指标也会采集并作为指标资产呈现。 图1 数据地图 元数据采集 元数据（Metadata）是关于数据的数据。在数据仓库系统中，元

查看更多 →

OBS 支持使用 CS V或二进制格式批量传输大量文件到OBS。 参见配置OBS目的端参数。 MRS HDFS 导入数据到HDFS时，支持设置压缩格式。 参见配置HDFS目的端参数。 MRS HBase CloudTable 支持导入数据到HBase，创建新HBase表时支持设置压缩算法。

查看更多 →

品介绍》。 数据仓库服务 GaussDB （DWS）相关介绍请参考《数据仓库服务产品介绍》。 MapReduce服务 MRS相关介绍请参考《MapReduce服务产品介绍》。 云数据库RDS相关介绍请参考《云数据库服务产品介绍》。 父主题： 使用Spark作业跨源访问数据源

查看更多 →

仓上云、友商搬迁华为云，提供了简单易用的迁移能力和多种数据源到数仓的集成能力；DSC语法转化实现了异构数仓业务转化为匹配华为云数据仓库的业务代码，减少业务改造工作量；数据校验工具保证数据迁移过程的数据一致性，降低了客户数据源迁移和集成的复杂性，有效地提高数据迁移和集成的效率。 成

查看更多 →

数据仓库自定义属性 表1 数据仓库自定义属性权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库自定义属性列表 GET /v1.0/{project_id}/common/wareho

查看更多 →

数据仓库优化与支持服务 产品介绍 常见问题 计费说明 父主题： 优化与提升

查看更多 →

数据仓库服务 GaussDB(DWS) Organizations服务中的服务控制策略（Service Control Policy，以下简称SCP）可以使用以下授权项元素设置访问控制策略。 SCP不直接进行授权，只划定权限边界。将SCP绑定到组织单元或者成员账号时，并没有直接对

查看更多 →

Migration，简称 CDM ）实现多种数据源数据到GaussDB(DWS)的迁移。 与 数据复制服务 的关系 您可使用数据复制服务（Data Replication Service，简称DRS）将流式数据实时同步至GaussDB(DWS)。 与云监控的关系 数据仓库服务使用云监控（Cloud Eye

查看更多 →

使用JDBC驱动连接GaussDB(DWS)进行二次开发，熟悉简单的适配DWS的Java开发用例。 1.5h 数据迁移 从老DWS集群迁移数据到新DWS集群 本实验指导用户创建数据仓库集群GaussDB(DWS)并将老GaussDB(DWS)整库迁移到新的GaussDB(DWS)。同时，针对使用自增序列

查看更多 →

Migration，简称CDM），是一个高效、易用的批量数据迁移服务。CDM围绕大数据迁移上云和 智能数据湖 解决方案，提供了简单易用的迁移能力和多种数据源到 数据湖 的集成能力，降低了客户数据源迁移和集成的复杂性，有效地提高您数据迁移和集成的效率。 数据湖探索 DLI ：数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache

查看更多 →

支持分库分表同步的数据源如下所示： 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线同步场景，不适用于在线实时同步。 支持整库同步的数据源（已支持的数据

查看更多 →

CDM数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据写入到目的端，数据访问操作均由CDM主动发起，对于数据源（如RDS数据源）支持SSL时，会使用SSL加密传输。迁移过程要求用户提供源端和目的端数据源的用户名和密码，这些信息将存储在CDM实例的数据库中。保护这些信息对于CDM安全至关重要。

查看更多 →

e、HBase、MySQL、DWS（数据仓库服务）数据源，使用高效的数据导入接口导入数据。 多种数据源支持 数据源类型繁杂，针对不同数据源开发不同的任务，脚本数量成千上万。 支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。 多种网络环境支持 随着云计算技术

查看更多 →

OpenSource SQL作业从Kafka读取数据写入到RDS的开发示例。 从Kafka读取数据写入到DWS 介绍使用Flink OpenSource SQL作业从Kafka读取数据写入到DWS的开发示例。 从Kafka读取数据写入到Elasticsearch 介绍使用Flink OpenSource

查看更多 →

数据仓库服务（DWS）连接参数说明 连接数据仓库服务（DWS）时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根

查看更多 →

数据源--添加API数据源 操作步骤 登录进入“IoT数据分析”服务控制台。 在左侧导航栏选择“数据源>API数据源”进入页面。 点击“添加数据源”按钮，在弹出的页面中输入数据源名称，点击“确定”按钮，完成API数据源的添加。您可通过第三方APP（例如postman）向这个API数据源的URL发送数据。

查看更多 →

数据源--添加DIS数据源 前提条件 您已购买华为云DIS服务。 操作步骤 点击IoT数据分析服务控制台左侧导航栏的数据源，进入数据源页面，点击“实时数据源”。 实时点击“添加数据源”，在弹出的页面中输入消息通知服务的连接参数，各参数说明详见表1。 表1 添加实时数据源参数说明 参数名

查看更多 →