数据源管理 数据源管理简介 准备离线数据源 上传离线数据源至OBS 上传实时数据 创建离线数据源 导入近线数据源 数据质量管理 修改或删除数据源

查看更多 →

用户需要自己手工创建整理这些表并存储到OBS上。 每张表的表结构必须符合推荐系统的要求，列名和字段类型需要和规范中保持一致（参考下面的表结构说明）。 每张表中填充的数据，必须符合推荐引擎的要求。 对于业务数据中无法提供的字段可以填NULL。 用户属性表 用户属性表记录用户的属性信息，例如地域、爱好等，属性名和属性值成对出现。

查看更多 →

数据源管理 创建、维护数据归档的目标数据源。 图1 数据源管理 新建/重命名/删除目录 图2 编辑数据源 新建数据源：新增数据归档的目标数据库名称、连接串、访问数据库的账号及密码 图3 新建数据源 父主题： 数据生命周期平台操作手册

查看更多 →

String 工作空间ID，即控制台的项目ID。 最小长度：0 最大长度：128 X-Auth-Token 是 String 用户Token。通过调用IAM服务 获取IAM用户Token接口获取，接口返回的响应消息头中“X-Subject-Token”就是需要获取的用户Token。 最小长度：0

查看更多 →

获取IAM用户Token接口获取，接口返回的响应消息头中“X-Subject-Token”就是需要获取的用户Token。 最小长度：0 最大长度：8192 表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 数据源名称。 最小长度：1 最大长度：255

查看更多 →

定写权限需要的连接串。 数据写入用户名：必填，用于指定连接到该数据源的用户名。 数据写入密码：必填，用于指定连接到该数据源的密码。 数据只读连接字符串：因图数据库分读写权限，所以此部分用于指定读权限需要的连接串。 数据只读用户名：必填，用于指定只读权限连接到该数据源的用户名。 数

查看更多 →

用户认证文件，文件获取方式参见API参考的“附录 > 获取数据源配置文件”章节。 将获取到的文件打包成zip文件，文件名配置在config_file_name中，内容以BASE64编码形式放到config_file_content。 数据源为 MRS HIVE、MRSHDFS、MRS

查看更多 →

用户认证文件，文件获取方式参见API参考的“附录 > 获取数据源配置文件”章节。 将获取到的文件打包成zip文件，文件名配置在config_file_name中，内容以BASE64编码形式放到config_file_content。 数据源为MRSHIVE、MRSHDFS、MRS

查看更多 →

接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源 接入SYBASEIQ数据源 接入HANADB数据源 接入APPCUBE数据源 接入APIC数据源 接入 数据治理中心 数据源 接入本地文件数据源 接入IOT数据源 接入自定义数据源 接入COMPOSE数据源 父主题：

查看更多 →

例到数据源所在子网的路由配置。 接入数据源 根据数据源类型的不同，数据源的接入配置有所差异，具体如下表所示。接入数据源后，单击数据源名称可以查看数据源详情，数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于

查看更多 →

接入数据源 概述 在创建数据API之前，您需要先接入数据源，确保可以正常从数据源读取数据。根据数据源类型的不同，数据源的接入配置有所差异。 前提条件 在接入数据源前，请确保ROMA Connect实例与您的数据源所在网络互通。 若ROMA Connect实例与数据源在相同VPC内时，可直接访问数据源。

查看更多 →

类。 公告数据源：可以选择系统管理员创建和当前企业内部自建的公告分类。 说明： 仅当“数据源类型”选择“自有类型”时需要配置。 关联组件 该数据源适配的组件，设置后该数据源才能被对应的组件选中。 配置完成后，单击“确定”。 更多操作 数据源配置完成后，您还可以执行表2的操作。 表2

查看更多 →

管理数据源 管理MRS数据源 管理OBS数据源 管理LakeFormation数据源

查看更多 →

上传dws需要上传表所在的schema的只读权限。 下载结构化数据到mysql需要数据库的建表(create)和写入(insert)权限，而下载到Oracle和dws需要下载至目标schema的写入(insert)和建表(create)权限。 接入ORACLE数据源 接入MYSQL数据源 接入DWS数据源

查看更多 →

ionServer 配置OPC-UA服务端的用户身份，添加一个用户名和密码，如 用户名：edge-test 密码：1234 定义数据源属性。 例如在OPC UA服务端模拟器的地址空间中，可认为Simulation是接入OPC UA服务端的一个设备，该设备有 Counter, Ra

查看更多 →

关参数。 应用：选择调用自定义接口所属的应用。 API接口：选择待调用的API接口，下拉框中的选项取值为接口的标签，若接口标签取值为中文，则这里“API接口”显示为中文标签。如果接口标签未定义，则显示接口的操作名称。 请求类型：API接口的请求类型，系统会自动填入。 参数：接口入参，当有入参时，系统会自动展示。

查看更多 →

数据源管理 关系型数据库数据源 ROMA连接器数据源 AstroZero数据源 DLI 数据源 DWS数据源 HTTP连接器数据源 删除数据源 父主题： 数据中心

查看更多 →

尾。 项目名称：DLI服务所在区域的项目名称，获取方法如下。 登录华为云管理控制台。 将鼠标移动到右上角用户名上，在下拉列表中单击“我的凭证”。 在“我的凭证 > API凭证 > 项目列表”中，获取“项目”的值。 项目ID：DLI服务所在的区域的项目ID，获取方法如下。 登录华为云管理控制台。

查看更多 →

示例场景说明 本实践通过 DataArts Studio 服务的数据集成 CDM 组件、数据开发DLF组件和 数据仓库 服务（DWS）对电影评分原始数据进行分析，输出评分最高和最活跃Top10电影。您可以学习到数据集成模块的数据迁移和数据开发模块的脚本开发、作业开发、作业调度等功能，以及DWS SQL基本语法。

查看更多 →

当前开源Spark在跨源查询时，只能对简单的filter进行下推，因此造成大量不必要的数据传输，影响SQL引擎性能。针对下推能力进行增强，当前对aggregate、复杂projection、复杂predicate均可以下推到数据源，尽量减少不必要数据的传输，提升查询性能。 目前仅支持JDBC数据源的查询下推，支

查看更多 →

Processing)大规模并行处理引擎，由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中，业务数据被分散存储在多个节点上，数据分析任务被推送到数据所在位置就近执行，并行地完成大规模的数据处理工作，实现对数据处理的快速响应。 图1 产品架构 应用层 数据加载工

查看更多 →