设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息，需要用户手动在“kafka_properties”属性中配置。 注意事项 在创建Source Stream时可以指定时间模型以便在后续计算中使用，当前 DLI 支持Processing Time和Event

查看更多 →

说明： 指定该配置项时，服务仅加载该认证下指定的文件和密码，系统将自动设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息，需要用户手动在“kafka_properties”属性中配置。 注意事项 无。 示例 将流kafka_sink的数据输出到Kafka中。

查看更多 →

。 HBase开源增强特性：Batch TRSP HBase 2.x内核版本使用HBase Procedure框架重写了region assignment的逻辑（AMV2）。每个Region的open或者close都会有一个TransitRegionStateProcedure(

查看更多 →

Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标： Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数

查看更多 →

个队列包含两种权限：提交应用程序权限和管理应用程序权限（比如终止任意应用程序）。 开源功能： 虽然目前YARN服务的用户层面上支持如下三种角色： 集群运维管理员 队列管理员 普通用户 但是当前开源YARN提供的WebUI/RestAPI/JavaAPI等接口上不会根据用户角色进行

查看更多 →

数据仓库 服务（DWS）连接参数说明 连接数据仓库服务（DWS）时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根

查看更多 →

产品 产品族 产品 产品结构 品质参数维护 父主题： 仓储管理

查看更多 →

产品 【功能说明】 用于维护系统管控的产品 【操作步骤】 新增产品：单击“新增”按钮 -> 添加产品信息 -> 单击“保存”按钮；系统支持复制新增和右键批量新增； 图1 新增产品 先进先出：产品勾选了“是否先进先出”，则生产发料时，按照生产日期/入库日期，日期早的优先发料；维护了

查看更多 →

，实现数字化转型。 产品架构如图1所示。 图1 产品架构 如图所示， DataArts Studio 基于数据底座，提供数据集成、开发、治理等能力。DataArts Studio支持对接所有华为云的 数据湖 与数据库云服务作为数据底座，例如 MRS Hive、数据仓库服务DWS等，也支持对

查看更多 →

各行业PB级海量大数据分析提供有竞争力的解决方案。 DWS提供存算一体、存算分离多种产品形态，围绕企业级内核、实时分析、协同计算、融合分析、云原生五大方向构筑业界第一数据仓库。详情请参见数据仓库类型。 存算一体：面向数据分析场景，为用户提供高性能、高扩展、高可靠、高安全、易运维的

查看更多 →

产品功能 作业管理 元数据管理 企业项目管理 多租户资源管理 组件WebUI便捷访问 节点自定义引导操作 集群管理 集群运维 集群状态消息通知 MRS安全增强 MRS可靠性增强

查看更多 →

数据源管理与数据标准管理 数据建模 数据开发 数据血缘、资源管理、函数管理和变量管理 数据发布CI/CD、任务运维 数据质量管理 元数据管理 数据资源管理 数据服务管理 数据安全 父主题： 产品操作

查看更多 →

Spark开源命令支持说明 本章节介绍了目前DLI对开源的Spark SQL语法的支持情况。详细的语法、参数说明，示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库

查看更多 →

Flume开源增强特性 Flume开源增强特性 提升传输速度。可以配置将指定的行数作为一个Event，而不仅是一行，提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况，自动调整传输超大二进制文件的内存占用情况，不会导致Out of Memory（OOM）的出现。

查看更多 →

基于认证供应商的要求，任何参数都可以被认为是用户。 示例： SAMLAuthenticationProvider使用客户端主体作为用户。 X509AuthenticationProvider使用客户端证书作为用户。 IAuthenticationProvider使用客户端IP作为用户。 自定义认证提供程序实现org

查看更多 →

平滑演进。 数据仓库服务DWS GaussDB (DWS)是企业级的大规模并行处理关系型数据库。其采用MPP（Massive Parallel Processing）架构，支持行存储与列存储，提供PB（Petabyte，2的50次方字节）级别数据量的处理能力。数据仓库服务（Gaus

查看更多 →

数据仓库服务（DWS）连接参数说明 连接数据仓库服务（DWS）时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根

查看更多 →

数据仓库自定义属性 获取数据仓库自定义属性列表 父主题： API

查看更多 →

数据仓库咨询与规划服务 产品介绍 常见问题 计费说明 父主题： 咨询与规划

查看更多 →

DB(DWS)集群和迁移管理以及了解GaussDB(DWS)数据库的高级特性，将具备数据仓库对象创建、管理和查询，数据仓库基础运维，数据仓库的安全配置及管理等能力，胜任数据仓库二次开发和数据仓库管理运维岗位。 HCIP-GaussDB(for MySQL) 培养和认证具备基于GaussDB(for

查看更多 →

图1 数据地图 元数据采集 元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到目标数据，用于指导其进行数据管理和开发工作，提高工作效率。元数据管理模块是 数据治理 的基石，支持创建自定义策略的采集任务，采集数据源中的技术元数据、全链路的血缘管理。

查看更多 →