Spark开源增强特性 跨源复杂数据的SQL查询优化 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、 数据仓库 等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark

查看更多 →

Storm开源增强特性 CQL CQL（Continuous Query Language），持续查询语言，是一种用于实时数据流上的查询语言，它是一种SQL-like的语言，相对于SQL，CQL中增加了（时序）窗口的概念，将待处理的数据保存在内存中，进行快速的内存计算，CQL的输

查看更多 →

设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息，需要用户手动在“kafka_properties”属性中配置。 注意事项 在创建Source Stream时可以指定时间模型以便在后续计算中使用，当前 DLI 支持Processing Time和Event

查看更多 →

说明： 指定该配置项时，服务仅加载该认证下指定的文件和密码，系统将自动设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息，需要用户手动在“kafka_properties”属性中配置。 注意事项 无。 示例 将流kafka_sink的数据输出到Kafka中。

查看更多 →

。 HBase开源增强特性：Batch TRSP HBase 2.x内核版本使用HBase Procedure框架重写了region assignment的逻辑（AMV2）。每个Region的open或者close都会有一个TransitRegionStateProcedure(

查看更多 →

Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标： Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数

查看更多 →

Flink开源增强特性 Flink滑动窗口增强 Flink Job Pipeline增强 Flink Stream SQL Join Flink CEP in SQL 父主题： Flink

查看更多 →

个队列包含两种权限：提交应用程序权限和管理应用程序权限（比如终止任意应用程序）。 开源功能： 虽然目前YARN服务的用户层面上支持如下三种角色： 集群运维管理员 队列管理员 普通用户 但是当前开源YARN提供的WebUI/RestAPI/JavaAPI等接口上不会根据用户角色进行

查看更多 →

Oozie开源增强特性 Oozie开源增强特性：安全增强 支持Oozie权限管理，提供管理员与普通用户两种角色。 支持单点登录登出，HTTPS访问以及审计日志。 父主题： Oozie

查看更多 →

Spark开源命令支持说明 本章节介绍了目前DLI对开源的Spark SQL语法的支持情况。详细的语法、参数说明，示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库

查看更多 →

Flume开源增强特性 Flume开源增强特性 提升传输速度。可以配置将指定的行数作为一个Event，而不仅是一行，提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况，自动调整传输超大二进制文件的内存占用情况，不会导致Out of Memory（OOM）的出现。

查看更多 →

基于认证供应商的要求，任何参数都可以被认为是用户。 示例： SAMLAuthenticationProvider使用客户端主体作为用户。 X509AuthenticationProvider使用客户端证书作为用户。 IAuthenticationProvider使用客户端IP作为用户。 自定义认证提供程序实现org

查看更多 →

。 DWS提供标准数仓（DWS 2.0）、标准数仓（DWS 3.0）和实时数仓等多种产品形态，围绕企业级内核、实时分析、协同计算、融合分析、云原生五大方向构筑业界第一数据仓库。详情请参见数据仓库类型。 标准数仓（DWS 2.0）：面向数据分析场景，为用户提供高性能、高扩展、高可靠

查看更多 →

产品 产品族 产品 产品结构 品质参数维护 父主题： 仓储管理

查看更多 →

产品 【功能说明】 用于维护系统管控的产品 【操作步骤】 新增产品：单击“新增”按钮 -> 添加产品信息 -> 单击“保存”按钮；系统支持复制新增和右键批量新增； 图1 新增产品 先进先出：产品勾选了“是否先进先出”，则生产发料时，按照生产日期/入库日期，日期早的优先发料；维护了

查看更多 →

仅支持YARN集群。 上下游数据连接 除了开源connector之外，还提供开箱即用的connector，包括数据库（RDS、 GaussDB ）、消息队列（DMS）、数据仓库（DWS）、对象存储（OBS） 相比开源connector有较多易用性和稳定性提升。 仅提供开源connector。 开发与运维

查看更多 →

数据仓库服务（DWS）连接参数说明 连接数据仓库服务（DWS）时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根

查看更多 →

数据仓库自定义属性 表1 数据仓库自定义属性权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库自定义属性列表 GET /v1.0/{project_id}/common/wareho

查看更多 →

g:EnterpriseProjectId dws:cluster:listProductForDM 授予GDS-Kafka-查询产品信息操作权限。 list cluster * g:ResourceTag/<tag-key> g:EnterpriseProjectId dws:c

查看更多 →

管理控制台错误码 用户通过管理控制台执行数据仓库服务的相关操作后，如果操作请求在执行过程中出现异常，将在管理控制台提示异常信息，异常信息包括返回的错误码及其说明。 错误码说明 您可以通过表1中的处理建议进行下一步操作，处理相应的异常。 表1 错误码 错误码 错误信息 处理建议 DWS

查看更多 →

数据仓库自定义属性 获取数据仓库自定义属性列表 父主题： API

查看更多 →