作业队列 平台为脱敏作业提供作业队列的功能，用户可在此查看任务队列，同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 作业队列”页签，可查看作业。 图1 作业队列 父主题： 数据脱敏

查看更多 →

队列相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化 DLI 客户端完成客户端DLIClient的初始化。 创建队列 DLI提供创建队列的接口，您可以使用该接口创建队列。示例代码如下： 1 2 3 4 5 6 7 8 9 private static

查看更多 →

队列相关 约束限制 当前使用SDK创建的作业不支持在default队列上运行。 查询所有队列 DLI提供查询队列列表接口，您可以使用该接口并选择相应的队列来执行作业。示例代码如下： 1 2 3 4 5 6 7 8 9 def list_all_queues(dli_client):

查看更多 →

x及之后版本请参考使用说明。 单击“队列配置”页签。 在租户队列表格，指定租户队列的“操作”列，单击“修改”。 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 一个队列只能绑定一个非default资源池。 MRS 3.x之前版本： 表1 队列配置参数 参数名

查看更多 →

配置队列 操作场景 用户根据业务需求，可以在MRS Manager修改指定租户的队列配置。 前提条件 已添加关联Yarn并分配了动态资源的租户。 操作步骤 在MRS Manager，单击“租户管理”。 单击“动态资源计划”页签。 单击“队列配置”页签。 在租户队列表格，指定租户队列的“操作”列，单击“修改”。

查看更多 →

配置DMS Kafka连接 连接DMS的Kafka队列时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 DMS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据

查看更多 →

配置DMS Kafka连接 连接DMS的Kafka队列时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 DMS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据

查看更多 →

传输存储层 数据传输：AOM Access是用来接收运维数据的代理服务，运维数据接收上来之后，会将数据投放到Kafka队列中，利用Kafka高吞吐的能力，实时将数据传输给业务计算层。 数据存储：运维数据经过AOM后端服务的处理，将数据写入到数据库中，其中Cassandra用来存储数据

查看更多 →

Broker的时间。 消息键（Key）与消息体（Value）的格式 Kafka消息的消息键和消息体部分都可以使用某种格式来序列化或反序列化成二进制数据。 消息体格式 由于 Kafka 消息中消息键是可选的，以下语句将使用消息体格式读取和写入消息，但不使用消息键格式。 'format'

查看更多 →

--bootstrap-server Kafka的Broker实例业务IP:Kafka端口号 --consumer.config /opt/client/Kafka/kafka/config/consumer.properties 参考管理Kafka Topic中的消息，查看Topic并向Kafka中写入数据

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明

查看更多 →

Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题： 组件介绍

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明

查看更多 →

了解DLI请参见 数据湖 产品介绍。 了解Kafka请参见分布式消息服务Kafka产品介绍。 图1 Kafka实时入库DWS 本实践预计时长90分钟，实践用到的云服务包括虚拟私有云 VPC及子网、弹性负载均衡 ELB、弹性云服务器 E CS 、对象存储服务 OBS、分布式消息服务 Kafka、 数据湖探索 DLI和 数据仓库 服务

查看更多 →

了解DLI请参见数据湖产品介绍。 了解Kafka请参见分布式消息服务Kafka产品介绍。 图1 Kafka实时入库DWS 本实践预计时长90分钟，实践用到的云服务包括虚拟私有云 VPC及子网、弹性负载均衡 ELB、弹性云服务器 ECS、对象存储服务 OBS、分布式消息服务 Kafka、数据湖探索 DLI和数据仓库服务

查看更多 →

系统default队列不支持创建跨源连接。 访问跨源表需要使用已经创建跨源连接的队列。 在Kafka的安全组上放通DLI队列网段 在Kafka管理控制台，选择“Kafka专享版”，单击对应的Kafka名称，进入到Kafka的基本信息页面。 在“连接信息”中获取该Kafka的“内网连接地

查看更多 →

步骤一：创建分布式消息kafka 登录华为云控制台 单击“服务列表”，选择“应用中间件 > 分布式消息服务kafka版”，进入“分布式消息服务kafka版”页面，如下图所： 图2 分布式消息服务kafka版 单击“购买Kafka实例”，本次实验配置如下： 图3 购买Kafka实例 步骤二：开启SmartConnect

查看更多 →

户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 Kafka将日志存储在消息文件中，实现日志的持久化存储。 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。

查看更多 →

作业队列 查询排队作业列表 操作队列 批量更新队列优先级 父主题： API

查看更多 →

删除队列 功能介绍 该API用于删除指定队列。 若指定队列正在执行任务，则不允许删除。 调试 您可以在 API Explorer 中调试该接口。 URI URI格式： DELETE /v1.0/{project_id}/queues/{queue_name} 参数说明 表1 URI参数

查看更多 →

创建队列 场景描述 本章节指导用户通过API创建队列。 约束限制 该接口创建的队列将会绑定用户指定的计算资源。 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 涉及接口 创建队列：创建队列。 查询队列详情：确认队列创建成功。 操作步骤 创建队列。 接口相关信息 URI格式：POST

查看更多 →