解决DLF+Presto查询时字段中包含换行符，数据和文件显示问题 支持presto查询结果保存成一个文件 MRS 2.1.0.6 修复问题列表： MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制

查看更多 →

怎样查看 DLI 队列负载？ 场景概述 如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。 操作步骤 在控制台搜索“ 云监控服务 CES”。 图1 搜索CES 进入CES后，在页面左侧“云服务监控”列表中，单击“ 数据湖探索 ”。 图2 云服务监控 选择队列进行查看。

查看更多 →

之为SQL作业。 SQL作业适用于使用标准SQL语句进行查询的场景。通常用于结构化数据的查询和分析。 Flink作业 Flink作业专为实时数据流处理设计，适用于低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。 Flink OpenSource作业：提交作业时可以使用

查看更多 →

。具体操作有： 查询作业状态 查询作业详细信息 查询作业结果-方式二（废弃） 导出查询结果 查询所有作业 取消作业（推荐） 该API当响应消息中“job_type”为“DCL”时，为同步操作。 调试 您可以在 API Explorer 中调试该接口。 URI URI格式： POST /v1

查看更多 →

bs/delete Spark作业相关 表6 Spark作业相关API&SDK的对应关系表 Class Method Java Method Python Method API BatchJob 提交批处理作业 asyncSubmit submit_spark_batch_job

查看更多 →

此时作业正在执行Spark SQL过程中，需要等Spark SQL执行完作业才会结束。 原因分析 打开日志，搜索insert into，找到如下的日志，根据日志中打印的Yarn ApplicationId到MRS Resource Manager上看Yarn任务详情。 执行Spark

查看更多 →

查询作业实例详情 功能介绍 查询指定作业实例详情信息，包括作业实例内各个节点的执行信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs/{job_name}/instances/{instance_id}

查看更多 →

创建消息通知主题 选择队列，单击“确定”。 选择队列时，可以选择单个队列，也可以选择所有队列。 如果单个队列和所有队列的终端不一致，当选择了单个队列，同时选择了所有队列进行订阅时，在所有队列的消息通知中将不包含该队列的消息。 创建消息通知主题后，只有在订阅队列上创建的Spark作业失败时才会收到消息通知。

查看更多 →

选择要操作的弹性资源池，在“操作”列，单击“添加队列”。 在“添加队列”界面，首先需要配置队列的基础配置，具体参数信息如下。 表2 弹性资源池添加队列基础配置 参数名 参数描述 名称 弹性资源池添加的队列名称。 类型 SQL队列：用于运行SQL作业。 通用队列：用于运行Spark作业 、Flink 作业。 执行引擎

查看更多 →

SQL队列是用于执行SQL作业的队列，支持指定引擎类型包括Spark和HetuEngine。 SQL队列适用于需要快速数据查询和分析，以及需要定期清理缓存或重置环境的业务。 通用队列： 通用队列用于执行Spark作业、Flink OpenSource SQL作业和Flink Jar作业的队列。 适合适用于

查看更多 →

类型 说明 队列相关 介绍查询所有队列的Python SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关的Python SDK使用说明。 Spark作业相关 介绍提

查看更多 →

“添加队列”。 配置队列的基础配置，具体参数信息如下。 表4 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。 执行SQL作业请选择SQL队列。 执行Flink或Spark作业请选择通用队列。

查看更多 →

通用队列上运行的Spark作业的优先级默认为3。 调整作业优先级需要停止作业后编辑，并重新提交运行才能生效。 Spark作业操作步骤 在“Spark参数”中配置如下参数，其中x为优先级取值。 spark.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > Spark作业”。

查看更多 →

开发实时处理单任务DLI Spark作业 前提条件 参见新建作业创建一个实时处理的单任务DLI Spark作业。 配置DLI Spark作业 表1 配置属性参数 参数 是否必选 说明 作业名称 是 输入DLI Spark作业名称。 作业名称只能包含英文字母、数字、下划线和中划线，且长度为1~64个字符。

查看更多 →

步骤5：创建Flink Jar作业并配置作业信息 创建Flink Jar作业。 在DLI管理控制台的左侧导航栏中，单击“作业管理 > Flink作业”，进入Flink作业列表页面。 单击“创建作业”，弹出“创建作业”对话框。 本例选择Flink Jar作业类型，作业名称为Flink_Jar_for_test。

查看更多 →

type为DLISQL时，可以通过查看所有数据库接口获取数据库信息。 type为其他类型的时候，需要通过JDBC方式连上集群，查询数据库信息。默认值为空。 queueName 否 String DLI资源队列名称，当type参数值为DLISQL时，才支持此参数。可以通过查询队列列表接口获取队列信息。默认值为空。

查看更多 →

查看权限信息 用户完成授权后，可以在“公共平台->系统配置->用户权限->权限360”里面查看权限 图1 查看权限 表1 查看权限 选择 说明 按人员查看 选择对应的组织单元查看权限 按功能查看 选择功能名称查看权限 父主题： 用户权限管理

查看更多 →

查看帮助信息 KooCLI支持在命令中添加“--help”参数查看帮助信息，例如： hcloud --help 查看KooCLI的使用方法及支持的云服务列表。 hcloud <service> --help 查看指定云服务的operation列表。例如查看“E CS ”服务的operation列表：hcloud

查看更多 →

查看监控信息 操作步骤 登录管理控制台。 选择“服务列表 > 管理与监管 > 优化顾问”优化顾问服务页面。 左侧导航树选择“容量优化 > 日常风险预测/重保风险预测”。 页面右上角选择想要查看的资源条件。注意：不同的预测模式对应的风险报告不同，风险列表的展示样式也不同。 自定义风

查看更多 →

查看带宽信息 使用场景 创建弹性公网IP后，当使用该弹性公网IP的单条运营商线路不存在共享带宽时，系统自动为该线路分配一条共享带宽。 对于单条运营商线路，所有弹性公网IP共用一条共享带宽，不同线路使用不同的带宽。关于带宽的介绍请参见带宽管理。 您可以查看带宽的基本信息，包括带宽名

查看更多 →

查看概览信息 查询流量峰值、攻击计数 带宽曲线 查询DDoS攻击防护BPS/PPS流量 查询攻击事件列表 查询DDoS攻击事件列表 查询请求QPS 查询CC攻击防护请求QPS 查询新建连接数和并发连接数 父主题： DDoS高防API

查看更多 →