Upsert数据写入 本章节主要介绍ClickHouse数据写入时数据去重写入功能的SQL基本语法和使用说明。 本章节仅适用于 MRS 3.3.0及之后版本。 基本语法 方法一：使用INSERT VALUES方式进行数据写入。 UPSERT INTO [database_name.]table

查看更多 →

流式写入Hudi表 本章节仅适用于MRS 3.3.1-LTS及之前版本。 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能：

查看更多 →

描述SMN服务向HTTP(S)终端发送消息的格式，您可以通过消息头部信息中的消息类型来区分消息格式。消息格式包括：HTTP(S)订阅确认消息的格式、HTTP(S)推送消息的格式和HTTP(S)取消订阅消息的格式三种消息格式，HTTP/HTTPS协议均为POST方式。 当SMN服务向HTT

查看更多 →

HTTP连接器 前提条件 连接的数据源已创建，如何创建请参见HTTP连接器数据源。 创建HTTP连接器数据集 参考登录AstroCanvas界面中操作，登录AstroCanvas界面。 在主菜单中，选择“数据中心”。 在左侧导航栏中，选择“数据集 > 全部”。 在数据集管理页面，单击“新建数据集”。

查看更多 →

HTTP（IAM认证） HTTP（IAM认证）连接器包含“创建http请求”一个执行动作。 连接参数 创建http请求连接时使用IAM认证，连接参数说明如表1所示。 表1 连接参数说明 名称 必填 说明 示例值/默认值 连接名称 是 设置连接名称。 HTTP(IAM认证)的连接 描述

查看更多 →

X-API-Key 是 apikey。 创建http请求 “创建http请求”执行动作为用户提供发送网络请求的能力，用户填写表单信息完成构造HTTP请求。 输入参数 用户配置创建http请求执行动作，相关参数说明如表2所示。 表2 创建http请求输入参数说明 参数 必须 说明 方法 是 选择

查看更多 →

ging Table）中。 在MapReduce作业的提交阶段，将数据从临时表迁移到正式表中。 数据导出到文件系统 在MapReduce作业的Map阶段，从HDFS或者HBase中抽取数据，然后将数据写入到文件 服务器 临时目录中。 在MapReduce作业的提交阶段，将文件从临时目录迁移到正式目录。

查看更多 →

批量写入Hudi表 引入Hudi包生成测试数据，参考使用Spark Shell创建Hudi表章节的2到4。 写入Hudi表，写入命令中加入参数：option("hoodie.datasource.write.operation", "bulk_insert")，指定写入方式为bulk_insert，如下所示：

查看更多 →

流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入

查看更多 →

fromCompression 否 枚举 选择对应压缩格式的源文件进行迁移： NONE：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。 fromJobConfig.compressedFileSuffix

查看更多 →

通用请求Http Status Code 正常 表1 正常返回说明 返回值 说明 200 请求成功。 202 异步请求成功提交（任务执行等）。 异常 表2 异常返回说明 返回值 说明 400 Bad Request 服务器未能处理请求。 401 Unauthorized 被请求的页面需要用户名和密码。

查看更多 →

getDefaultHttpConfig(); 网络代理（可选） // 根据需要配置网络代理，网络代理默认的协议为 `http` 协议 config.withProxyHost("proxy.huaweicloud.com") .withProxyPort(8080) .withProxyUsername("test")

查看更多 →

创建http转rpc方法 功能介绍 创建http转rpc方法。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/engin

查看更多 →

ways/{gateway_id}/http2Rpcs/{http2Rpc_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id gateway_id 是 String 网关实例id http2Rpc_id 是 String 插件id

查看更多 →

ay_id}/http2Rpcs/{http2Rpc_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id gateway_id 是 String 网关实例id http2Rpc_id 是 String http2Rpc id 请求参数

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

访问集群WebUI界面 03:07 访问集群WebUI界面 MapReduce服务 MRS 删除MRS集群 00:53 删除MRS集群 MapReduce服务 MRS 提交MapReduce作业 02:11 提交MapReduce作业 MapReduce服务 MRS MRS集群健康检查 03:25

查看更多 →

开启HTTP/2提升通信效率 HTTP/2概述 HTTP/2即超文本传输协议 2.0，能通过二进制分帧提升网络通信效率，实现多路复用减少延迟。如果您需要保证HTTPS业务更加安全高效，可以在配置HTTPS监听器时，开启HTTP/2功能。 约束与限制 仅HTTPS监听器支持HTTP/2功能。

查看更多 →