写入/更新命令 用户做了大量写入/更新操作后，实际数据量可能没有多大变化，但磁盘空间使用量增加了。是因为无论是写入、更新还是删除，以及索引插入和删除等操作，在后台实际上都会转成写入。因为底层的存储引擎（WiredTiger和RocksDB）采用都是appendOnly机制。只有当

查看更多 →

写入OpenTSDB数据 功能简介 使用OpenTSDB的接口(/api/put)写入数据。 函数genWeatherData()模拟生成的气象数据，函数putData()发送气象数据到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb

查看更多 →

写入操作配置 本章节介绍Hudi重要配置的详细信息，更多配置请参考hudi官网：http://hudi.apache.org/cn/docs/configurations.html。 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource.write.table

查看更多 →

配置FTP/SFTP源端参数 作业中源连接为FTP/SFTP连接时，源端作业参数如表1所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数

查看更多 →

配置FTP/SFTP源端参数 作业中源连接为FTP/SFTP连接时，源端作业参数如表1所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数

查看更多 →

指定是否打开监控指标数据对接功能。 是 FTP IP地址 指定监控指标数据对接后存放监控文件的FTP 服务器 。 是 FTP端口 指定连接FTP服务器的端口。 是 FTP用户名 指定登录FTP服务器的用户名。 是 FTP密码 指定登录FTP服务器的密码。 是 保存路径 指定监控文件在FTP服务器保存的路径。 是

查看更多 →

如果需要使用FTP服务器的被动模式，则需要配置FTP防火墙支持。 如果华为云上的服务器需要通过公网IP地址访问华为云上的实例搭建的FTP服务器时，需要配置FTP服务器的被动模式。 双击“FTP防火墙支持”，打开FTP防火墙支持的配置界面。 配置相关参数，并单击“应用”。 数据通道端口范围：指定用于被动连接的端口范围

查看更多 →

FTP服务器的IP FTP服务器的IP地址。 ftpName FTP服务器端口 FTP服务器的端口号。 22 FTP用户名 访问FTP服务器的用户名。 root FTP密码 访问FTP服务器的密码。 xxxx FTP模式 设置FTP访问模式，“ACTIVE”表示主动模式，“PASSIVE”表示被动模式。不指定参数值，默认为被动模式。

查看更多 →

保存最终数据的数据表名称。 ftp-connector或sftp-connector 表3 ftp-connector或sftp-connector目的连接属性 参数 说明 写入目录 最终数据在文件服务器保存时的具体目录。必须指定一个目录。 文件格式 Loader支持文件服务器中存储数据的文件格式，默认支持以下两种：

查看更多 →

填写数据源的描述信息。 协议 选择接入FTP数据源使用的协议，可选择“FTP”和“SFTP”。 连接地址 填写FTP数据源的连接地址和端口号。 用户名 FTP数据源的登录用户名。 密码 FTP数据源的登录密码。 连接模式 仅当“协议”选择“FTP”时需要配置。 选择FTP数据源的连接模式。 主动

查看更多 →

配置FTP/SFTP源端参数 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 要传输的目录或单个文件路径。 FROM_DIRECTORY/ or FROM_DIRECTORY/example.csv 文件格式 传输数据时使用的格式。

查看更多 →

本地Linux主机使用FTP上传文件到Linux云服务器 操作场景 本文介绍如何在 Linux 系统的本地机器上使用 FTP 服务，将文件从本地上传到云服务器中。 前提条件 已在待上传文件的云服务器中搭建 FTP 服务。 云服务器已绑定弹性公网IP，且安全组入方向开启TCP协议的21端口。

查看更多 →

批量写入Hudi表 引入Hudi包生成测试数据，参考使用Spark Shell创建Hudi表章节的2到4。 写入Hudi表，写入命令中加入参数：option("hoodie.datasource.write.operation", "bulk_insert")，指定写入方式为bulk_insert，如下所示：

查看更多 →

流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入

查看更多 →

Upsert数据写入 本章节主要介绍ClickHouse数据写入时数据去重写入功能的SQL基本语法和使用说明。 本章节仅适用于 MRS 3.3.0及之后版本。 基本语法 方法一：使用INSERT VALUES方式进行数据写入。 UPSERT INTO [database_name.]table

查看更多 →

批量写入Hudi表 引入Hudi包生成测试数据，参考使用Spark Shell创建Hudi表章节的2到4。 写入Hudi表，写入命令中加入参数：option("hoodie.datasource.write.operation", "bulk_insert")，指定写入方式为b

查看更多 →

Linux操作系统的本地主机安装ftp。 以CentOS 7.6操作系统为例，执行以下命令安装ftp yum -y install ftp 执行以下命令连接 云服务器 。 ftp 云服务器弹性公网IP 并根据提示，输入FTP服务的用户名和密码。 上传文件 执行以下命令，将本地文件上传至云服务器中。 put

查看更多 →

流式写入Hudi表 本章节仅适用于MRS 3.3.1-LTS及之前版本。 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能：

查看更多 →

测试成功。 针对FTP服务器的防火墙来说，必须允许以下通讯才能支持主动方式FTP： 1. 任何大于1024的端口到FTP服务器的21端口（客户端初始化的连接）。 2. FTP服务器的21端口到大于1024的端口（服务器响应客户端的控制端口）。 3. FTP服务器的20端口到大于1

查看更多 →

本地Windows主机使用FTP上传文件到Windows/Linux云服务器 操作场景 本节操作介绍如何在Windows操作系统的本地主机上使用FTP上传文件到云服务器。 前提条件 云服务器已绑定弹性公网IP，且安全组入方向开启TCP协议的21端口。 已在待上传文件的云服务器中搭建 FTP 服务。

查看更多 →

本地Windows主机使用FTP上传文件到Windows/Linux云服务器 操作场景 本节操作介绍如何在Windows操作系统的本地主机上使用FTP上传文件到云服务器。 前提条件 云服务器已绑定弹性公网IP，且安全组入方向开启TCP协议的21端口。 已在待上传文件的云服务器中搭建 FTP 服务。

查看更多 →