HDFS HTTP REST API接口介绍 功能简介 REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用： http://hadoop.apache.org/docs/r3.1.1/hadoo

查看更多 →

数据删了磁盘空间但没有减少 无论写入、更新或删除（包括索引插入和删除）等操作，在后台实际上都会转成写入。实例在使用过程中，删除数据并不会回收磁盘空间，这些未被回收的磁盘空间被称为磁盘碎片。磁盘碎片会被数据库继续使用，当有新数据插入时，会重复利用这些碎片，而不需要新申请磁盘空间。根

查看更多 →

FILE_TYPE字段说明 参数 描述 id 文件句柄。 datatype 表明文件是CHAR文件还是NCHAR文件或者二进制文件，目前支持CHAR文件和NCHAR文件。CHAR文件返回1，NCHAR文件返回2。 byte_mode 表明文件是以二进制模式打开（TRUE）还是以文本模式打开（FALSE）。

查看更多 →

挂载至两种 服务器 系统的文件系统无法写入数据 现象描述 当将同一个文件系统分别挂载到已创建的Linux 云服务器 和Windows云服务器后，在Windows云服务器上无法对在Linux云服务器上创建的文件写入数据。 可能原因 由于共享的NFS文件系统归属于root权限，且无法修改该所

查看更多 →

存在大量过期的数据文件占用磁盘空间，此时需要及时处理过期数据文件。例如：如果整个库不需要了，则可以执行dropDatabase命令进行删除，从而快速释放磁盘空间。 后台数据处理机制原因。 无论写入、更新或删除（包括索引插入和删除）等操作，在后台实际上都会转成写入。实例在使用过程中

查看更多 →

存在大量过期的数据文件占用磁盘空间，此时需要及时处理过期数据文件。例如：如果整个库不需要了，则可以执行dropDatabase命令进行删除，从而快速释放磁盘空间。 后台数据处理机制原因。 无论写入、更新或删除（包括索引插入和删除）等操作，在后台实际上都会转成写入。实例在使用过程中

查看更多 →

该触发事件无输出参数说明。 写入数据 写入业务对象数据。 输入参数 用户配置写入数据触发事件，相关参数说明如表4所示。 表4 写入数据输入参数说明 参数 必须 说明 目标业务对象 是 选择目标业务对象。 数据 是 选择目标字段对象和源字段对象。 写策略 是 选择覆盖或者追加。 输出参数 该触发事件无输出参数说明。

查看更多 →

否 一个打开的文件句柄。 r RAW IN 是 准备传入文件的数据 说明： 对于写操作，会检测文件类型，如果写入elf文件，将会报错并退出。 PKG_UTIL.FILE_FLUSH 一个文件句柄中的数据要写入到物理文件中，缓冲区中的数据必须要有一个行终结符。当文件必须在打开时读取

查看更多 →

DLI 外表的名称 file_format - DLI外表使用的数据格式 mode - 数据的写入类型（追加或覆盖，默认为覆盖模式）。使用PySpark insertInto函数，因此追加或者覆盖都要保证特征列数量和顺序一致 OBS_path - 用户目标DLI外表的OBS存储路径

查看更多 →

120000 设置读取文件的空闲时间，单位：毫秒。如果在该时间内文件内容没有变更，关闭掉该文件，关闭后如果该文件有数据写入，重新打开并读取数据。 writePosInterval 3000 设置将元数据写入到文件的周期，单位：毫秒。 batchSize 1000 批次写入Channel的Event数量。

查看更多 →

从HBase读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Hive读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HB

查看更多 →

写入更新数据时报错UnsupportedOperationException 问题 数据写入时报错： java.lang.UnsupportedOperationException: org.apache.parquet.avro.AvroConverters$FieldIntegerConverter

查看更多 →

通过INSERT语句直接写入数据 用户可以通过以下方式执行INSERT语句直接向 GaussDB 写入数据： 使用GaussDB提供的客户端工具向GaussDB写入数据。 请参见向表中插入数据。 通过JDBC/ODBC驱动连接数据库执行INSERT语句向GaussDB写入数据。 详细内容请参见连接数据库。

查看更多 →

通过INSERT语句直接写入数据 用户可以通过以下方式执行INSERT语句直接向 GaussDB数据库 写入数据： 使用GaussDB数据库提供的客户端工具向GaussDB数据库写入数据。 请参见向表中插入数据。 通过JDBC/ODBC驱动连接数据库执行INSERT语句向GaussDB数据库写入数据。

查看更多 →

SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HB

查看更多 →

写入更新数据时报错UnsupportedOperationException 问题 数据写入时报错： java.lang.UnsupportedOperationException: org.apache.parquet.avro.AvroConverters$FieldIntegerConverter

查看更多 →

FILE_TYPE字段说明 参数 描述 id 文件句柄。 datatype 表明文件是CHAR文件还是NCHAR文件或者二进制文件，目前支持CHAR文件和NCHAR文件。CHAR文件返回1，NCHAR文件返回2。 byte_mode 表明文件是以二进制模式打开（TRUE）还是以文本模式打开（FALSE）。

查看更多 →

Hive作为目的端时，会自动创建存储格式为ORC的表。 由于文件格式限制，当前仅支持ORC与Parquet格式写入复杂类型。 源端Hive包含array和map类型时，目的端表格式只支持ORC和parquet复杂类型。若目的端表格式为RC和TEXT时，会对源数据进行处理，支持成功写入。 因map类型为无序的数据

查看更多 →

Hive作为目的端时，会自动创建存储格式为ORC的表。 由于文件格式限制，当前仅支持ORC与Parquet格式写入复杂类型。 源端Hive包含array和map类型时，目的端表格式只支持ORC和parquet复杂类型。若目的端表格式为RC和TEXT时，会对源数据进行处理，支持成功写入。 因map类型为无序的数据

查看更多 →