流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入

查看更多 →

管理并发写入操作 事务隔离说明 写入和读写操作 并发写入事务的潜在死锁情况 并发写入示例 父主题： 导入数据

查看更多 →

问。本地服务器用于访问本地NAS存储，云上服务器用于访问云上SFS Turbo。 通过公网或内网将云上NAS存储数据迁移至SFS Turbo中也可以参考本方案完成。 约束与限制 暂不支持使用公网迁移本地NAS存储至SFS容量型文件系统。 仅支持使用Linux系统的云服务器进行数据迁移。

查看更多 →

写入数据操作失败，文件共享只读 可能原因 网关缓存盘空间使用率超过95%，导致写入数据操作失败，只能读取数据。 解决方法 部分数据自动上传到OBS桶或自动清理部分未使用文件，缓存盘空间使用率小于90%后，网关自动恢复读/写模式。用户可根据连接OBS的网络带宽，合理规划写入流量，避

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

向Phoenix表中写入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public

查看更多 →

使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入 现象描述 使用Storm-JDBC插件开发Oracle写入Bolt，发现能连上Oracle数据库，但是无法向Oracle数据库里面写数据。 可能原因 拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm

查看更多 →

调整HetuEngine INSERT写入优化 操作场景 HetuEngine向Hive数据源分区表写入数据时，需要根据实际业务的查询结果中分区列数量添加相关自定义配置，以获得最佳的性能效果。 操作步骤 使用HetuEngine管理员用户登录 FusionInsight Manager页面，选择“集群

查看更多 →

为什么HBase无法写入数据？ 问题现象 HBase无法写入数据，导致应用侧业务数据无法及时更新。 原因分析 Zookeeper连接数过多。 处理方法 建议业务代码连接同一个CloudTable HBase集群时，多线程创建并复用同一个Connection，不必每个线程都创建各自

查看更多 →

Flume数据写入组件失败 问题现象 Flume进程启动后，Flume数据无法写入到对应组件（本示例以服务端写入到HDFS为例）。 原因分析 HDFS未启动或故障。 查看Flume运行日志： 2019-02-26 11:16:33,564 | ERROR | [SinkRunne

查看更多 →

云对象存储服务、云解析服务和API网关服务的网络。 管理面网络：通过管理网络连接网关和配置网关。 NAS存储网络（有条件必选）：当外接NAS作为网关缓存时，网关通过该网络将数据写到NAS存储。 端口要求 为了保障数据安全、防止来自公网的NFS连接，建议运行云存储网关的服务器的端口配置如表2。

查看更多 →

NAS存储提供给应用的是一个文件系统或者是一个文件夹，上层应用通过NFS和CIFS协议进行访问。文件系统要维护一个目录树。 对象存储更加适合web类应用，基于URL访问地址提供一个海量的桶存储空间，能够存储各种类型的文件对象，对象存储是一个扁平架构，无需维护复杂的文件目录。无需考虑存储空间的限制，一个桶支持近乎无限大的存储空间。

查看更多 →

存储 创建NAS存储 权限策略 管理NAS存储 删除NAS存储 配置服务器组挂载策略 父主题： 管理员操作指南

查看更多 →

删除共享文件夹 操作场景 该操作指导管理员在NAS存储上删除共享文件夹。 操作步骤 使用管理员帐号登录云应用的管理控制台。 在左侧导航栏中依次选择“存储 > NAS存储”，进入“NAS存储”页面。 单击存储名称右侧“NAS存储管理”进入NAS存储管理页面。 在共享文件夹页签选择需要删除的共享文件夹。

查看更多 →

留底层存储卷。 volumeHandle 是 使用SFS 3.0容量型文件存储：填写文件存储的名称。 使用SFS容量型文件存储：填写文件存储的ID。 获取方法：在CCE控制台，单击顶部的“服务列表 > 存储 > 弹性文件服务”，并选择SFS容量型。在列表中单击对应的弹性文件存储名

查看更多 →

创建个人文件夹 操作场景 该操作指导管理员在NAS存储上创建个人文件夹。 操作步骤 使用管理员帐号登录云应用的管理控制台。 在左侧导航栏中依次选择“存储 > NAS存储”，进入“NAS存储”页面。 单击NAS存储名称右侧“NAS存储管理”进入NAS存储详情页面。 单击“创建个人文件夹”，进入“创建个人文件夹”页面。

查看更多 →

或数据不一致的问题。 不同存储系统对路径和文件夹长度的限制参见下表： 存储系统 路径和文件夹长度限制 OBS 文件夹和路径的最大长度限制均为1023个字节。 NAS 文件夹的最大长度限制为255个字节。 路径的最大长度限制为4096个字节。 SMB 文件夹的最大长度限制为226个字节。

查看更多 →

SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HB

查看更多 →