使用 CS V格式写日志 前提条件 log_destination的值设置为csvlog。 logging_collector的值设置为on。 csvlog定义 以“逗号分隔值” 即CSV（Comma Separated Value）的形式发出日志。 以下是简单的用来存储CSV形式日志输出的表定义：

查看更多 →

se能够提升重复读取的速度。 说明： 在提升写性能操作中，该参数为可选参数，请根据实际需要进行修改。 false dfs.client-write-packet-size 客户端写包的大小。当HDFS Client往DataNode写数据时，将数据生成一个包。然后将这个包在网络上

查看更多 →

使用CSV格式写日志 前提条件 log_destination的值设置为csvlog。 logging_collector的值设置为on。 csvlog定义 以“逗号分隔值” 即CSV（Comma Separated Value）的形式发出日志。 以下是简单的用来存储CSV形式日志输出的表定义：

查看更多 →

使用CSV格式写日志 前提条件 log_destination的值设置为csvlog。 logging_collector的值设置为on。 csvlog定义 以“逗号分隔值” 即CSV（Comma Separated Value）的形式发出日志。 以下是简单的用来存储CSV形式日志输出的表定义：

查看更多 →

使用CSV格式写日志 前提条件 log_destination的值设置为csvlog。 logging_collector的值设置为on。 csvlog定义 以“逗号分隔值” 即CSV（Comma Separated Value）的形式发出日志。 以下是简单的用来存储CSV形式日志输出的表定义：

查看更多 →

Spark并发写Hudi建议 涉及到并发场景，推荐采用分区间并发写的方式：即不同的写入任务写不同的分区 分区并发参数控制： SQL方式： set hoodie.support.partition.lock=true; DataSource Api方式： df.write .format("hudi")

查看更多 →

个网关创建一个可使用网络NFS文件系统协议访问的文件共享，默认情况下，有权访问NFS 服务器 的任何人都能访问NFS文件共享，用户可以通过编辑权限限制和读/写客户端，限制客户端的访问。此外用户还可删除不再使用的共享，释放共享资源。 查看文件共享 登录CSG管理控制台。 在网关列表选择网关，单击待操作网关。

查看更多 →

GPU驱动安装包“NVIDIA-Linux-x86_64-384.81.run” https://www.nvidia.com/download/driverResults.aspx/124722/en-us CUDA工具包安装包“cuda_9.0.176_384.81_linux.run” https://developer

查看更多 →

通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。

查看更多 →

通过FTP/SFTP客户端登录文件传输类资源 通过文件传输客户端登录 堡垒机 纳管资源，在不改变用户原来使用客户端习惯的前提下，对授权云主机资源进行远程文件传输管理。用户在主机上执行的所有操作，被堡垒机记录并生成审计数据。 本小节主要介绍如何获取客户端登录信息，并登录文件传输类资源。 约束限制

查看更多 →

集群外节点安装客户端上传HDFS文件失败 用户问题 集群外节点安装客户端使用hdfs命令上传文件失败。 问题现象 在集群节点上安装客户端，在该客户端使用hdfs命令上传一个文件，报如下错误： 图1 上传文件报错 原因分析 从错误截图可以看到报错是no route to host，且报错信息里面有192

查看更多 →

客户端 优化 域名 解析请求 选择合适的镜像 避免IPVS缺陷导致的DNS概率性解析超时 使用节点DNS缓存NodeLocal DNSCache 及时升级集群中的CoreDNS版本 谨慎调整VPC和虚拟机的DNS配置 父主题： CoreDNS配置优化实践

查看更多 →

本地读单边写 这种路由算法场景下，读操作在本地进行，不受DCG指示的active影响。根据配置文件中的az信息判断本地属于哪个az，读操作时从本地az进行读取，写操作仍然根据DCG指示的active进行操作。 本地读单边写策略，配置文件中props.azs信息必须填写，根据实际所

查看更多 →

出现由于HLog文件过多而触发的强制flush操作。这个时候可以适当调整这两个参数的大小，以避免出现这种强制flush的情况。单位：字节。 32 134217728 写数据客户端调优 写数据时，在场景允许的情况下，需要使用Put List的方式，可以极大的提升写性能。每一次Put

查看更多 →

出现由于HLog文件过多而触发的强制flush操作。这个时候可以适当调整这两个参数的大小，以避免出现这种强制flush的情况。单位：字节。 32 134217728 写数据客户端调优 写数据时，在场景允许的情况下，更适合使用Put List的方式，可以极大的提升写性能。每一次Pu

查看更多 →

多云存储数据同步方案 应用双写 如果数据是在应用服务侧产生，或者数据在客户端产生但通过服务端将数据写入对象存储，则建议使用双写方案，架构如下： 此时业务应用可对接两家对象存储的SDK，将文件以同步模式或者异步模式写入两家对象存储。对象存储的上行流量免费，所以该架构不会增加任何成本。

查看更多 →

Alluxio的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件和对文件的读写；Alluxio还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为： 文件系统初始化 写文件 读文件 开发思路 调用FileSys

查看更多 →

> tmp”，勾选“hive-scratch”的“读”、“写”、“执行”，若存在“examples” ，勾选“examples”的“读”、“写”、“执行”和“递归”。 选择“待操作集群的名称 > HBase > HBase Scope > global”勾选“default”的“创建”。

查看更多 →

本地读单边写 本地读单边写模式应在配置文件中配置routeStrategy为"local-read-single-write"。在这种路由模式下，读操作在本地进行，不受MAS指示的活跃节点影响。根据配置文件中的az信息判断本地属于哪个az，读操作时从本地az进行读取，写操作仍然根

查看更多 →

HDFS性能调优 提升HDFS写数据性能 配置HDFS客户端元数据缓存提高读取性能 使用活动缓存提升HDFS客户端连接性能 HDFS网络不稳定场景调优 优化HDFS NameNode RPC的服务质量 优化HDFS DataNode RPC的服务质量 执行HDFS文件并发操作命令 使用LZC压缩算法存储HDFS文件

查看更多 →

HDFS性能调优 提升HDFS写数据性能 配置HDFS客户端元数据缓存提高读取性能 使用活动缓存提升HDFS客户端连接性能 HDFS网络不稳定场景调优 优化HDFS NameNode RPC的服务质量 优化HDFS DataNode RPC的服务质量 执行HDFS文件并发操作命令 使用LZC压缩算法存储HDFS文件

查看更多 →