onnections外，还受操作系统对单进程允许打开最大文件数的限制。例如，当操作系统控制每个进程的最大打开文件数为100时，即使设置参数max_connections为200也不会起作用。 查看操作系统对单进程打开最大文件数的限制（默认为1024）。 ulimit -n 查看参

查看更多 →

SDK支持上传0KB~5GB的对象。流式上传、文件上传和追加上传的内容大小不能超过5GB；当上传较大文件时，请使用分段上传，分段上传每段内容大小不能超过5GB。 如果上传的对象权限设置为匿名用户读取权限，对象上传成功后，匿名用户可通过链接地址访问该对象数据。对象链接地址格式为：https://桶名

查看更多 →

一个行组内按列进行存储，并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。

查看更多 →

使用Scan API读取HBase表数据 功能简介 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScan

查看更多 →

Spark读取HBase表样例程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartition接口使用

查看更多 →

使用Get API读取HBase表数据 功能简介 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 代码样例 以下代码片段在com

查看更多 →

从HBase读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Hive读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

使用Get API读取HBase表数据 功能简介 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 代码样例 以下代码片段在com

查看更多 →

使用Scan API读取HBase表数据 功能简介 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，建议指定StartRow和StopRow。查询结果的多行数据保存在ResultScan

查看更多 →

一个行组内按列进行存储，并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。

查看更多 →

onnections外，还受操作系统对单进程允许打开最大文件数的限制。例如，当操作系统控制每个进程的最大打开文件数为100时，即使设置参数max_connections为200也不会起作用。 查看操作系统对单进程打开最大文件数的限制（默认为1024）。 ulimit -n 查看参

查看更多 →

分段上传分为如下3个步骤： 初始化分段上传任务。 上传段。 合并段或取消分段上传任务。 分段上传的主要目的是解决大文件上传或网络条件较差的情况。下面的代码示例展示了如何使用分段上传并发上传大文件： static void test_concurrent_upload_part(char *filename

查看更多 →

公网环境下如何提高上传大文件速度？(Java SDK) 在公网环境下对于超过100MB的大文件，建议通过分段上传方式上传。 分段上传是将单个对象拆分为一系列段分别上传，每个段都是对象数据的连续部分，您可以按照任意顺序上传段。如果其中某个段传输失败，可以重新传输该段且不会影响其他段

查看更多 →

大文件分片上传初始化（API名称：file/initBigFile） 功能介绍 大文件分片上传初始化 相关接口 接口名称 调用说明 获取Token 调用该接口获取到Token，再调用其他接口时，需要在请求消息头中添加“Authorization”，其值即为Token。 URL 请求方式

查看更多 →

要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 描述 默认值 spark.sql.files.maxPartitionBytes 在读取文件时，将单个分区打包的最大字节数。 单位：byte。 134217728（即128M）

查看更多 →

要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 描述 默认值 spark.sql.files.maxPartitionBytes 在读取文件时，将单个分区打包的最大字节数。 单位：byte。 134217728（即128M）

查看更多 →

SAP是否支持分页读取视图？ SAP支持读取视图，但可能存在数据重复或丢失的问题。因为SAP读取视图会调用/SAPDS/RFC_READ_TABLE2函数，该函数到SAP读取视图时会导致分页错乱。 父主题： 数据集成普通任务

查看更多 →

Spark读取HBase表样例程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartitions接口使用

查看更多 →

Spark读取HBase表样例程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartition接口使用

查看更多 →

Flink读取HBase表样例程序 Flink HBase样例程序开发思路 Flink HBase样例程序（Java） 父主题： 开发Flink应用

查看更多 →