通过API方式分块上传文件 操作场景 工业数字模型驱动引擎-数据建模引擎（xDM Foundation，简称xDM-F）可以将待上传的文件分成多个分块分别上传，上传完成后再调用“file_mergeFiles”接口将这些分块合并成一个对象存储至某个数据模型中。 完成文件的分块上传后，可在

查看更多 →

LargeFiles”中，选择不同的上传方式将文件上传至实例中。 图1 创建 数据实例 表1 上传文件 上传方式 说明 单文件上传 适用于一次HTTP请求交互即可完成上传的场景。 单文件上传的大小不能超过100MB。 分块上传 适用于如下场景： 当文件大小超过100MB时，使用分块上传可实现并行上传多个分块以加快上传速度。

查看更多 →

在数据模型实例化的过程中，使用文件服务功能管理文件，包括上传文件、下载文件、预览文件（图片）等。 可视化页面：在应用运行态的数据实例中管理文件。 API方式：使用iDME的全量数据服务API管理文件。 使用说明 接口模型不支持文件服务功能。 iDME预置多种可上传的文件格式，如果预置

查看更多 →

在Manager系统中，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。 表1 参数介绍 参数 描述 默认值 spark.sql.shuffle.partitions SparkSQL在进行shuffle操作时默认的分块数。 200 父主题：

查看更多 →

JVM监控界面内存监控中，为何最大内存比分配内存小？ 通过-Xmx设置了堆内存的最大值，堆内存的分配值也不一定比设定的堆内存的最大值小，JVM是动态申请堆内存的，即使配置了-Xms最小值，也不是一开始就分配到-Xms值，会根据2的倍数申请，很可能稍微超过-Xmx的限制，可增加-X

查看更多 →

500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。 表1 参数介绍 参数 描述 默认值 spark.sql.shuffle

查看更多 →

当前时间节点连接ZK watch个数。 Count 60 number_of_zookeeper_nodes Zookeeper中节点数 Zookeeper中创建临时的节点数。 Count 60 number_of_parts part数量 part数量。 Count 60 clic

查看更多 →

on：表示进行页面漏置脏校验。 off：表示不进行页面漏置脏校验。 默认值：off 设置方式：该参数属于POSTMASTER类型参数，请参见表1中对应设置方法进行设置。 设置建议：建议在测试场景中开启此开关，能够最大限度在非生产环境中排查出漏置脏代码BUG；在现网时默认关闭页面漏置脏，避免带来额外开销，进而影响性能。

查看更多 →

workers倍数的内存将会被分配，所以此时设置maintenance_work_mem的值应该不小于work_mem。 如果进行大数据量的cluster等，可以在session中调大该值。 psort_work_mem 参数说明：设置列存表在进行局部排序中在开始写入临时磁盘文件之前使用的内存大小。带partial

查看更多 →

形缓冲区大小。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 取值范围：整型，16384 ~ 2147483647，单位为KB。 默认值：2GB 设置建议：建议导入压力大的场景中增加数据库节点中此参数配置。 standby_shared_buffers_fraction

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

on：表示进行页面漏置脏校验。 off：表示不进行页面漏置脏校验。 默认值：off 设置方式：该参数属于POSTMASTER类型参数，请参考表1中对应设置方法进行设置。 设置建议：建议在测试场景中开启此开关，能够最大限度在非生产环境中排查出漏置脏代码BUG；在现网时默认关闭页面漏置脏，避免带来额外开销，进而影响性能。

查看更多 →

形缓冲区大小。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 取值范围：整型，16384 ~ 2147483647，单位为KB。 默认值：2GB 设置建议：建议导入压力大的场景中增加数据库节点中此参数配置。 standby_shared_buffers_fraction

查看更多 →

内存 文档数据库服务DDS实例可以使用的内存上限。 父主题： 常用概念

查看更多 →

参数说明：数据并行导入使用的环形缓冲区大小。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 取值范围：整型，16384 ~ 2147483647，单位为KB。 默认值：2GB 设置建议：建议导入压力大的场景中增加DN中此参数配置。 standby_shared_buffers_fraction

查看更多 →

workers倍数的内存将会被分配，所以此时设置maintenance_work_mem的值应该不小于work_mem。 如果进行大数据量的cluster等，可以在session中调大该值。 psort_work_mem 参数说明：设置列存表在进行局部排序中在开始写入临时磁盘文件之前使用的内存大小。带partial

查看更多 →

默认值：2GB 设置建议：建议导入压力大的场景中增加DN中此参数配置。 standby_shared_buffers_fraction 参数说明：备实例所在 服务器 使用shared_buffers内存缓冲区大小的比例。 该参数属于SIGHUP类型参数，请参考表1中对应设置方法进行设置。 取值范围：双精度浮点类型，0

查看更多 →

使用文件服务功能 通过可视化页面管理文件 通过API方式上传简单文件 通过API方式分块上传文件 通过API方式下载文件 通过API方式预览文件（图片） 父主题： 文件服务实践

查看更多 →

OBS采用分块上传的模式上传数据，在下列情况下（但不仅限于此）通常会导致数据上传失败而产生碎片。 网络条件较差，与OBS的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。 文件上传失败或上传任务暂停后，都会有碎片存储在OBS中，可以通过

查看更多 →

如何在CarbonData中配置非安全内存？ 问题 如何在CarbonData中配置非安全内存？ 回答 在Spark配置中，“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”与“Netty

查看更多 →

如何在CarbonData中配置非安全内存？ 问题 如何在CarbonData中配置非安全内存？ 回答 在Spark配置中，“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”

查看更多 →