配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted

查看更多 →

通过API方式分块上传文件 操作场景 工业数字模型驱动引擎-数据建模引擎（xDM Foundation，简称xDM-F）可以将待上传的文件分成多个分块分别上传，上传完成后再调用“file_mergeFiles”接口将这些分块合并成一个对象存储至某个数据模型中。 完成文件的分块上传后，可

查看更多 →

正在从副本中提取数据分块数 clickhouse实例正在从副本中提取的数据分块个数。 Count 60 number_of_data_chunks_being_sent_to_the_replica 正在发送到副本的数据分块数 clickhouse实例正在发送到副本的数据分块个数。 Count

查看更多 →

进入分割子区块窗口后，有三种方式进行分割子区块。 方式一：按照照片组分割 在分割子区块窗口按住 ctrl 键选中多个架次数据，右键分块至子区块或新建区块。 图2 分割照片组-1-4 再次按住 ctrl 键选中剩下的架次数据，右键分块至新建区块。 图3 分割照片组-1 检查每个照片组是否都有对应的子区块描述信息，不能遗漏，单击确定完成子区块划分。

查看更多 →

配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted

查看更多 →

000个partition里有数据，不同key对应的数据也被分到相同的partition里。 回答 这是正常现象。 数据分到哪个partition是通过对key的hashcode取模得到的，不同的hashcode取模后的结果有可能是一样的，那样数据就会被分到相同的partitio

查看更多 →

您可以通过应用运行态对数据实例中已有的文件进行删除操作。 此删除操作只是删除文件和数据模型对应数据实例的关联关系，不是真实地删除文件。 在“数据模型管理 > 数据实例”中，选择数据实体“Industrial_File”，找到文件所在的数据实例，单击。 在展开的实例数据页面，根据实际需求进行删除操作。

查看更多 →

000个partition里有数据，不同key对应的数据也被分到相同的partition里。 回答 这是正常现象。 数据分到哪个partition是通过对key的hashcode取模得到的，不同的hashcode取模后的结果有可能是一样的，那样数据就会被分到相同的partitio

查看更多 →

基线管理操作流程 主要操作流程 操作目的 构建数据模型 使用iDME的数据模型管理完成对业务数据对象的模型设计，为构建的数据模型添加文件类型属性。 发布在应用设计态构建的数据模型，并将应用部署至数据建模引擎。 使用文件服务功能 在数据模型实例化的过程中，使用文件服务功能管理文件，

查看更多 →

分布式身份 注册个人分布式身份 注册企业分布式身份 更新企业DID服务 查询分布式身份文档 父主题： API

查看更多 →

分布式部署 SAP NetWeaver分布式部署如图1所示。 图1 SAP NetWeaver分布式部署 该部署方式是由多个SAP实例组成，一个SAP实例是一组同时开始和结束的进程。在分布式系统中，所有实例都运行在独立的 云服务器 上，主要包括以下实例： ABAP Central Services

查看更多 →

分布式版 概述 MySQL数据库兼容MySQL模式 MySQL数据库兼容性M-Compatibility模式 父主题： 与MySQL兼容性说明

查看更多 →

分布式版 Oracle数据库兼容性概述 SQL的基本元素 伪列 操作符 表达式 条件 常见的SQL DDL子句 SQL查询和子查询 PL/SQL语言 系统函数 系统视图 高级包 父主题： 与Oracle兼容性说明

查看更多 →

分布式模型训练 分布式训练功能介绍 创建单机多卡的分布式训练（DataParallel） 创建多机多卡的分布式训练（DistributedDataParallel） 示例：创建DDP分布式训练（PyTorch+GPU） 示例：创建DDP分布式训练（PyTorch+NPU） 父主题：

查看更多 →

Topic列表信息。 发送数据 发送数据。 输入参数 用户配置发送数据执行动作，相关参数说明如表6所示。 表6 发送数据输入参数说明 参数 必须 说明 扩展配置 否 输入键名称和键值，键值模式。 Topic 是 为Kafka 服务器 中的Topic名称。 数据列表 是 选择数组类型的节点输出，可切换为数组模式。

查看更多 →

16T的文本数据转成4T Parquet数据失败 问题 使用默认配置时，16T的文本数据转成4T Parquet数据失败，报如下错误信息。 Job aborted due to stage failure: Task 2866 in stage 11.0 failed 4 times

查看更多 →

16T的文本数据转成4T Parquet数据失败 问题 使用默认配置时，16T的文本数据转成4T Parquet数据失败，报如下错误信息。 Job aborted due to stage failure: Task 2866 in stage 11.0 failed 4 times

查看更多 →

败。本质上来说，分布式事务就是为了保证不同数据库的数据一致性。 MSDTC服务提供分布式事务服务，如果要在数据库中使用分布式事务，必须在参与的双方服务器启动MSDTC（Distributed Transaction Coordinator）服务。RDS for SQL Serve

查看更多 →

互通过数据流驱动。其中数据流的控制通过 Stream Bridge 组件来实现。同时函数 SDK 增加流式数据返回接口，用户不需要将整个文件内容返回，而是通过 gRPC Stream 的方式将数据写入到 Stream Bridge，Stream Bridge 用来分发数据流到下一个步骤的函数

查看更多 →

当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），以目标数据为准，DRS将跳过冲突数据，继续进行后续同步。 覆盖 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），以源数据为准，DRS将覆盖原来的冲突数据。 报错 当同步数据与目标数据库已有数据冲突时（

查看更多 →

SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 配置多并发客户端连接JD BCS erver 配置SparkSQL的分块个数 Spark动态分区插入场景内存优化 小文件优化

查看更多 →