16T的文本数据转成4T Parquet数据失败 问题 使用默认配置时，16T的文本数据转成4T Parquet数据失败，报如下错误信息。 Job aborted due to stage failure: Task 2866 in stage 11.0 failed 4 times

查看更多 →

展开“高级设置 > 分布式缓存”。 单击“绑定分布式缓存”。 选择环境下已绑定的分布式缓存实例。 如果环境下未绑定分布式缓存实例，单击“去所选的环境里添加”，在环境编辑页面，单击“新增可选资源”，为该环境添加已创建的分布式缓存(D CS )资源。 如果选择的分布式缓存实例访问方式为密

查看更多 →

分布式身份（公测） 概述 分布式身份(DID)管理 可验证凭证(VC)管理 父主题： 区块链 中间件接口

查看更多 →

Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置SparkSQL的分块个数 父主题： 使用Spark2x（ MRS 3.x及之后版本）

查看更多 →

当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），以目标数据为准，DRS将跳过冲突数据，继续进行后续同步。 覆盖 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），以源数据为准，DRS将覆盖原来的冲突数据。 报错 当同步数据与目标数据库已有数据冲突时（

查看更多 →

SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 配置多并发客户端连接JD BCS erver 配置SparkSQL的分块个数 Spark动态分区插入场景内存优化 小文件优化

查看更多 →

互通过数据流驱动。其中数据流的控制通过 Stream Bridge 组件来实现。同时函数 SDK 增加流式数据返回接口，用户不需要将整个文件内容返回，而是通过 gRPC Stream 的方式将数据写入到 Stream Bridge，Stream Bridge 用来分发数据流到下一个步骤的函数

查看更多 →

当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），以目标数据为准，DRS将跳过冲突数据，继续进行后续同步。 覆盖 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），以源数据为准，DRS将覆盖原来的冲突数据。 报错 当同步数据与目标数据库已有数据冲突时（

查看更多 →

分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的hbase数据表。 开发思路 设置scan的规则，例如：setCaching。

查看更多 →

而MapReduce是一种编程模型，用于大数据集（大于1TB）的并行运算。在MapReduce程序中计算的数据可以来自多个数据源，如Local FileSystem、HDFS、数据库等。最常用的是HDFS，可以利用HDFS的高吞吐性能读取大规模的数据进行计算。同时在计算完成后，也可以将数据存储到HDFS。

查看更多 →

云容器引擎-成长地图 | 华为云 分布式数据库中间件 分布式数据库中间件（Distributed Database Middleware，简称DDM），解决单机关系型数据库对硬件依赖性强、数据量增大后扩容困难、数据库响应变慢等难题。突破了传统数据库的容量和性能瓶颈，实现海量数据高并发访问。 云图说

查看更多 →

服务介绍 分布式数据库中间件 DDM 分布式数据库中间件DDM介绍 02:47 分布式数据库中间件DDM介绍 操作指导 分布式数据库中间件 DDM 购买DDM实例 02:40 购买DDM实例 分布式数据库中间件 DDM 创建逻辑库并关联数据节点 03:00 创建逻辑库并关联数据节点 分布式数据库中间件

查看更多 →

注册企业分布式身份 功能介绍 注册企业分布式身份 URI POST /v1/{project_id}/tdis/firm-did 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户从IAM申请到的projectid，一般为32位字符串 最小长度：32

查看更多 →

查询分布式身份文档 功能介绍 查询分布式身份文档 URI GET /v1/{project_id}/tdis/did/{did} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户从IAM申请到的projectid，一般为32位字符串 最小长度：32

查看更多 →

注册个人分布式身份 功能介绍 注册个人分布式身份 URI POST /v1/{project_id}/tdis/did 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户从IAM申请到的projectid，一般为32位字符串 最小长度：32

查看更多 →

分布式执行框架 GS_235100005 错误码： Stream plan check failed. Execution datanodes list of stream node[%d] mismatch in parent node[%d]. 解决方案：请使用INTERNAL

查看更多 →

分布式备机读参数 enable_standby_read 参数说明：控制session开启备机读功能。该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 取值范围：布尔型 on表示该session开启分布式备机读功能。 off表示该session不开启分布式备机读功能。

查看更多 →

None 操作指导 可信分布式身份服务 TDIS 开通服务 02:12 开通服务 云容器引擎 CCE 简介 07:25 云容器引擎简介 云容器引擎 CCE 服务介绍 03:23 云容器引擎服务介绍

查看更多 →

分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的hbase数据表。 开发思路 设置scan的规则，例如：setCaching。

查看更多 →

分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则，例如：setCaching。

查看更多 →

分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则，例如：setCaching。

查看更多 →