分布式训练 分布式训练功能介绍 单机多卡数据并行-DataParallel(DP) 多机多卡数据并行-DistributedDataParallel(DDP) 分布式调测适配及代码示例 分布式训练完整代码示例 基于训练作业启动PyTorch DDP训练示例 基于训练作业启动PyTorch

查看更多 →

√ √ √ √ MapReduce服务 （ MRS HBase） √ × × √ × × × MapReduce服务（MRS Hive） √ √ √ √ √ × √ MapReduce服务（MRS Kafka） √ × √ × × × √ MapReduce服务（MRS Spark）[1]

查看更多 →

缓存配置常见问题 如何提高CDN缓存命中率？ 缓存配置中配置缓存过期时间为365天，未过期，为什么有些文件能下载有些不能？ CDN会缓存 404、403状态码吗？ 访问 CDN加速 域名，无法正常登录或者显示其他用户信息？ 父主题： 缓存配置

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

obs.fast.upload.buffer disk 否 写相关配置，所有数据在写入OBS前都会先缓存然后再上传到OBS，此参数用于设置缓存方式，取值范围： disk：缓存在磁盘 array：缓存在JVM堆内内存 bytebuffer：缓存在JVM堆外内存 fs.obs.buffer

查看更多 →

概述 欢迎使用分布式缓存服务（Distributed Cache Service）。分布式缓存服务是一款内存数据库服务，兼容了Redis和Memcached两种内存数据库引擎，为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力，满足用户高并发及数据快速访问的业务诉求。

查看更多 →

计算与缓存服务安装 计算与缓存服务安装全部使用普通用户，执行：su - dpe 配置相互解析 :vi /etc/hosts ip 主机名 配置免密登录 :ssh-keygen ssh-copyid 主机名 所有节点都需要执行 上传dpe-open-space-cache-svcs-x

查看更多 →

调整HetuEngine元数据缓存 操作场景 当HetuEngine访问Hive数据源时，需要访问Hive metastore获取元数据信息。HetuEngine提供了元数据缓存的功能，当首次访问Hive数据源的库或表时，会将该库或表的元数据信息（数据库名、表名、表字段、分区信息、权限信息等）缓存起来，后续访问时不需要再次访问Hive

查看更多 →

问题。 缓存过期时间设置为0时，该文件的所有请求都将回源，可能存在加速业务中断的风险。 节点缓存的资源，可能会由于热度较低而被提前从CDN节点删除。 如果您修改了缓存规则，请注意： 新的规则仅对后面缓存的资源生效，已经缓存的资源需要等缓存过期后，再次缓存才会遵循新的缓存规则。 如

查看更多 →

入 域名 配置页面。 选择“缓存配置”页签。 单击“状态码缓存时间”下方的“添加”按钮。 图1 添加状态码缓存时间 表1 参数说明 配置项 描述 示例 状态码 需要缓存在状态码。 404 缓存时间 状态码在CDN节点的缓存时间。 如果时间设置为0，即为不缓存状态码。 取值范围为0~365天。

查看更多 →

Impala使用Hive的元数据、ODBC驱动程序和SQL语法。与Hive不同，Impala不基于MapReduce算法，它实现了一个基于守护进程的分布式架构，它负责在同一台机器上运行的查询执行的所有方面。因此，它减少了使用MapReduce的延迟，这使Impala比Hive快。 Impala与Kudu间的关系

查看更多 →

MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码？ 回答 MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。 首先理解两个参数：“mapreduce.map.java

查看更多 →

请务必确保您的账户下已在分布式缓存服务（D CS ）里创建了Redis类型的缓存实例。 如何创建Redis类型的缓存实例，请参考《分布式缓存服务用户指南》中“申请Redis缓存实例”章节。 该场景作业需要运行在 DLI 的独享队列上，因此要与DCS集群建立跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建

查看更多 →

MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码？ 回答 MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。 首先理解两个参数：“mapreduce.map.java

查看更多 →

MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 MapReduce是一种编程模型，用于大数据集（大于1TB）的并

查看更多 →

分布式事务 技术背景 在分布式share nothing架构下，表的数据分布在不同的节点上。客户端的一条或多条语句可能会同时修改多个节点上的数据，这种情况下，会产生分布式事务。分布式事务需要关注： 在各个节点上事务的原子性，分布式事务在所有节点上要么全部成功要么全部失败。 事务的

查看更多 →

分布式消息（Kafka） 分布式消息（Kafka）连接器包含“Topic列表”、“发送数据”、“指定分区发送”三个执行动作和“消费消息”一个触发事件。 连接参数 创建分布式（Kafka）连接时连接参数说明如表1所示。如果需要连接的Kafka配置了IP地址白名单限制，则需要放通 集成工作台 公网出口访问地址“124

查看更多 →

运行MapReduce作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果。本章节指导您在MRS集群页面如何提交一个新的MapReduce作业。MapReduce作业用于提交jar程序快速并行处理大量数据，是一种分布式数据处理模式和执行环境。 若在集群详情页面不支持“作

查看更多 →

请务必确保您的账户下已在分布式缓存服务（DCS）里创建了Redis类型的缓存实例。 如何创建Redis类型的缓存实例，请参考《分布式缓存服务用户指南》中“申请Redis缓存实例”章节。 该场景作业需要运行在DLI的独享队列上，因此要与DCS集群建立跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建

查看更多 →

否和实际相符。 表2 缓存实例明细账单 产品类型 分布式缓存服务 DCS 产品 分布式缓存V2 计费模式 按需 资源名称/ID 缓存实例的名称和ID 例如：dcs-272f，19482898-a061-41f9-bd9d-e4265dba3a8a 规格 缓存实例的类型和规格 本例中，规格为：分布式缓存主备128MB

查看更多 →