分布式训练 分布式训练功能介绍 单机多卡数据并行-DataParallel(DP) 多机多卡数据并行-DistributedDataParallel(DDP) 分布式调测适配及代码示例 分布式训练完整代码示例 基于训练作业启动PyTorch DDP训练示例 基于训练作业启动PyTorch

查看更多 →

分布式部署 SAP NetWeaver分布式部署如图1所示。 图1 SAP NetWeaver分布式部署 该部署方式是由多个SAP实例组成，一个SAP实例是一组同时开始和结束的进程。在分布式系统中，所有实例都运行在独立的 云服务器 上，主要包括以下实例： ABAP Central Services

查看更多 →

绍单机多卡数据并行分布式训练原理和代码改造点。 多机多卡数据并行-DistributedDataParallel(DDP)：介绍多机多卡数据并行分布式训练原理和代码改造点。 分布式调测适配及代码示例：提供了分布式训练调测具体的代码适配操作过程和代码示例。 分布式训练完整代码示例：

查看更多 →

Flume基本原理 Flume是一个高可用、高可靠，分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。其中Flume-NG是Flume的一个分支，其特点

查看更多 →

Manager基本原理 Manager功能 Manager是 MRS 的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。

查看更多 →

CronFederatedHPA工作原理 CronFederatedHPA的工作原理如图1。创建CronFederatedHPA策略时，可以设定一个具体的时间，基于设定的时间调整HPA策略的最大和最小Pod数，也可以直接定时调整工作负载中的Pod数量。 图1 CronFederatedHPA工作原理 单独使用CronFederatedHPA

查看更多 →

系统表和系统视图概述 系统表是 GaussDB 存放结构元数据的地方，它是GaussDB数据库系统运行控制信息的来源，是数据库系统的核心组成部分。 系统视图提供了查询系统表和访问数据库内部状态的方法。 系统表和系统视图要么只对管理员可见，要么对所有用户可见。下面的系统表和视图有些标识

查看更多 →

分布式事务 技术背景 在分布式share nothing架构下，表的数据分布在不同的节点上。客户端的一条或多条语句可能会同时修改多个节点上的数据，这种情况下，会产生分布式事务。分布式事务需要关注： 在各个节点上事务的原子性，分布式事务在所有节点上要么全部成功要么全部失败。 事务的

查看更多 →

分布式消息（Kafka） 分布式消息（Kafka）连接器包含“Topic列表”、“发送数据”、“指定分区发送”三个执行动作和“消费消息”一个触发事件。 连接参数 创建分布式（Kafka）连接时连接参数说明如表1所示。如果需要连接的Kafka配置了IP地址白名单限制，则需要放通 集成工作台 公网出口访问地址“124

查看更多 →

智能分布列推荐 背景信息 智能分布列推荐是应用于分布式数据库系统中的一项重要功能，旨在帮助用户优化数据存储和查询性能。即通过分析历史查询日志，为用户的数据表自动推荐最佳的分布列，以便在分布式数据库系统中实现数据的高效分片和存储，并提升查询性能。 如果当前控制台界面不支持该功能，请联系技术支持人员。

查看更多 →

传统场景采用文件或者块存储的数据库系统，备份恢复与数据量强相关，故在大数据量场景下，无法快速备份恢复，进而影响数据库的数据可靠性。 云数据库 GeminiDB基于DFV存储，底层采取Append Only方式存储，并在该基础上结合数据库逻辑进行分布式并行算法优化，极大地提升了数据备份、恢复性能。

查看更多 →

DBService基本原理 DBService简介 DBService是一个高可用性的关系型数据库存储系统，适用于存储小量数据（10GB左右），比如：组件元数据。DBService仅提供给集群内部的组件使用，提供数据存储、查询、删除等功能。 DBService是集群的基础组件，H

查看更多 →

据分片，负载均衡等。 IoTDBServer（DataNode）：存储角色，负责数据存储、查询和写入等功能。 图2 IoTDB分布式架构 IoTDB原理 根据属性层级、属性涵盖范围以及数据之间的从属关系，可将IoTDB数据模型表示为如图3所示的属性层级组织结构，即“电力集团层-电

查看更多 →

请参见使用Get读取数据。 5 根据城市、局域、时间范围进行查询。 请参见使用Scan读取数据。 关键设计原则 HBase是以RowKey为字典排序的分布式数据库系统，RowKey的设计对性能影响很大，具体的RowKey设计请考虑与业务结合。 父主题： 开发HBase冷热分离应用

查看更多 →

Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限

查看更多 →

ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种

查看更多 →

数据分布式存储 DWS采用水平分表的方式，将业务数据表的元组分散存储到各个节点内，该优势在于，查询中通过查询条件过滤不必要的数据，快速定位到数据存储位置，可极大提升数据库性能。 水平分表方式将一个数据表内的数据，按合适分布策略分散存储在多个节点内，DWS支持如表1所示的数据分布策略。用户可在CREATE

查看更多 →

分布式身份（公测） 概述 分布式身份(DID)管理 可验证凭证(VC)管理 父主题： 区块链 中间件接口

查看更多 →

展开“高级设置 > 分布式缓存”。 单击“绑定分布式缓存”。 选择环境下已绑定的分布式缓存实例。 如果环境下未绑定分布式缓存实例，单击“去所选的环境里添加”，在环境编辑页面，单击“新增可选资源”，为该环境添加已创建的分布式缓存(D CS )资源。 如果选择的分布式缓存实例访问方式为密

查看更多 →

Server在开启分布式事务的时候已经启动MSDTC，其他 服务器 请参考设置 远程服务器 MSDTC（分布式事务处理协调器）进行启动。 更多介绍请参见Microsoft SQL Server官网MS DTC 分布式事务介绍。 使用限制 新实例默认开启分布式事务。 只读实例不支持分布式事务。 分布式事务功能一旦开启，将不允许关闭。

查看更多 →

将GaussDB分布式版同步到GaussDB分布式版 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB分布式 GaussDB分布式 说明： 仅支持目标库版本等于或高于源库版本。 支持的同步对象范围 在使用DRS进行同步时，不同类型的同步任务，支持的同

查看更多 →