源端为对象存储 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig

查看更多 →

大数据技术发展趋势及鲲鹏大数据 3% HDFS分布式文件系统和 ZooKeeper 12% Hive 分布式 数据仓库 10% HBase技术原理 11% MapReduce 和 Yarn 技术原理 9% Spark 基于内存的分布式计算 7% Flink 流批一体分布式实时处理引擎 8% Flume海量日志聚合

查看更多 →

分布式训练 分布式训练功能介绍 单机多卡数据并行-DataParallel(DP) 多机多卡数据并行-DistributedDataParallel(DDP) 分布式调测适配及代码示例 分布式训练完整代码示例 基于训练作业启动PyTorch DDP训练示例 基于训练作业启动PyTorch

查看更多 →

分布式身份 注册个人分布式身份 注册企业分布式身份 更新企业DID服务 查询分布式身份文档 父主题： API

查看更多 →

分布式部署 SAP NetWeaver分布式部署如图1所示。 图1 SAP NetWeaver分布式部署 该部署方式是由多个SAP实例组成，一个SAP实例是一组同时开始和结束的进程。在分布式系统中，所有实例都运行在独立的 云服务器 上，主要包括以下实例： ABAP Central Services

查看更多 →

绍单机多卡数据并行分布式训练原理和代码改造点。 多机多卡数据并行-DistributedDataParallel(DDP)：介绍多机多卡数据并行分布式训练原理和代码改造点。 分布式调测适配及代码示例：提供了分布式训练调测具体的代码适配操作过程和代码示例。 分布式训练完整代码示例：

查看更多 →

对象存储卷概述 为满足数据持久化的需求，CCE支持将对象存储服务（OBS）创建的存储卷挂载到容器的某一路径下，对象存储适用于云工作负载、数据分析、内容分析和热点对象等场景。 图1 CCE挂载对象存储卷 约束限制 安全容器不支持使用对象存储卷。 OBS限制单用户创建100个桶，但是

查看更多 →

内网采集权限与原理 主机深度采集 权限要求： Windows系统：需要提供具有Administrator权限的账号。 Linux系统：需要提供root账号。 采集原理： Windows系统：通过WinRM服务从Edge访问Windows主机，执行PowerShell脚本采集系统信

查看更多 →

Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限

查看更多 →

ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种

查看更多 →

事件通知配置 事件通知配置 命名空间 obs.TopicConfiguration 参数描述 字段名 类型 约束 说明 id str 作为请求参数时可选 事件通知配置ID。 topic str 作为请求参数时必选 事件通知主题的URN，当OBS检测到桶中发生特定的事件后，将会发布通知消息至该主题。

查看更多 →

对象存储迁移实施步骤 图1 迁移流程 迁移流程说明： 创建源端和目的端的访问密钥（AK/SK）。 源端：参见源端云服务提供商的相关资料。 目的端：参见创建访问密钥（AK/SK）。 在对象存储服务中创建用于存放迁移数据的桶。 参见创建桶。 在对象存储迁移服务中创建迁移任务，开始迁移。

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

DBService基本原理 DBService简介 DBService是一个高可用性的关系型数据库存储系统，适用于存储小量数据（10GB左右），比如：组件元数据。DBService仅提供给集群内部的组件使用，提供数据存储、查询、删除等功能。 DBService是集群的基础组件，H

查看更多 →

（Distributed Table）的概念。一张本地表等同于一份数据的分片。而分布式表本身不存储任何数据，它是本地表的访问代理，其作用类似分库中间件。借助分布式表，能够代理访问多个数据分片，从而实现分布式查询。 ClickHouse应用场景 ClickHouse是Click Stream + Data

查看更多 →

据分片，负载均衡等。 IoTDBServer（DataNode）：存储角色，负责数据存储、查询和写入等功能。 图2 IoTDB分布式架构 IoTDB原理 根据属性层级、属性涵盖范围以及数据之间的从属关系，可将IoTDB数据模型表示为如图3所示的属性层级组织结构，即“电力集团层-电

查看更多 →

Flume基本原理 Flume是一个高可用、高可靠，分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。其中Flume-NG是Flume的一个分支，其特点

查看更多 →

Manager基本原理 Manager功能 Manager是 MRS 的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。

查看更多 →

CronFederatedHPA工作原理 CronFederatedHPA的工作原理如图1。创建CronFederatedHPA策略时，可以设定一个具体的时间，基于设定的时间调整HPA策略的最大和最小Pod数，也可以直接定时调整工作负载中的Pod数量。 图1 CronFederatedHPA工作原理 单独使用CronFederatedHPA

查看更多 →

None 服务介绍 对象存储服务 OBS 视频介绍 04:38 对象存储服务OBS介绍 操作指导 对象存储服务 OBS 购买OBS 03:36 购买OBS 对象存储服务 OBS 通过OBS控制台上传下载文件 02:42 通过OBS控制台上传下载文件 对象存储服务 OBS 通过OBS

查看更多 →

桶消息通知配置 桶消息通知配置 命名空间 obs.Notification 参数描述 字段名 类型 约束 说明 topicConfigurations list of TopicConfiguration 作为请求参数时可选 事件通知配置列表。 functionGraphConfigurations

查看更多 →