使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题

查看更多 →

使用Yarn 集群启动Yarn后产生大量作业占用资源 通过客户端hadoop jar命令提交任务后返回“GC overhead”报错 Yarn汇聚日志过大导致节点磁盘被占满 MapReduce任务异常，临时文件未删除 Yarn客户端的端口信息错误导致提交任务后报错connection

查看更多 →

鉴权原理 iRTC系统使用HmacSHA256加密生成签名作为接入鉴权方式，需要在SDK加入房间时设置“signature”和“timeStamp”。“signature”为标识签名，由租户使用ISDPRTC提供的 “accessKey”、“appId”以及当前的“channel

查看更多 →

SCP原理介绍 SCP分类 SCP按照策略创建者可分为两类，分别是系统策略和自定义策略。 系统策略 华为云服务在组织预置了常用SCP，称为系统策略。组织管理员给组织单元或账号绑定SCP时，可以直接使用这些策略。系统策略只能使用，不能修改。现有的SCP系统策略请参见：SCP系统策略列表。

查看更多 →

背景与原理 业务应用构建登录页面时，一般情况下是通过使用AstroZero的高级页面能力实现。您可以通过本节认识高级页面，并了解登录页面的开发流程。 了解高级页面 AstroZero前端页面有标准页面、高级页面和表单三种。本节主要带您了解、学习并使用高级页面。 标准页面：对于一般

查看更多 →

背景和原理 本节主要通过创建一个标准页面，调用一个具有编辑设备功能的脚本，实现编辑设备信息功能。在进行开发前，您需要先了解脚本、公共接口以及标准页面的相关知识。 学习地图 如图1所示，通过本章的学习和实践，您将了解“标准页面”的能力，并掌握脚本的开发方法。 图1 学习地图 脚本 公共接口

查看更多 →

JWT认证原理 JWT认证原理 JWT（Json Web Token）是一种服务端向客户端发放令牌的认证方式。客户端用户名密码登录时，服务端会生成一个令牌返回给客户端；客户端随后在向服务端请求时只需携带这个令牌，服务端通过校验令牌来验证是否是来自合法的客户端，进而决定是否向客户端

查看更多 →

加速原理 通俗来讲，GA全球骨干网相当于华为云在全球多个国家建设高速公路网，接入点就好比高速公路入口，加速区域就是指有高速公路入口的国家或地区，而Region则可以理解是高速公路网的出口站点。我们可以通过“运营商”建设的普通公路访问Region应用（EIP访问流程），也可以就近接

查看更多 →

迁移工作原理 概述 迁移流程 数据识别与准备 数据迁移 数据安全与完整性保障

查看更多 →

YARN接口介绍 YARN Command介绍 YARN Java API接口介绍 YARN REST API接口介绍 Superior Scheduler REST API接口介绍 父主题： YARN开发指南（安全模式）

查看更多 →

YARN接口介绍 YARN Command介绍 YARN Java API接口介绍 YARN REST API接口介绍 Superior Scheduler REST API接口介绍 父主题： YARN开发指南（安全模式）

查看更多 →

s。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助： yarn --help 用法：进入Yarn客户端的任意目录，执行source命令导入环境变量，直接运行命令即可。 格式如下所示： yarn [--config confdir] COMMAND 其中COMMAND内容请参考表1。

查看更多 →

s。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助： yarn --help 用法：进入Yarn客户端的任意目录，执行source命令导入环境变量，直接运行命令即可。 格式如下所示： yarn [--config confdir] COMMAND 其中COMMAND可以为：

查看更多 →

s。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助： yarn --help 用法：进入Yarn客户端的任意目录，执行source命令导入环境变量，直接运行命令即可。 格式如下所示： yarn [--config confdir] COMMAND 其中COMMAND可以为：

查看更多 →

yarn-service-check.log Yarn服务健康状态检查日志。 yarn-start-stop.log Yarn服务启停操作日志。 yarn-prestart.log Yarn服务启动前集群操作的记录日志。 yarn-postinstall.log Yarn服务安装后启动前的工作日志。 hadoop-commission

查看更多 →

增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题： 进阶实践

查看更多 →

Hive CBO原理介绍 Hive CBO原理介绍 CBO，全称是Cost Based Optimization，即基于代价的优化器。 其优化目标是： 在编译阶段，根据查询语句中涉及到的表和查询条件，计算出产生中间结果少的高效join顺序，从而减少查询时间和资源消耗。 Hive中实现CBO的总体过程如下：

查看更多 →

背景和原理（对象） AstroZero提供的数据对象（Object）定义功能，对应传统方式开发业务系统中的创建数据库表。每个Object对应一张数据库表，用于保存业务系统需要的配置数据和业务数据。 对象用于存储组织或者业务特有的数据，可理解为数据库中的数据表（逻辑表，系统实际存储

查看更多 →

迁移作业原理 数据迁移模型 CDM 数据迁移时，简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。

查看更多 →

备份原理及方案 RDS实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 云数据库RDS通过Sysbench导入数据模型和一定量的数据，备份后压缩比约为80%。其中，重复数据越多，压缩比越高。 压缩比

查看更多 →

备份原理及方案 DDS实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 备份原理 集群实例 集群实例由dds mongos（路由）、Config（配置）和Shard（分片）组件构成。其中，Confi

查看更多 →