云存储网关与对象存储的关系？ 云存储网关共享上传的数据最终存储在OBS标准存储类型桶中，建立共享后本地网关能同步绑定OBS桶中对象。 父主题： 概念类

查看更多 →

API网关收到请求后，执行1~3，计算签名。 将3中的生成的签名与5中生成的签名进行比较，如果签名匹配，则处理请求，否则将拒绝请求。 APP签名仅支持Body体12M及以下的请求签名。 步骤1：构造规范请求 使用APP方式进行签名与认证，首先需要规范请求内容，然后再进行签名。客户端与API网关使用相同的请求规范，可以

查看更多 →

只读节点读取redo日志进行缓存数据更新，对应的redo日志的lsn，称为visible lsn，表示只读节点能读取数据页的最大lsn。对于主节点来说，每更新或者插入一条数据产生的最新redo日志的lsn为flush_to_disk_lsn，表示主节点能访问的数据页的最大lsn。只读延迟其实就是只读节点visible

查看更多 →

stroZero的服务编排功能，类似于编程中一段有流程、条件处理、判断逻辑的程序。这段程序有输入参数和输出参数、可以独立成为一个对外调用的方法。同时，在程序内部，也可以调用其他的方法。 AstroZero中的服务编排是将原来基于代码编程改变为用图形化，拖拉拽的方式去编程。如图1所

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

只读节点读取redo日志进行缓存数据更新，对应的redo日志的lsn，称为visible lsn，表示只读节点能读取数据页的最大lsn。对于主节点来说，每更新或者插入一条数据产生的最新redo日志的lsn为flush_to_disk_lsn，表示主节点能访问的数据页的最大lsn。只读延迟其实就是只读节点visible

查看更多 →

样就会给数据密集型的工作流带来大量的IO开销。而对于RDD来说，它只有一套受限制的接口，仅支持粗粒度的更新，例如map，join等等。通过这种方式，Spark只需要简单的记录建立数据的转换操作的日志，而不是完整的数据集，就能够提供容错性。这种数据的转换链记录就是数据集的溯源。由于

查看更多 →

操作HDFS的不同目录； 查询编辑器能够编写简单的SQL，查询存储在Hadoop之上的数据。例如HDFS，HBase，Hive。 用户可以方便地创建、管理、执行SQL，并且能够以Excel的形式下载执行的结果。 通过Hue可以在界面针对组件进行以下操作： HDFS： 查看、创建、管理、重命名、移动、删除文件/目录。

查看更多 →

例如对于一些对数据丢失不敏感的业务，可以在业务中不考虑数据丢失处理从而提高系统性能；而对于一些严格要求数据可靠性的业务，则需要使用精确一次的可靠性方案，以确保数据被处理且仅被处理一次。 容错 Storm是一个容错系统，提供较高可用性。表2从Storm的不同部件失效的情况角度解释其容错能力：

查看更多 →

精确一次语义：Flink的Checkpoint和故障恢复能力保证了任务在故障发生前后的应用状态一致性，为某些特定的存储支持了事务型输出的功能，即使在发生故障的情况下，也能够保证精确一次的输出。 丰富的时间语义 时间是流处理应用的重要组成部分，对于实时流处理应用来说，基于时间语义的窗口聚合、检

查看更多 →

个队列，再选择队列上的一个应用，并尝试在这个应用上分配资源。若因参数限制导致分配失败，将选择下一个应用。选择一个应用后，调度器会处理此应用的资源申请。其优先级从高到低依次为：本地资源的申请、同机架的申请，任意机器的申请。 图2 资源分配模型 YARN原理 新的Hadoop Map

查看更多 →

当前Pod数与期望Pod数的计算方法如下： 当前Pod数 = 所有集群中状态为Ready的Pod数量 在计算期望Pod数时，HPA Controller会选择最近5分钟内计算所得的Pod数的最大值，以避免之前的自动扩缩操作还未完成，就直接执行新的扩缩的情况。 期望Pod数 = 当前Pod数

查看更多 →

创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前，需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统，可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击，选择“存储

查看更多 →

用户可以通过 GaussDB (DWS)提供的客户端工具（gsql）或者JDBC/ODBC驱动从上层应用向GaussDB(DWS)写入数据。GaussDB(DWS)支持完整的数据库事务级别的增删改(CRUD)操作。这是最简单的一种方式，这种方式适合数据写入量不太大， 并发度不太高的场景。 从 MRS 导入数据，将MRS作为ETL。

查看更多 →

Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题： 使用Hive

查看更多 →

配置HBase冷热数据分离存储 在海量大数据场景下，HBase表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，如果降低这部分数据的存储成本将会极大的节省企业的成本。 HBase支持冷热分离功能，将数据分类存储在不同介质

查看更多 →

设备密钥，可自定义，不填写物联网平台会自动生成。 选择左侧导航栏的“规则>数据转发”，单击左上角的“创建规则”。 您也可以基于已经创建的规则，在规则详情页面，添加新的转发目标MySQL。 参考下表参数说明，填写规则内容。以下参数取值仅为示例，您可参考数据转发简介填写具体的流转规则参数，填写完成后单击“创建规则”。

查看更多 →

RDS使用的什么存储 云数据库RDS存储采用云硬盘，关于云硬盘具体信息，请参见《云硬盘产品介绍》。 云数据库RDS的备份数据存储采用对象存储服务，不占用用户购买的数据库空间。关于云数据库RDS实例存储的硬件配置，请参见《对象存储服务用户指南》。 父主题： 数据库存储

查看更多 →

迁移存储库的资源 通过迁移资源功能，您可以将某个资源从当前存储库中解绑并重新绑定至另一存储库，该资源产生的所有备份也会从当前存储库迁移至目标存储库中。 约束与限制 只有“可用”或“锁定”状态的存储库才能进行资源迁移。 目标存储库剩余容量需大于待迁移资源的备份总容量。 暂不支持跨账号迁移存储库资源。

查看更多 →

标准存储”，待迁移完成确认数据无误后，再通过对象生命周期将对应数据的存储类型改为“归档存储”。 前提条件 已 注册华为账号 并开通华为云，完成实名认证。 已获取源端和目的端账号的AK/SK。 源端桶对应账户需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容。获取方式参见源端桶权限获取。

查看更多 →

行的操作下的“配置数据存储”。 进入“配置数据存储”页面。 在“配置数据存储”页面，根据页面提示设置参数，为企业路由器实例配置OBS存储。 在“配置数据存储”页面，参数的详细说明，请参见配置OBS数据存储。 父主题： 使用CES服务监控ESW网络指标

查看更多 →