常需要等待数据而拖慢任务的执行。因此，计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问题，提出MemArts分布式客户端缓存，MemArts部署在计算侧的VM中，通过智能预取OBS上的数据来加速计算任务的执行。 图1 MemArtsCC结构图 表1

查看更多 →

和被更新的数据进行标记删除，同时将新的数据写入新的文件。在查询时，所有被标记删除的数据都会在文件级别被过滤，读取出的数据就都是最新的数据，消除了读时合并中的数据聚合过程，并且能够在很多情况下支持多种谓词的下推。因此在许多场景都能带来比较大的性能提升，尤其是在有聚合查询的情况下。 Duplicate模型

查看更多 →

API网关收到请求后，执行1~3，计算签名。 将3中的生成的签名与5中生成的签名进行比较，如果签名匹配，则处理请求，否则将拒绝请求。 APP签名仅支持Body体12M及以下的请求签名。 步骤1：构造规范请求 使用APP方式进行签名与认证，首先需要规范请求内容，然后再进行签名。客户端与API网关使用相同的请求规范，可以

查看更多 →

安全云脑中的日志存储时间是多久？ 安全云脑支持接入WAF、HSS、OBS等云产品的日志数据，接入后可以对数据进行查询分析、智能建模等。 对于已接入安全云脑的日志数据的具体存储时长如下所示： 表1 支持接入的日志 云服务 日志描述 日志 日志生命周期范围 Web应用防火墙 （Web Application

查看更多 →

API网关收到请求后，执行1~3，计算签名。 将3中的生成的签名与5中生成的签名进行比较，如果签名匹配，则处理请求，否则将拒绝请求。 APP签名仅支持Body体12M及以下的请求签名。 步骤1：构造规范请求 使用APP方式进行签名与认证，首先需要规范请求内容，然后再进行签名。客户端与API网关使用相同的请求规范，可以

查看更多 →

只读节点读取redo日志进行缓存数据更新，对应的redo日志的lsn，称为visible lsn，表示只读节点能读取数据页的最大lsn。对于主节点来说，每更新或者插入一条数据产生的最新redo日志的lsn为flush_to_disk_lsn，表示主节点能访问的数据页的最大lsn。只读延迟其实就是只读节点visible

查看更多 →

stroZero的服务编排功能，类似于编程中一段有流程、条件处理、判断逻辑的程序。这段程序有输入参数和输出参数、可以独立成为一个对外调用的方法。同时，在程序内部，也可以调用其他的方法。 AstroZero中的服务编排是将原来基于代码编程改变为用图形化，拖拉拽的方式去编程。如图1所

查看更多 →

会给数据密集型的工作流带来大量的IO开销。而对于RDD来说，它只有一套受限制的接口，仅支持粗粒度的更新，例如map，join等等。通过这种方式，Spark只需要简单的记录建立数据的转换操作的日志，而不是完整的数据集，就能够提供容错性。这种数据的转换链记录就是数据集的溯源。由于并行

查看更多 →

操作HDFS的不同目录； 查询编辑器能够编写简单的SQL，查询存储在Hadoop之上的数据。例如HDFS，HBase，Hive。 用户可以方便地创建、管理、执行SQL，并且能够以Excel的形式下载执行的结果。 通过Hue可以在界面针对组件进行以下操作： HDFS： 查看、创建、管理、重命名、移动、删除文件/目录。

查看更多 →

Storm核心数据结构，是消息传递的基本单元，不可变Key-Value对，这些Tuple会以一种分布式的方式进行创建和处理。 Stream Storm的关键抽象，是一个无边界的连续Tuple序列。 Topology 在Storm平台上运行的一个实时应用程序，由各个组件（Component）组成的一个DAG（Directed

查看更多 →

精确一次语义：Flink的Checkpoint和故障恢复能力保证了任务在故障发生前后的应用状态一致性，为某些特定的存储支持了事务型输出的功能，即使在发生故障的情况下，也能够保证精确一次的输出。 丰富的时间语义 时间是流处理应用的重要组成部分，对于实时流处理应用来说，基于时间语义的窗口聚合、检

查看更多 →

个队列，再选择队列上的一个应用，并尝试在这个应用上分配资源。若因参数限制导致分配失败，将选择下一个应用。选择一个应用后，调度器会处理此应用的资源申请。其优先级从高到低依次为：本地资源的申请、同机架的申请，任意机器的申请。 图2 资源分配模型 YARN原理 新的Hadoop Map

查看更多 →

当前Pod数与期望Pod数的计算方法如下： 当前Pod数 = 所有集群中状态为Ready的Pod数量 在计算期望Pod数时，HPA Controller会选择最近5分钟内计算所得的Pod数的最大值，以避免之前的自动扩缩操作还未完成，就直接执行新的扩缩的情况。 期望Pod数 = 当前Pod数

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

只读节点读取redo日志进行缓存数据更新，对应的redo日志的lsn，称为visible lsn，表示只读节点能读取数据页的最大lsn。对于主节点来说，每更新或者插入一条数据产生的最新redo日志的lsn为flush_to_disk_lsn，表示主节点能访问的数据页的最大lsn。只读延迟其实就是只读节点visible

查看更多 →

云存储优化与提升服务 产品介绍 常见问题 计费说明 父主题： 优化与提升

查看更多 →

RDS使用的什么存储 云数据库RDS存储采用云硬盘，关于云硬盘具体信息，请参见《云硬盘产品介绍》。 云数据库RDS的备份数据存储采用对象存储服务，不占用用户购买的数据库空间。关于云数据库RDS实例存储的硬件配置，请参见《对象存储服务用户指南》。 父主题： 数据库存储

查看更多 →

迁移存储库的资源操作步骤 登录云备份管理控制台。 登录管理控制台。 单击管理控制台左上角的，选择区域。 单击“”，选择“存储 > 云备份 CBR”。选择对应的备份目录。 在任一个备份页面，找到目标存储库，单击目标存储库名称。 选择“绑定的 服务器 ”页签。找到目标服务器，单击“迁移”。如图1所示。

查看更多 →

云存储网关与对象存储的关系？ 云存储网关共享上传的数据最终存储在OBS标准存储类型桶中，建立共享后本地网关能同步绑定OBS桶中对象。 父主题： 概念类

查看更多 →

创建环境时，环境会绑定企业项目ID。 最大长度36字节，带“-”连字符的UUID格式，或者是字符串“0”。 该字段不传（或传为字符串“0”）时，则查询默认企业项目下的资源。 说明： 关于企业项目ID的获取及企业项目特性的详细信息，请参见《企业管理服务用户指南》。 X-Environment-ID

查看更多 →

数据库服务器备份和云数据库备份有什么区别？ 数据库服务器备份的备份对象是部署MySQL或SAP HANA等数据库应用的云服务器，对应用一致性有要求，需要在云备份控制台购买云服务器备份存储库，更多详情请参见数据库服务器备份。 云数据库备份的备份对象是云数据库RDS实例，备份原理不同，

查看更多 →