从HDFS输入创建，或从与Hadoop兼容的其他存储系统中输入创建。 从父RDD转换得到新RDD。 从数据集合转换而来，通过编码实现。 RDD的存储： 用户可以选择不同的存储级别缓存RDD以便重用（RDD有11种存储级别）。 当前RDD默认是存储于内存，但当内存不足时，RDD会溢出到磁盘中。

查看更多 →

数据库展示，数据表展示。 支持多种Hadoop存储。 通过Metastore对数据库及表和视图进行增删改查等操作。 如果使用IE浏览器访问Hue界面来执行HQL，由于浏览器存在的功能问题，将导致执行失败。建议使用兼容的浏览器，例如Google Chrome浏览器。 MapReduce：查看集群

查看更多 →

易于调试：CQL提供了详细的异常码说明，降低了用户对各种错误的处理难度。 关于Storm的架构和详细原理介绍，请参见：https://storm.apache.org/。 Storm原理 基本概念 表1 概念介绍 概念 说明 Tuple Storm核心数据结构，是消息传递的基本单元，

查看更多 →

tate Backend，State可以存储在内存上或RocksDB等上，并支持异步以及增量的Checkpoint机制。 精确一次语义：Flink的Checkpoint和故障恢复能力保证了任务在故障发生前后的应用状态一致性，为某些特定的存储支持了事务型输出的功能，即使在发生故障的情况下，也能够保证精确一次的输出。

查看更多 →

YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建

查看更多 →

自动建表原理介绍 自动建表时的字段类型映射 CDM 在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将Oracle整库迁移到DWS，CDM在DWS上自动建表，会将Oracle的NUMBER(3

查看更多 →

连接OBS 介绍 DIS可以向 对象存储服务 （Object Storage Service，简称OBS）上传数据。 前提条件 已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时，DIS会将通道数据周期性导入OBS。

查看更多 →

String bucketName ="obs_name"; ObsBuckets obsBuckets = new ObsBuckets(); obsBuckets.addObsBucketsItem(bucketName);

查看更多 →

OBS管理 查询OBS桶列表 查询OBS桶对象列表 父主题： Console

查看更多 →

OBS事件 华为云函数可以由不同的event源触发。这些事件源可以通过event定义和配置。 OBS事件 此示例设置一个OBS事件，每当对象上传到my-service-resource时，该事件将触发first函数。 # serverless.yml functions: first:

查看更多 →

OBS管理 OBS管理概述 文件传输（推荐） 上传文件至OBS 上传文件夹至OBS 从OBS下载文件 从OBS下载文件夹

查看更多 →

连接OBS 介绍 DIS可以向对象存储服务（Object Storage Service，简称OBS）上传数据。 前提条件 已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时，DIS会将通道数据周期性导入OBS。

查看更多 →

OBS授权 注：V2版本，用户可以通过请求BODY直接传BASE64文件，OBS授权及使用不是必选项。 OBS授权流程： 1. 用户需要进入华为云统一身份认证，点击创建委托。 图1 进入统一认证身份服务 图2 创建委托 2. 配置用户信息，点击下一步；在委托名称框内填入“oroas_admin_trust”

查看更多 →

OBS简介 对象存储服务（Object Storage Service，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力，包括：创建、修改、删除桶，上传、下载、删除对象等。 OBS为用户提供了超大存储容量的能力，适合存放任意类型的文件，适合

查看更多 →

linkConfig.obsBucketType 否 String OBS桶类型。 对象桶：OB。 并行文件系统：PFS。 说明： 桶类型分为对象桶和并行文件系统，对象桶过滤文件会比较慢，建议客户使用并行文件桶。 linkConfig.server 是 String OBS 服务器 的终端节点（Endpoint）。

查看更多 →

Delete OBS 约束限制 该功能依赖于OBS服务。 功能 通过Delete OBS节点在OBS服务中删除桶和目录。 参数 用户可参考表1和表2配置Delete OBS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“

查看更多 →

APP认证工作原理 构造规范请求。 将待发送的请求内容按照与API网关（即API管理）后台约定的规则组装，确保客户端签名、API网关后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到H

查看更多 →

APP认证工作原理 APP认证流程 构造规范请求。 将待发送的请求内容按照与APIC后台约定的规则组装，确保客户端签名、APIC后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到HTT

查看更多 →

异地双活原理介绍 GeminiDB Cassandra提供了异地双活功能，通过异地实例间数据的双向同步和业务灵活调度能力，实现了业务恢复和故障恢复解耦，保障了故障场景下业务的连续性。 异地双活是一种多活容灾架构的解决⽅案，即部署在不同数据中心的GeminiDB Cassandra

查看更多 →

NameNode中的数据保持同步；随时准备在Active NameNode出现异常时接管其服务。 Observer NameNode：与Active NameNode中的数据保持同步，处理来自客户端的读请求。 DataNode 用于存储每个文件的“数据块”数据，并且会周期性地向NameNode报告该DataNode的数据存放情况。

查看更多 →

放在pg数据库中。 Tomcat Tomcat服务器是免费的开放源代码的Web应用服务器。 Hadoop组件 底层执行Oozie编排流程的各个组件，包括MapReduce、Hive等。 Oozie原理 Oozie是一个工作流引擎服务器，用于运行MapReduce任务工作流。同时Oozie还是一个Java

查看更多 →