对接RDS scala样例代码 pyspark样例代码 java样例代码 父主题： 使用Spark作业跨源访问数据源

查看更多 →

手动配置HDFS目录存储策略，配置动态存储策略等操作。 Hive： 编辑、执行SQL/HQL语句；保存、复制、编辑SQL/HQL模板；解释SQL/HQL语句；保存SQL/HQL语句并进行查询。 数据库展示，数据表展示。 支持多种Hadoop存储。 通过Metastore对数据库及表和视图进行增删改查等操作。 如果使用

查看更多 →

Hive基本原理 Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。Hiv

查看更多 →

创建RDS表 创建RDS/DWS表用于与输入流连接。 RDS的更多信息，请参见《关系型数据库用户指南》。 流表JOIN语法请参见流表JOIN。 前提条件 请务必确保您的账户下已在关系型数据库（RDS）里创建了PostgreSQL或MySQL类型的RDS实例。 如何创建RDS实例，

查看更多 →

RDS相关类 数据库表名是否区分大小写 RDS for MySQL哪些高危操作会影响DDM 如何处理表中存在主键重复的数据 如何通过show full innodb status指令查询RDS for MySQL相关信息

查看更多 →

SparkSQL和DataSet原理 SparkSQL 图7 SparkSQL和DataSet Spark SQL是Spark中用于结构化数据处理的模块。在Spark应用中，可以无缝的使用SQL语句亦或是DataSet API对结构化数据进行查询。 Spark SQL以及Data

查看更多 →

Spout Topology中产生源数据的组件，是Tuple的来源，通常可以从外部数据源（如消息队列、数据库、文件系统、TCP连接等）读取数据，然后转换为Topology内部的数据结构Tuple，由下一级组件处理。 Bolt Topology中接受数据并执行具体处理逻辑（如过滤，统计、转换、合并、结果持久化等）的组件。

查看更多 →

able/sqlClient.html。 CEP in SQL Flink允许用户在SQL中表示CEP（Complex Event Processing）查询结果以用于模式匹配，并在Flink上对事件流进行评估。 CEP SQL通过MATCH_RECOGNIZE的SQL语法实现。

查看更多 →

YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建

查看更多 →

APP认证工作原理 构造规范请求。 将待发送的请求内容按照与API网关（即API管理）后台约定的规则组装，确保客户端签名、API网关后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到H

查看更多 →

载的指标数据。 karmada-metrics-adapter将计算的指标数据返回至HPA Controller。 HPA Controller基于返回的指标数据计算所需的Pod扩缩数量，并保持负载伸缩的稳定性。 图1 FederatedHPA工作原理 如何计算指标数据？ 指标数

查看更多 →

背景及原理（服务编排） AstroZero的服务编排，支持对逻辑判断组件、数据处理组件，以及脚本、子服务编排、商业对象等进行可视化组合编排，实现丰富的业务功能。 了解服务编排 在传统的开发中程序员一般是基于代码进行开发，程序员需要学习内容较多，开发效率相对低一些，开发门槛也高。A

查看更多 →

实现原理 RDS for PostgreSQL跨区域容灾实现原理说明： 在两个数据中心独立部署RDS for PostgreSQL实例，通过RDS接口将生产中心RDS for PostgreSQL库中的数据同步到灾备中心RDS for PostgreSQL库中，实现RDS for

查看更多 →

RDS输出流 功能描述 DLI 将Flink作业的输出数据输出到关系型数据库（RDS）中。目前支持PostgreSQL和MySQL两种数据库。PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互

查看更多 →

使用建议：如果实例规格的名称中有HA参数，则此处需要填写true，反之为false ，请参考RDS服务资料-查询数据库规格：https://support.huaweicloud.com/api-rds/rds_06_0002.html 父主题： 数据结构

查看更多 →

创建RDS for MySQL实例 本章节介绍创建RDS for MySQL实例。 进入购买云数据库RDS页面。 配置实例名称和实例基本信息。选择区域“华南-广州”。 选择实例规格。 选择实例所属的VPC和安全组、配置数据库端口。 VPC和安全组已在创建VPC和安全组中准备好。 配置实例密码。

查看更多 →

创建RDS for MySQL实例 本章节介绍创建RDS for MySQL实例并构造测试数据。 创建实例 登录华为云控制台。 单击管理控制台左上角的，选择区域“华南-广州”。 单击左侧的服务列表图标，选择“数据库 > 云数据库 RDS”。 单击“购买数据库实例”。 配置实例名称和实例基本信息。

查看更多 →

创建RDS for MySQL实例 本章节介绍创建DDM下关联的RDS for MySQL实例，创建步骤如下。 创建步骤 单击管理控制台左上角的，选择区域。 单击左侧的服务列表图标，选择“数据库 > 云数据库 RDS”。 单击“购买数据库实例”。 配置实例名称和实例基本信息。 选择实例规格。

查看更多 →

创建RDS for MySQL实例 本章节介绍创建RDS for MySQL业务实例，选择已规划的业务实例所属VPC，并为业务实例（源实例）绑定EIP。 创建RDS for MySQL实例 进入购买云数据库RDS页面。 选择区域“华东-上海一”。填选实例信息后，单击“立即购买”。

查看更多 →

RDS for MySQL快速入门 步骤一：准备工作 步骤二：购买实例 步骤三：连接实例 示例：购买并连接RDS for MySQL实例

查看更多 →

z!。 数据迁移 使用mysqldump迁移RDS for MySQL数据 介绍如何使用mysqldump工具将数据复制到RDS for MySQL数据库。 RDS for MySQL迁移到RDS for MySQL 介绍如何使用DRS将表级、库级或实例级数据迁移到RDS for

查看更多 →