feature 否 String 作业特性。表示用户作业使用的Flink镜像类型。 basic：表示使用 DLI 提供的基础Flink镜像。 custom：表示使用用户自定义的Flink镜像。 flink_version 否 String Flink版本。当用户设置“feature”为“basic

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

Flink Flink基本原理 Flink HA方案介绍 Flink与其他组件的关系 Flink开源增强特性 父主题： 组件介绍

查看更多 →

数据仓库规格 GaussDB (DWS)的规格按照产品类型分为标准数仓、实时数仓和IoT数仓。其中实时数仓还包含单机版模式。各产品类型的不同差异，详情请参见数据仓库类型。 标准数仓（DWS 2.0）规格 标准数仓（DWS 2.0）云盘规格，该规格弹性伸缩，无限算力、无限容量，规格详情请参见表1。

查看更多 →

数据仓库类型 产品类型概述 标准数仓（DWS 2.0）：面向数据分析场景，为用户提供高性能、高扩展、高可靠、高安全、易运维的企业级数仓服务，支持2048节点、20PB级超大规模数据分析能力。支持冷热数据分析，存储、计算弹性伸缩，并按需、按量计价，为用户提供弹性灵活、极致性价比的体

查看更多 →

DWS Connector概述 数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务（DWS）中读取数据。DWS数据库内核兼容PostgreSQ

查看更多 →

功能描述 DLI将Flink作业的输出数据输出到数据仓库服务（DWS）中。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data

查看更多 →

参见《数据仓库服务管理指南》。 前提条件 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 请务必确保您的账户下已在数据仓库服务（D

查看更多 →

使用Flink Flink作业引擎概述 Flink用户权限管理 Flink客户端使用实践 创建FlinkServer作业前准备 创建FlinkServer作业 管理FlinkServer作业 Flink运维管理 Flink性能调优 Flink常见Shell命令 Flink常见问题

查看更多 →

参见《数据仓库服务管理指南》。 前提条件 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 请务必确保您的账户下已在数据仓库服务（D

查看更多 →

Flink部署 flink1.12 jar下载 cd /opt wget https://archive.apache.org/dist/flink/flink-1.12.0/flink-1.12.0-bin-scala_2.11.tgz 解压 tar -zxvf flink-1

查看更多 →

使用Flink Flink作业引擎概述 Flink用户权限管理 Flink客户端使用实践 创建FlinkServer作业前准备 创建FlinkServer作业 管理FlinkServer作业 Flink企业级能力增强 Flink运维管理 Flink性能调优 Flink客户端常见命令说明

查看更多 →

Kafka实时入库到GaussDB(DWS) 通过 数据湖探索 服务 DLI Flink作业将Kafka的消费数据实时同步至GaussDB(DWS)数据仓库，实现Kafka实时入库到GaussDB(DWS)的过程。 了解DLI请参见 数据湖 产品介绍 。 了解Kafka请参见分布式消息服务Kafka产品介绍。

查看更多 →

双方达成一致的业务保障目标，客户完成服务付款。 服务范围 本项目华为云数据仓库专家服务包括以下一项或多项内容： 华为云数据仓库产品咨询服务 华为云数据仓库平台安装部署规划与实施 数据仓库迁移方案设计与实施支持 基于华为云数据仓库平台的开发支持 本项目华为云数据仓库专家服务不包括以下内容： 应用程序改造、应用程序设计、数据库逻辑结构设计

查看更多 →

功能描述 DLI将Flink作业的输出数据输出到数据仓库服务（DWS）中。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data

查看更多 →

功能描述 DLI将Flink作业的输出数据输出到数据仓库服务（DWS）中。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data

查看更多 →

修复Flink 前提条件 已获取 FusionInsight Manager登录地址及admin账号。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Flink > 配置 > 全部配置”，搜索参数“FLINK_SERVER_GC_OPTS”，在该参数值中添加“

查看更多 →

principal:pippo” Flink客户端执行命令报错“Could not connect to the leading JobManager” 使用不同用户执行yarn-session创建Flink集群失败 Flink业务程序无法读取NFS盘上的文件 自定义Flink log4j日志输出级别不生效

查看更多 →

创建数据仓库 GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后，记录集群的内网IP。 为确保E CS 与GaussDB(DWS)网络互通，GaussDB(DWS)数据仓库需要与ECS在同一个区域，同一个虚拟私有云和子网下。 表1 DWS规格

查看更多 →