开发实践 跨逻辑集群数据读写 湖仓一体

查看更多 →

MySQL数据迁移到OBS CDM 支持表到OBS的迁移，本最佳实践介绍如何通过CDM将MySQL表数据迁移到OBS中。 参数传递 通过数据开发使用参数传递灵活调度CDM作业 如果CDM作业接收来自数据开发作业配置的参数，则在数据开发模块可以使用诸如EL表达式传递动态参数来调度CD

查看更多 →

作业开发 作业开发概述 新建作业 编排作业 保存作业 父主题： 实时分析

查看更多 →

作业开发 作业开发流程 新建作业 开发Pipeline作业 开发批处理单任务SQL作业 开发实时处理单任务Flink SQL作业 开发实时处理单任务Flink Jar作业 开发实时处理单任务 DLI Spark作业 调度作业 提交版本 发布作业任务 （可选）管理作业 父主题： 数据开发组件

查看更多 →

作业开发 Spark如何将数据写入到DLI表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？

查看更多 →

建议每个画布中的作业算子不超过20个 按质量作业创建调度作业画布 质量作业普遍执行耗时比较长，为了不影响整体的作业，故单独创建质量作业。 将20个质量作业放在一个画布上，使用Dummy空算子进行作业间的关联。 每个作业使用作业质量算子，每个算子关联对应的质量作业。 建议每个画布中的作业算子不超过20个。

查看更多 →

作业开发 如何合并小文件 DLI如何访问OBS桶中的数据 创建OBS表时正确指定OBS路径 关联OBS桶中嵌套的JSON格式数据如何创建表 count函数如何进行聚合 如何将一个区域中的DLI表数据同步到另一个区域中？ SQL作业如何指定表的部分字段进行表数据的插入 怎样删除表数据？

查看更多 →

开发大屏 编辑大屏 预览大屏 发布大屏

查看更多 →

“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 在作业目录中，双击作业名称，进入作业开发页面。 在作业开发页面，单击画布右侧“作业基本信息”页签，展开配置页面，配置作业实例超时时间。 实例超时时间：根据实际需要配置作业实例的超

查看更多 →

开发大屏 开发页面 单击导入的项目（大屏Demo），单击进入项目。 如图1所示，单击“指挥看板”，进入页面。 图1 进入页面 单击“编辑页面”，进入页面的编辑状态，如图2所示。 图2 编辑状态 在模板页面中，删除组件。 按照规划，删除不要的组件，选择组件，右击鼠标，在弹出的下拉菜单中选择“删除”。

查看更多 →

S for MySQL数据库。 将其他云MySQL同步到RDS for MySQL 介绍如何使用DRS将其他云上MySQL数据库同步到RDS for MySQL数据库。 其他云MySQL到RDS for MySQL单主灾备 其他云MySQL到RDS for MySQL双主灾备 介

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

OpenSource SQL作业从PostgreSQL CDC源表读取数据写入到DWS的开发示例。 Flink Jar作业开发 Flink Jar作业开发基础样例 通过自定义作业与 MRS 进行交互为例进行介绍Flink Jar作业开发样例。 使用Flink Jar写入数据到OBS开发指南 介绍将k

查看更多 →

Spark作业访问MySQL数据库的方案 通过DLI Spark作业访问MySQL数据库中的数据有如下两种方案： 方案1：在DLI中创建队列，队列计费模式为包年/包月队列或按需专属，创建增强型跨源连接，再通过跨源表读取MySQL数据库中的数据，该方案需要用户自行编写java代码或scala代码。

查看更多 →

创建 GaussDB (for MySQL)数据库实例时，系统默认开启自动备份策略，暂不支持关闭。实例创建成功后，您可根据业务需要设置自动备份策略。GaussDB(for MySQL)按照用户设置的自动备份策略对数据库进行备份。GaussDB(for MySQL)的备份操作是实例级的，而不是数据库级的。当

查看更多 →

作业开发类 如何准备MRS的数据源？ MRS集群支持提交哪些形式的Spark作业？ MRS集群的租户资源最小值改为0后，只能同时运行一个Spark任务吗？ 作业提交参数间用空格隔开导致参数信息不被识别如何处理？ Spark作业的Client模式和Cluster模式有什么区别？ 如何查看MRS作业的日志？

查看更多 →

置。 开发作业前，您可以通过图1了解数据开发模块作业开发的基本流程。 图1 作业开发流程 新建作业：当前提供两种作业类型：批处理和实时处理，分别应用于批量数据处理和实时连接性数据处理，其中批处理作业还支持Pipeline和单节点作业两种模式，具体请参见新建作业。 开发作业：基于新

查看更多 →

制访问数据库的源IP。 避免使用默认端口号 MySQL的默认端口号为3306，此端口会更容易受到恶意人员的攻击。建议您为数据库实例修改数据库端口。 确保限制数据库用户的可用资源 如果不限定数据库用户的可用资源，用户在受到攻击时，可能会出现系统过载，导致服务DOS。限定数据库用户的

查看更多 →

作业开发概述 作业开发主要包括如下功能： 新建作业 编排作业 保存作业 父主题： 作业开发

查看更多 →

作业开发API 创建作业 修改作业 查询作业列表 查询作业详情 查询作业文件 导出作业 批量导出作业 导入作业 立即执行作业 启动作业 停止作业 删除作业 停止作业实例 重跑作业实例 查询实时作业运行状态 查询作业实例列表 查询作业实例详情 查询系统任务详情 父主题： 数据开发API（V1）

查看更多 →

作业开发API 创建补 数据实例 查询补数据实例 停止补数据实例 修改作业名称 查询发布包列表 查询指定发布包详情 设置作业标签 查询告警通知记录 发布任务包 撤销任务包 查询实例运行状态 查询任务完成情况 查询指定作业的实例列表 父主题： 数据开发API（V2）

查看更多 →