Spark SQL常用配置项说明 本章节为您介绍 DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负，则没有限制。 spark.sql.shuffle

查看更多 →

GaussDB (for MySQL)日志配置管理 GaussDB(for MySQL)的日志管理功能支持查看数据库级别的日志，包括数据库运行的错误信息，以及运行较慢的SQL查询语句，有助于您分析系统中存在的问题。 操作场景 配置访问日志后，GaussDB(for MySQL)实例新生成的日志记录会上传到云日志服务（Log

查看更多 →

discarded 例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口： 在Manager系统中，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。 表1

查看更多 →

执行以下命令退出数据库。 exit; 执行以下命令编辑MySQL配置文件，然后按“i”进入输入模式。 vi /etc/my.cnf 在配置文件中增加如下配置，开启Binlog。 server-id = 123 log_bin = mysql-bin binlog_format = row binlog_row_image

查看更多 →

基于SQL配置图表 配置oapdruid、oapclickhouse、oapmppdb、oapinfluxdb、oaptsdb数据源后，可以使用druid、clickhouse等数据源基于SQL配置图表，本章节介绍如何基于SQL配置图表并将图表添加至业务报表中。 前提条件 已完成对于数据源的数据开发。

查看更多 →

创建E CS （MySQL 服务器 ） 购买 弹性云服务器 ，用于安装MySQL社区版。 登录华为云管理控制台。 单击管理控制台左上角的，选择区域“华南-广州”。 单击页面左上角，选择“计算 > 弹性 云服务器 ECS”。 单击“购买云服务器”。 配置弹性云服务器参数。 选择通用计算型s6.xlarge

查看更多 →

创建ECS（MySQL服务器） 购买弹性云服务器，用于安装MySQL社区版。 登录华为云管理控制台。 单击管理控制台左上角的，选择区域“华南-广州”。 单击页面左上角，选择“计算 > 弹性云服务器 ECS”。 单击“购买云服务器”。 配置弹性云服务器参数。 选择通用计算型s6.xlarge

查看更多 →

在弹性云服务器上安装MySQL 使用root登录刚创建的弹性云服务器，然后进行MySQL安装操作： 确保服务器系统处于最新状态 yum -y update 如果显示以下内容说明已经更新完成 Replaced: grub2.x86_64 1:2.02-0.64.el7.centos

查看更多 →

创建ECS并安装MySQL客户端 请参考创建ECS（MySQL服务器）创建MySQL客户端的弹性云服务器。 确保和MySQL服务器所在ECS配置成相同Region、相同可用区、相同VPC、相同安全组。 不用购买数据盘。 云服务器名配置为：ecs-client。 其他参数同MySQL服务器的ECS配置。

查看更多 →

创建ECS并安装MySQL客户端 请参考创建ECS（MySQL服务器）创建MySQL客户端的弹性云服务器。 确保和MySQL服务器所在ECS配置成相同Region、相同可用区、相同VPC、相同安全组。 不用购买数据盘。 云服务器名配置为：ecs-client。 其他参数同MySQL服务器的ECS配置。

查看更多 →

创建ECS并安装MySQL客户端 请参考创建ECS（MySQL服务器）创建MySQL客户端的弹性云服务器。 确保和MySQL服务器所在ECS配置成相同Region、相同可用区、相同VPC、相同安全组。 不用购买数据盘。 云服务器名配置为：ecs-client。 其他参数同MySQL服务器的ECS配置。

查看更多 →

已经删除的数据。 否 导入前准备语句 执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。 create temp table 导入后完成语句 执行任务之后执行的SQL语句，目前仅允许执行一条SQL语句。 merge into loader线程数 每个load

查看更多 →

目标端库名：数据将同步至指定的DWS Schema中。 表匹配策略：默认与源端配置中填写的逻辑表同名。 图8 分库分表场景下源库表和目标匹配策略 DWS参数配置。 其余DWS目的端参数说明请参考下表。 图9 DWS配置项 表7 DWS配置项 配置项 默认值 单位 配置说明 写入模式 UPSERT - UPSERT模式：批量更新入库模式

查看更多 →

目标端库名：数据将同步至指定的Hudi库中。 表匹配策略：默认与源端配置中填写的逻辑表同名。 图9 分库分表场景下源库表和目标匹配策略 Hudi参数配置。 其余Hudi目的端参数说明请参考表7。 图10 Hudi目的端配置项 表7 Hudi目的端配置项 配置项 默认值 单位 配置说明 数据存储路径 - - Hud

查看更多 →

方式作为弹性云服务器的鉴权方式，如果选择此方式，您可以通过用户名密码方式登录弹性云服务器。 Admin@123 高级配置 高级配置可对实例自定义数据注入和云服务器组进行配置。 可选择“暂不配置”和“现在配置”。 - 实例自定义数据注入 可选配置，主要用于创建弹性云服务器时向弹性云

查看更多 →

示例二：配置云服务器的访问策略 操作场景 本章节指导用户通过调用API来为云服务器配置安全组。 前提条件 已创建弹性云服务器，具体请参见创建ECS。 当您使用Token认证方式完成认证鉴权时，需要获取用户Token并在调用接口时增加“X-Auth-Token”到业务接口请求消息头

查看更多 →

配置SparkSQL支持Hudi Schema演进 Schema演进开启后不能关闭。 本章节仅适用于 MRS 3.2.0及之前版本。 使用spark-beeline时，需要登录Manager页面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在搜索栏中搜索参数“spark

查看更多 →

，请耐心等待。 图6 逻辑表预览 配置目的端参数。 图7 Kafka目的端配置项 目标Topic名称规则。 配置源端MySQL库表与目的端Kafka Topic的映射规则 表6 目标Topic名称规则 同步场景 配置方式 整库 配置源端MySQL库表与目的端Kafka Topic

查看更多 →

管理员或拥有ECS权限的IAM用户为ECS实例配置委托。 若ECS实例未创建，则参考自定义购买弹性云服务器，购买并配置ECS云服务器，在高级配置过程中，单击下拉列表选择步骤1创建的委托，获取相应权限。 图5 选择委托 若ECS实例已创建，可按照如下流程配置ECS实例委托： 进入ECS产品页，单击ECS实例名，进入配置页面。

查看更多 →

单击“VPC通道名称”，进入VPC通道详情页面。 单击“云服务器”，进入“云服务器”页签。 根据您的需要为VPC通道增加/删除云服务器或编辑云服务器的权重。 增加云服务器 单击“添加云服务器”，弹出“添加云服务器”对话框。 勾选需要添加的云服务器，并且设置权重，单击“添加”。 待添加的云服务器的安全组必须允许100

查看更多 →

创建ECS（MySQL服务器） 购买弹性云服务器，用于安装MySQL社区版。 登录华为云管理控制台。 单击管理控制台左上角的，选择区域“华南-广州”。 单击页面左上角，选择“计算 > 弹性云服务器 ECS”。 单击“购买云服务器”。 配置弹性云服务器参数。 选择通用计算型s6.xlarge

查看更多 →