DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称

查看更多 →

在ClickHouse中创建MySQL引擎的数据库，创建成功后自动与MySQL 服务器 交换数据。 CREATE DATABASE mysql_db ENGINE = MySQL('RDS服务MySQL数据库实例IP地址:MySQL数据库实例端口', 'MySQL数据库名', 'MySQL数据库用户名'

查看更多 →

重置 GaussDB (for MySQL)数据库账号密码 操作场景 您可重置自己创建的数据库账号密码，安全考虑，请定期（如三个月或六个月）修改密码，防止出现密码被暴力破解等安全风险。 使用须知 处于变更中的实例，不可进行该操作。 重置密码后实例不会重启，权限不会发生变化。 重置密码

查看更多 →

查看GaussDB(for MySQL)数据库代理监控指标 本章节介绍查看GaussDB(for MySQL)数据库代理监控指标的方法。 前提条件 GaussDB(for MySQL)实例正常运行。 GaussDB(for MySQL)实例已开启读写分离功能，详情请参见使用GaussDB(for

查看更多 →

MySQL数据库兼容性B模式 MySQL数据库兼容性概述 数据类型 系统函数 操作符 字符集 排序规则 表达式 SQL 驱动 父主题： 主备版

查看更多 →

名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或 域名 。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。

查看更多 →

名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。

查看更多 →

名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。

查看更多 →

MapReduce服务 （ClickHouse） 云数据库 MySQL 云数据库 PostgreSQL 云数据库 SQL Server 云数据库 GaussDB 云数据库 GaussDB for Influx Oracle MySQL PostgreSQL SQL Server 分布式数据库中间件（DDM） 文件类

查看更多 →

通过sqoop import命令从PgSQL导出数据到Hive时报错 通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 通过Sqoop迁移数据库数据时报错

查看更多 →

MySQL MySQL连接器用于连接MySQL数据库，负责建立和维护应用程序和MySQL数据库之间的连接，并管理数据的传输。 MySQL是一个流行的开源关系型数据库，广泛用于Web应用程序的后端。它支持多种操作系统，包括Windows、Linux、Unix和macOS X。MyS

查看更多 →

主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息，用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ，需要在数据库中启动binlog。

查看更多 →

通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

mv ./spark/spark-3.1.3-bin-hadoop3.1.tgz /root 执行命令安装Spark。 tar -zxvf spark-3.1.3-bin-hadoop3.1.tgz mv spark-3.1.3-bin-hadoop3.1 spark-obs cat

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

在这些作业执行时，块数据直接从预写日志中读出。这将恢复在日志中可靠地保存的所有必要数据。 重发尚未确认的数据（紫色箭头） 失败时没有保存到日志中的缓存数据将由数据源再次发送。因为Receiver尚未对其确认。 因此通过预写日志和可靠的Receiver，Spark Streaming就可以

查看更多 →

如果需要启用预写日志功能，可以通过如下动作实现： 通过“streamingContext.checkpoint”设置checkpoint的目录，这个目录是一个HDFS的文件路径，既用作保存流的checkpoint，又用作保存预写日志。 设置SparkConf的属性“spark.streaming

查看更多 →

print_function from pyspark.sql.types import StructType, StructField, IntegerType, StringType from pyspark.sql import SparkSession 创建会话 1 sparkSession =

查看更多 →

使用 CS V格式写日志 前提条件 log_destination的值设置为csvlog。 logging_collector的值设置为on。 csvlog定义 以“逗号分隔值” 即CSV（Comma Separated Value）的形式发出日志。 以下是简单的用来存储CSV形式日志输出的表定义：

查看更多 →

使用CSV格式写日志 前提条件 log_destination的值设置为csvlog。 logging_collector的值设置为on。 csvlog定义 以“逗号分隔值” 即CSV（Comma Separated Value）的形式发出日志。 以下是简单的用来存储CSV形式日志输出的表定义：

查看更多 →