上传MySQL数据库连接驱动 操作场景 Loader作为批量数据导出的组件，可以通过关系型数据库导入、导出数据。在连接关系型数据库前，需提前手动上传驱动。 操作步骤 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点，获取关系型数据库对应的驱动jar

查看更多 →

Spark作业访问MySQL数据库的方案 通过 DLI Spark作业访问MySQL数据库中的数据有如下两种方案： 方案1：在DLI中创建队列，队列计费模式为包年/包月队列或按需专属，创建增强型跨源连接，再通过跨源表读取MySQL数据库中的数据，该方案需要用户自行编写java代码或scala代码。

查看更多 →

Cassandra实例的代码。 如果是spark 2.x 连接GeminiDB Cassandra，建议使用的版本如下： spark：2.5.1 scala：2.12 spark-cassandra-connector：2.5.1 使用如下样例代码连接数据库即可： /**

查看更多 →

云数据库MySQL/MySQL数据库连接参数说明 连接MySQL数据库连接时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名

查看更多 →

云数据库MySQL/MySQL数据库连接参数说明 连接MySQL数据库连接时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名

查看更多 →

如何使用PySpark连接 MRS Spark？ 问：如何在E CS 服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答：将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase

查看更多 →

准备MySQL数据库连接的驱动 操作场景 Loader作为批量数据导出的组件，可以通过关系型数据库导入、导出数据。 前提条件 已准备业务数据。 操作步骤 MRS 3.x之前版本： 从MySQL官网下载MySQL jdbc驱动程序“mysql-connector-java-5.1.21

查看更多 →

配置mysql连接 新建用户库ekp 登录华为云数据库RDS 进入RDS服务，选择登录前面创建的RDS（此方法通过DAS服务连接数据库，用户也可通过本地化工具进行连接），输入账号密码，并测试连接，连接成功后登录数据库 图1 实例登录 在数据管理服务DAS中单击“新建数据库”，输入

查看更多 →

将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 缺少pymysql模块，可以查看是否有对应的egg包，如果没有，在“程序包管理”页面上传pyFile。具体步骤参考如下： 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台，单击“数据管理

查看更多 →

Spark连接Kafka认证错误 问题现象 MRS 2.1.0版本集群中Spark消费kafka数据，过一天以后就会出现认证失败的报错： 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS

查看更多 →

'driver'='com.mysql.jdbc.Driver')") 表1 创建表参数 参数 说明 url RDS的连接地址，需要先创建跨源连接，管理控制台操作请参考《 数据湖探索 用户指南》。 创建经典型跨源连接后，使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后，使用RDS提供

查看更多 →

表数据。 MySQL数据库需要开启MySQL的bin log功能（默认情况下是开启的）和GTID功能，CDL不支持抓取表名包含“$”或者中文等特殊字符的表。 查看MySQL是否开启bin log： 使用工具或者命令行连接MySQL数据库（本示例使用Navicat工具连接），执行show

查看更多 →

如何查看RDS for MySQL数据库的连接情况 您可以通过以下任意一种方式查看RDS for MySQL数据库的连接情况： 在RDS for MySQL实例上以管理员账户root执行以下命令，查看当前实例上正在运行的线程。 show full processlist; Id：线程ID标识，可通过kill

查看更多 →

CPU_time：显示当前连接已经建立的时间。 在实例管理页面单击“查看监控指标”，进入指标信息页面。 图2 查看监控指标 查看“数据库总连接数”指标，一般情况下，主备实例会占用2个连接，除此之外的连接为当前实例有用户在连接使用。 图3 数据库总连接数 父主题： 数据库连接

查看更多 →

新建 DataArts Studio 与MySQL数据库的连接 本章节以新建MySQL连接为例，介绍如何建立DataArts Studio与数据库底座之间的数据连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的 数据湖 （如DataArts Studio所支持的数据库、云服务等）。 在创建D

查看更多 →

连接RDS for MySQL实例 连接RDS for MySQL实例的方式概述 通过DAS连接RDS for MySQL实例（推荐） 通过MySQL命令行客户端连接实例 通过图形化界面连接RDS for MySQL实例 通过JDBC连接RDS for MySQL实例 连接管理 父主题：

查看更多 →

默认聚合方式 数据库连接（connection，以数据库为维度统计sql调用详情。） db 数据库 数据库名称 - ENUM LAST createdCount 创建连接数 该数据库创建连接数 - INT SUM currentCount 当前连接数 该数据库当前连接数 - INT

查看更多 →

Sqoop如何连接MySQL 用户问题 Sqoop如何连接MySQL数据库。 处理步骤 在集群上安装客户端，查看客户端“sqoop/lib”目录下是否有MySQL驱动包。 在客户端目录下加载环境变量。 source bigdata_env 执行Kerberos用户认证。 如果集群

查看更多 →

DLV 的数据连接支持哪些类型？ DLV的数据连接支持以下几种： 数据库类：包括 数据仓库 服务（DWS）、数据湖探索服务（DLI）、 MapReduce服务 （MRS）的Hive、MapReduce服务（MRS）的SparkSQL、云数据库（RDS）MySQL、云数据库（RDS）PostgreSQL、云数据库（RDS）SQL

查看更多 →

RESTful请求。 主机连接 通过主机连接，用户可以在DataArts Studio数据开发中连接到指定的主机，通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息，当主机的连接信息有变化时，只需在主机连接管理中编辑修改，而不需要到具体的脚本或作业中逐一修改。

查看更多 →

MRS集群业务用户 例如： “机机”用户请执行：kinit -kt user.keytab sparkuser “人机”用户请执行：kinit sparkuser 执行如下命令连接Spark组件的客户端。 spark-shell 父主题： 客户端使用类

查看更多 →