如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户

查看更多 →

MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要 DLI 与MySQL建立增强型跨

查看更多 →

DatabaseFile object 数据库文件。 description 否 String 数据库描述。 最小长度：0 最大长度：1024 表4 DatabaseFile 参数 是否必选 参数类型 描述 source 是 String 数据库文件来源。 枚举值： public private

查看更多 →

使用Sqoop Sqoop如何连接MySQL Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错 通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误 通过sqoop

查看更多 →

MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨

查看更多 →

图2 新建数据库 单击“SQL操作 > SQL查询”，打开SQL窗口，选择目标数据库，在SQL执行窗口输入如下命令创建数据库账号。 create database 数据库名; 相关API 创建数据库 查询数据库列表 查询数据库可用字符集 修改数据库备注 父主题： 数据库管理

查看更多 →

对象存储 对象存储服务 （OBS） 支持按文件分片。 文件系统 FTP 支持按文件分片。 SFTP 支持按文件分片。 HTTP 支持按文件分片。 关系型数据库 云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 PostgreSQL 支持按表字段分片。

查看更多 →

创建云数据库MySQL 进入华为云官网，登录华为云账号。 搜索云数据库MySQL，单击立即购买，进入购买数据库实例页面，如下图，根据界面提示，填写要购买的数据库实例信息，如下表所示。 图1 购买数据库实例页面 表1 购买数据库实例参数说明 参数名称 参数说明 取值样例 计费模式 必选参数

查看更多 →

GaussDB (for MySQL)云数据库 云数据库 GaussDB(for MySQL)是华为自研的最新一代企业级高扩展高性能分布式数据库，完全兼容MySQL。基于华为最新一代DFV存储，采用计算存储分离架构，128TB的海量存储，故障秒级切换，既拥有商业数据库的高可用和性能，又具备开源低成本效益。

查看更多 →

删除GaussDB(for MySQL)数据库 操作场景 您可删除自己创建的数据库。 使用须知 数据库一旦删除，数据会丢失，请谨慎操作。 处于变更中的实例，不可进行该操作。 操作步骤 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面左上角单击，选择“数据库 > 云数据库 GaussDB(for

查看更多 →

对象存储 对象存储服务（OBS） 支持按文件分片。 文件系统 FTP 支持按文件分片。 SFTP 支持按文件分片。 HTTP 支持按文件分片。 关系型数据库 云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 PostgreSQL 支持按表字段分片。

查看更多 →

bytes/s 测量对象：数据库 监控实例类型：MySQL实例 rds015_innodb_read_count InnoDB文件读取频率 该指标用于统计Innodb平均每秒从文件中读的次数，以次/秒为单位。 ≥ 0 counts/s 测量对象：数据库 监控实例类型：MySQL实例 rds0

查看更多 →

监控实例类型：TaurusDB实例 gaussdb_mysql006_conn_count 数据库总连接数 该指标用于统计连接到MySQL 服务器 的总连接数。 ≥0 Connections 测量对象：数据库 监控实例类型：TaurusDB实例 gaussdb_mysql007_conn_active_count

查看更多 →

监控实例类型：TaurusDB实例 gaussdb_mysql006_conn_count 数据库总连接数 该指标用于统计连接到MySQL服务器的总连接数。 ≥0 Connections 测量对象：数据库 监控实例类型：TaurusDB实例 gaussdb_mysql007_conn_active_count

查看更多 →

云数据库MySQL/MySQL数据库连接参数说明 连接MySQL数据库连接时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名

查看更多 →

使用moxing适配OBS路径，pandas读取文件报错 问题现象 使用moxing适配OBS路径，然后用较高版本的pandas读取OBS文件报出如下错误： 1.‘can't decode byte xxx in position xxx’ 2.‘OSError:File isn't

查看更多 →

on device”。 同一目录下创建较多文件，为了加快文件检索速度，内核会创建一个索引表，短时间内创建较多文件时，会导致索引表达到上限，进而报错。 触发条件和下面的因素有关： 文件名越长，文件数量的上限越小 blocksize越小，文件数量的上限越小。（ blocksize，系统默认

查看更多 →

云数据库MySQL/MySQL数据库连接参数说明 连接MySQL数据库连接时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名

查看更多 →

配置Hive读取关系型数据库数据 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据，并与Hive的其他表进行Join操作。 目前支持使用Hive读取数据的关系型数据库如下： DB2 Oracle 本章节适用于 MRS 3.x及后续版本。

查看更多 →

BY）、多表的关联（JOIN）等。 本示例通过创建MySQL CDC源表来监控MySQL的数据变化，并将变化的数据信息插入到DWS数据库中。 前提条件 已创建RDS MySQL实例，具体步骤可参考：RDS MySQL快速入门。本示例创建的RDS MySQL数据库版本选择为：8.0。 已创建DWS

查看更多 →

将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？ 如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度 Spark jar 如何读取上传文件 添加P

查看更多 →