通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。

查看更多 →

MySQL数据库迁移后无法启动 问题描述 迁移后MySQL数据库无法正常启动或短暂启动后又退出。 问题分析 该问题是因为源端MySQL数据库没有停止服务，导致目的端数据库相关文件不匹配所引起的。 解决方案 适当时间，停止源端MySql数据库服务的所有业务，再重新同步一次。 父主题：

查看更多 →

配置Spark读取HBase表数据 Spark On HBase Spark on HBase为用户提供了在Spark SQL中查询HBase表，通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。 登录Manager界面，选择“集群

查看更多 →

将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 缺少pymysql模块，可以查看是否有对应的egg包，如果没有，在“程序包管理”页面上传pyFile。具体步骤参考如下： 将egg包上传到指定的OBS桶路径下。 登录 DLI 管理控制台，单击“数据管理

查看更多 →

如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户

查看更多 →

GaussDB (for MySQL)支持导入哪些数据库引擎的数据 相同引擎数据库之间数据导入导出，称之为同构型数据库之间数据导入导出。 不同引擎数据库之间数据导入导出，称之为异构型数据库之间数据导入导出。例如，从Oracle导入数据到GaussDB(for MySQL)支持的数据库引擎。 异构

查看更多 →

云数据库 RDS for MySQL是否支持多账号 云数据库 RDS for MySQL支持多账号，用户可以自己使用授权命令给这些账号分配不同的权限以便控制访问不同的表。各个表之间相互独立。 多用户访问表不直接影响性能，多个会话并发访问会增加系统资源开销，请参考关系型数据库性能白皮书中各规格的连接数。

查看更多 →

单击页面左上角的，选择“数据库 > 云数据库 RDS”，进入RDS信息页面。 在“实例管理”页面，选择目标实例，单击操作列的“登录”，进入数据管理服务登录界面。 图1 登录数据库 正确输入数据库用户名和密码，单击“登录”，即可进入您的数据库。 选择目标数据库，单击“SQL查询”，查询窗口中使用show

查看更多 →

RDS for MySQL是否可以修改数据库名称 场景描述 在DAS界面，无法修改RDS for MySQL数据库名称。 原因分析 不支持在DAS界面修改RDS for MySQL数据库名称。如果通过SQL命令执行更改或重命名命令，可能会导致数据丢失。 解决方案 使用DRS将RDS

查看更多 →

在页面左上角单击，选择“数据库 > 云数据库 GaussDB(for MySQL)”。 在“实例管理”页面，选择目标实例，单击操作列的“登录”，进入数据管理服务登录界面。 正确输入数据库用户名和密码，单击“登录”，即可进入您的数据库。 图1 登录数据库 选择目标数据库，选择“SQL操作

查看更多 →

GaussDB(for MySQL)”。 在“实例管理”页面，选择目标实例，单击操作列的“登录”，进入数据管理服务数据库登录界面。 您也可以在“实例管理”页面，单击目标实例名称，在页面右上角，单击“登录”，进入数据管理服务数据库登录界面。 输入数据库用户名和密码，单击“登录”，即可进入您的数据库并进行管理。

查看更多 →

在ModelArts中，用户的数据都是存放在OBS桶中，而训练作业运行在容器中，无法通过访问本地路径的方式访问OBS桶中的文件。 处理方法 读取文件报错，您可以使用Moxing将数据拷贝至容器中，再直接访问容器中的数据。请参见步骤1。 您也可以根据不同的文件类型，进行读取。请参见读取“json”文

查看更多 →

第1次执行时，数据在磁盘上，称之为冷数据，读取需要一定的耗时。 读取完，数据会被存放于内存的buffer_pool中，称为热数据，读取迅速；对于热数据的访问速度极大的超过冷数据，所以当数据是热数据时，sql语句的执行速度会远快于冷数据。 该场景中，源端数据库中常用的数据一般是热数据，所以访问时速度极快。当数据迁移到云上RDS

查看更多 →

使用Scan API读取HBase表数据 功能简介 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScan

查看更多 →

使用Get API读取HBase表数据 功能简介 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 代码样例 以下代码片段在com

查看更多 →

从HBase读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Hive读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

使用Get API读取HBase表数据 功能简介 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 代码样例 以下代码片段在com

查看更多 →

使用Scan API读取HBase表数据 功能简介 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，建议指定StartRow和StopRow。查询结果的多行数据保存在ResultScan

查看更多 →

并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。

查看更多 →

并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。

查看更多 →