训练过程读取数据 在ModelArts上训练模型，输入输出数据如何配置？ 如何提升训练效率，同时减少与OBS的交互？ 大量数据文件，训练过程中读取数据效率低？ 使用Moxing时如何定义路径变量？ 父主题： Standard训练作业

查看更多 →

使用Scan读取HBase数据 功能简介 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象

查看更多 →

BY）、多表的关联（JOIN）等。 本示例通过创建MySQL CDC源表来监控MySQL的数据变化，并将变化的数据信息插入到DWS数据库中。 前提条件 已创建RDS MySQL实例，具体步骤可参考：RDS MySQL快速入门。本示例创建的RDS MySQL数据库版本选择为：8.0。 已创建DWS

查看更多 →

使用Get读取HBase数据 功能简介 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 代码样例 以下代码片段在com

查看更多 →

配置Spark读取HBase表数据 操作场景 Spark on HBase为用户提供了在Spark SQL中查询HBase表，通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。 Spark On HBase 登录Manager界面，选择“集群

查看更多 →

开启MHA服务 MySQL使用 该解决方案默认创建三台Flexus 云服务器 X实例，分别安装Mysql-5.7.34版本的数据库，一主（后缀名为master）两从（后缀名为slave1、slave2）。MySQL管理用户用户组默认创建mysql，服务端口默认开启3306。主数据库上创建主

查看更多 →

配置只读延迟库 操作场景 通过给只读实例设置延迟时间，可以配置只读延迟库，只读实例会延迟指定时间后再回放从主实例接收的wal日志。 如果您不小心误删了数据，只读实例会延迟指定时间后删除，您可以在这段时间内通过中止wal日志回放阻止只读实例回放wal日志，之后将数据从只读实例dum

查看更多 →

通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。

查看更多 →

DDL工具简介 MySQL 5.6之前数据库中对大表的表结构修改的DDL操作通常会引发DML语句阻塞，复制延迟升高等问题，导致数据库对外呈现出一种“异常”的状态。本文介绍了MySQL原生的数据库DDL方式Copy和Inplace算法、开源工具gh-ost以及MySQL 8.0新增的

查看更多 →

配置Spark读取HBase表数据 Spark On HBase Spark on HBase为用户提供了在Spark SQL中查询HBase表，通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。 登录Manager界面，选择“集群

查看更多 →

MHA的Mysql集群环境，部署架构如下图所示： 图1 方案架构 该解决方案会部署如下资源： 创建3台华为云Flexus云 服务器 X实例，加入同一个云服务器组，配置反亲和策略，跨可用区部署，并分别安装MHA和MySQL软件。 创建虚拟IP(VIP)，用于MySQL数据库主从切换。 创建3条弹性公网IP

查看更多 →

基于开销的清理延迟 基于开销的清理延迟的目的是允许管理员减少VACUUM和ANALYZE语句在并发活动的数据库上的I/O影响。 例如，VACUUM和ANALYZE此类维护语句并不需要迅速完成， 且运行时要求此类语句不能严重干扰系统执行其他的数据库操作，管理员就可以使用该功能实现此目的。

查看更多 →

基于开销的清理延迟 这个特性的目的是允许管理员减少VACUUM和ANALYZE语句在并发活动的数据库上的I/O影响。比如，像VACUUM和ANALYZE这样并不需要迅速完成的维护语句，减少其对系统执行其它数据库操作的干扰。基于开销的清理延迟为管理员提供了一个实现这个目的手段。 有

查看更多 →

基于开销的清理延迟 这个特性的目的是允许管理员减少VACUUM和ANALYZE语句在并发活动的数据库上的I/O影响。比如，像VACUUM和ANALYZE这样并不需要迅速完成的维护语句，减少其对系统执行其它数据库操作的干扰。基于开销的清理延迟为管理员提供了一个实现这个目的手段。 有

查看更多 →

如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户

查看更多 →

使用Scan API读取HBase表数据 功能简介 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScan

查看更多 →

读取redis数据报超时错误 问题描述 读取redis数据报超时错误：redis server response timeout（3000ms） occurred after 3 retry attempts。 问题排查 根据报错后的提示，将客户端超时时间改大一些。 确认问题发生

查看更多 →

在ModelArts中，用户的数据都是存放在OBS桶中，而训练作业运行在容器中，无法通过访问本地路径的方式访问OBS桶中的文件。 处理方法 读取文件报错，您可以使用Moxing将数据复制至容器中，再直接访问容器中的数据。请参见步骤1。 您也可以根据不同的文件类型，进行读取。请参见读取“json”文

查看更多 →

使用Scan API读取HBase表数据 功能简介 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScan

查看更多 →

使用Get API读取HBase表数据 功能简介 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 代码样例 以下代码片段在com

查看更多 →

并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。

查看更多 →