式存储在OBS的桶中。对象的属性包括名称Key，Metadata，Data。 通常，将对象等同于文件来进行管理，但是由于OBS是一种 对象存储服务 ，并没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据，OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”，如tpcds1000/stock

查看更多 →

储，并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。

查看更多 →

储，并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。

查看更多 →

e表。 导入前清空数据 标识是否需要清空目标HBase表中的数据，支持以下两种类型： True：清空表中的数据。 False：不清空表中的数据，选择False时如果表中存在数据，则作业运行会报错。 hdfs-connector 表5 hdfs-connector目的连接属性 参数

查看更多 →

每秒平均创建前端连接数 统计平均每秒客户应用程序针对数据库代理服务创建的前端连接数。 ≥ 0 counts/s RDS for MySQL Proxy实例 1分钟 rds_proxy_transaction_query 每秒平均事务中的查询数 统计平均每秒执行的事务中包含select的执行数 ≥ 0

查看更多 →

下载或读取文件报错，提示超时、无剩余空间 问题现象 训练过程中拷贝数据/代码/模型时出现如下报错： 图1 错误日志 原因分析 出现该问题的可能原因如下。 磁盘空间不足。 分布式作业时，有些节点的docker base size配置未生效，容器内“/”根目录空间未达到50GB，只有默认的10GB，导致作业训练失败。

查看更多 →

其他云MySQL迁移到云数据库 RDS for MySQL 最佳实践概述 资源规划 操作流程 创建VPC和安全组 创建RDS for MySQL实例 其他云MySQL实例准备 上云操作 父主题： 实时迁移

查看更多 →

其他云MySQL迁移到云数据库 RDS for MySQL 最佳实践概述 资源规划 操作流程 创建VPC和安全组 创建RDS for MySQL实例 其他云MySQL实例准备 上云操作 父主题： RDS for MySQL

查看更多 →

入到DWS的基本信息页面。 在“基本信息”的“数据库属性”中获取该实例的“内网IP”、“端口”，“基本信息”页面的“网络”中获取“虚拟私有云”和“子网”信息，方便后续操作步骤使用。 单击“连接信息”中的安全组名称，在“入方向规则”中添加放通队列网段的规则。例如，本示例队列网段为“10

查看更多 →

第一次执行时，数据在磁盘上，称之为冷数据，读取需要一定的耗时。 读取完，数据会被存放于内存的buffer_pool中，称为热数据，读取迅速；对于热数据的访问速度极大的超过冷数据，所以当数据是热数据时，SQL语句的执行速度会远快于冷数据。 该场景中，源端数据库中常用的数据一般是热数据，所以访

查看更多 →

句都会被记录到Binlog中。 查询结果不为0时，可以继续执行如下命令，查看尚未成功开启Binlog的线程ID。 show warnings; 图2 查询未成功开启Binlog的线程ID 这些查询到的线程ID中执行的语句可能暂时未能被记录到Binlog中。 您可以根据获取到的线程

查看更多 →

在“数据管理”>“库表管理”页面，单击数据库名，在表管理界面对应表的“操作”栏选择“更多”中的“表属性”，在弹框的“预览”页签中，可查看导入的数据 在“SQL编辑器”的“数据库”页签中，单击数据库名称，进入对应的表列表，鼠标左键单击对应表右侧的，在列表菜单中选择“表属性”，在弹框的“预览”页签中，可查看导入的数据。

查看更多 →

第1次执行时，数据在磁盘上，称之为冷数据，读取需要一定的耗时。 读取完，数据会被存放于内存的buffer_pool中，称为热数据，读取迅速；对于热数据的访问速度极大的超过冷数据，所以当数据是热数据时，sql语句的执行速度会远快于冷数据。 该场景中，源端数据库中常用的数据一般是热数据，所以访问时速度极快。当数据迁移到云上RDS

查看更多 →

配置Hive读取关系型数据库数据 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据，并与Hive的其他表进行Join操作。 目前支持使用Hive读取数据的关系型数据库如下： DB2 Oracle 本章节适用于 MRS 3.x及后续版本。

查看更多 →

CDM 支持的数据库整库迁移，仅支持数据表迁移，不支持存储过程、触发器、函数、视图等数据库对象迁移。 CDM仅适用于一次性将数据库迁移到云上的场景，包括同构数据库迁移和异构数据库迁移，不适合数据同步场景，比如容灾、实时同步。 CDM迁移数据库整库或数据表失败时，已经导入到目标表中的数据不

查看更多 →

上传数据库驱动文件 操作场景 CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取事件推送至Kafka。通过CDLService WebUI创建数据库连接时，可将数据库对应的驱动文件通过界面上传，方便统一管理。 前提条件 已获取待连接数据库对应的驱动Jar包。

查看更多 →

Store节点备份到对象存储服务(OBS)中。 备份过程会占用少量CPU内存资源。因此在备份期间，实例主节点的CPU使用率和内存使用率，会有一点升高，属于正常现象，存储层的备份用户侧不感知。最终的备份文件将以多个数据文件形式存储在对象存储服务(OBS)中，不会占用实例的磁盘空间。 图2 备份原理

查看更多 →

必现的问题，使用本地Pycharm远程连接Notebook调试。 建议与总结 在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接

查看更多 →

ONLY外表有效。 取值范围：该数据库编码支持转换的数据编码。 dataencoding参数只对ORC格式的WRITE ONLY的HDFS外表有效。 语法中的其他参数 其他参数均为可选参数，用户可以根据自己的需求进行设置，在本例中不需要设置。 根据以上信息，创建外表命令如下所示： 1

查看更多 →

查询数据库错误日志（MySQL） 功能介绍 查询数据库最近的错误日志信息，最多查询2000条。 该接口计划于2025-03-31下线，建议及时切换到新接口查询错误日志。 调用接口前，您需要了解API 认证鉴权。 调试 您可以在 API Explorer 中调试该接口。 接口约束 该接口仅支持MySQL引擎。

查看更多 →

Loader WebUI界面 单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 基本信息界面 在“名称”中输入作业的名称。 在“类型”中选择“导出”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选

查看更多 →