中软国际数据治理专业服务解决方案实践

SQL查询不到新插入的数据。 对于存储类型为Parquet的Hive分区表，在执行插入数据操作后，如果分区信息未改变，则缓存的元数据信息未更新，导致Spark SQL查询不到新插入的数据。 解决措施：在使用Spark SQL查询之前，需执行Refresh操作更新元数据信息。 REFRESH

查看更多 →

Hash 表数据通过Hash方式散列到集群中的所有DN上。 数据量较大的事实表。 Replication 集群中每一个DN都有一份全量表数据。 维度表、数据量较小的事实表。 Roundrobin 表的每一行被轮番地发送给各个DN，因此数据会被均匀地分布在各个DN中。 数据量较大的事

查看更多 →

SQL查询不到新插入的数据。 对于存储类型为ORC的Hive分区表，在执行插入数据操作后，如果分区信息未改变，则缓存的元数据信息未更新，导致Spark SQL查询不到新插入的数据。 解决措施： 在使用Spark SQL查询之前，需执行Refresh操作更新元数据信息： REFRESH

查看更多 →

SQL查询不到新插入的数据。 对于存储类型为ORC的Hive分区表，在执行插入数据操作后，如果分区信息未改变，则缓存的元数据信息未更新，导致Spark SQL查询不到新插入的数据。 解决措施： 在使用Spark SQL查询之前，需执行Refresh操作更新元数据信息： REFRESH

查看更多 →

使用前需知 判断桶是否存在 删除桶 列举桶内对象 列举桶内多版本对象 列举桶内分段上传任务 获取桶元数据 获取桶区域位置 获取桶存量信息 设置桶配额 获取桶配额 设置桶存储类型 获取桶存储类型 设置桶ACL 获取桶ACL 设置桶日志管理配置 获取桶日志管理配置 设置桶策略 获取桶策略 删除桶策略

查看更多 →

邮箱：用于审批及消息通知。 创建数据库连接的相关信息：包括用于创建数据库类型数据源所需的数据库IP、端口、用户名、密码和密钥对密码。 创建DIS以及对象存储类型连接的相关信息：包括用于创建DIS/对象存储类型数据连接所需的Access key、Secret Access Key。 数据存储安全 DataArts

查看更多 →

实例状态为“正常”和“存储空间满”时可以进行扩容。 仅支持RDS for PostgreSQL云盘实例，即存储类型为SSD云盘或极速型SSD。存储类型介绍请参见数据库实例存储类型。 云数据库 RDS for PostgreSQ L实例 最大可自动扩容至4000GB。 如果是主备实例，针对主节

查看更多 →

source_db_schema 是 String 源端数据库。 source_db_table 是 String 源端数据表。 storage_type 是 String 目标数据存储类型。取值为： hash。 target_database 是 String 目标数据库。取值范围： [0-999]。

查看更多 →

数据恢复的流量费用。 临时文件存储费用 数据恢复后，会产生一个标准存储类型的对象副本，即对象同时存在标准存储类型的对象副本和原有的归档存储或深度归档存储对象。在恢复的有效期内，会同时收取这份数据在标准存储和归档存储或深度归档存储中的存储费用。恢复有效期到期后标准存储类型的对象副本会自动删除。 同区域跨桶复制数据

查看更多 →

迁移失败后提示“无法读取归档类型数据，请解冻数据后进行迁移”该如何处理？ 出现该提示的主要原因是源端对象存储有数据处于归档状态，需要解冻数据后再进行迁移。您可以使用以下方式进行处理： 使用工具或在控制台恢复源端归档存储，建议恢复时间设置较长。 源端为其他云服务厂商时，具体解冻方式以源端云服务商为准。

查看更多 →

是用户在本地数据中心或E CS 上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 Redis键前缀 键的前缀，类似关系型数据库的表名。 TABLE

查看更多 →

实例说明 数据库实例类型 数据库实例存储类型 数据库引擎版本说明 数据库实例状态

查看更多 →

由目录ID组成的从树根部到节点目录的路径字符串。 datasetType String 数据集数据存储类型。 comment String 数据集备注信息。 source String 数据集来源。 dataAmount String 数据量。 secretLevel String 密级等级。 secretLevelShow

查看更多 →

获取桶列表 判断桶是否存在 删除桶 列举桶内对象 列举桶内多版本对象 列举桶内分段上传任务 获取桶元数据 获取桶区域位置 获取桶存量信息 设置桶配额 获取桶配额 设置桶存储类型 获取桶存储类型 设置桶ACL 获取桶ACL 设置桶日志管理配置 获取桶日志管理配置 设置桶策略 获取桶策略 删除桶策略

查看更多 →

由目录ID组成的从树根部到节点目录的路径字符串。 datasetType String 数据集数据存储类型。 comment String 数据集备注信息。 source String 数据集来源。 dataAmount String 数据量。 secretLevel String 密级等级。 secretLevelShow

查看更多 →

恢复后实例数据 恢复后实例数据与用于恢复的全备文件中的数据一致。 恢复到新实例会为用户重新创建一个和该备份数据相同的实例。 恢复到当前实例和已有实例会导致实例数据被覆盖。 恢复类型 恢复到新实例 恢复到当前实例 恢复到已有实例(非原实例) 恢复到新实例各配置项 新实例的数据库引擎和数据库版本，自动与原实例相同。

查看更多 →

说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts： AI开发平台 ，采用多机多卡分布式训练。

查看更多 →

SQL查询不到新插入的数据。 对于存储类型为Parquet的Hive分区表，在执行插入数据操作后，如果分区信息未改变，则缓存的元数据信息未更新，导致Spark SQL查询不到新插入的数据。 解决措施：在使用Spark SQL查询之前，需执行Refresh操作更新元数据信息。 REFRESH

查看更多 →

获取桶的配额值，0代表配额没有上限。 设置桶存储类型 obsClient.SetBucketStoragePolicy 设置桶的存储类型，桶中对象的存储类型默认将与桶的存储类型保持一致。 获取桶存储类型 obsClient.GetBucketStoragePolicy 获取桶的存储类型。 设置桶ACL obsClient

查看更多 →

说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts：AI开发平台，采用多机多卡分布式训练。

查看更多 →

存储空间：300GB 3.6* 24 * 30 = 2592 元 云数据库 RDS for MySQL 按需计费：2.82元/小时 区域：华北-北京四 计费模式：按需计费 数据库引擎：MySQL 数据库版本：8.0 实例类型：主备 存储类型：SSD云盘 性能规格：独享型 4 vCPUs | 8

查看更多 →