MySQL分库分表迁移到DDM 方案概述 资源规划 通过DRS迁移MySQL分库分表总流程 实施步骤 父主题： 实时迁移

查看更多 →

整个迁移过程中，不允许源端DDM正在迁移的表做改变拆分键的操作；也不允许将单表/广播表改为拆分表，拆分表改为单表/广播表。 全量迁移阶段： 任务启动和全量数据迁移阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 增量迁移阶段： 选择表级对象迁移时，增量迁移过程中不支持对表进行重命名操作。 增

查看更多 →

通过DRS迁移MySQL分库分表总流程 本实践的主要任务流如图1所示： 图1 操作流程 表1 迁移流程 序号 步骤 说明 1 迁移前构造数据 迁移前在源端数据库构造数据，供迁移后查看是否迁移成功。 2 目标端DDM准备 创建VPC和安全组：为创建实例准备网络资源。 创建DDM实例：创建目标端DDM实例。

查看更多 →

MySQL与 MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为MySQL，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 MySQL >Hudi支持的字段类型

查看更多 →

通过DDM对RDS for MySQL实例进行分库分表 方案概述 RDS for MySQL准备 DDM准备 创建DRS迁移任务

查看更多 →

HBase集群写入数据大小不能超过多少？ 问题现象 HBase集群大规模并行写入数据时，写入数据到一半卡住，无法写入数据。 原因分析 数据迁移单个请求写入数据太大，导致报错。 处理方法 建议单次写入不超过2M，单条不超过200k。 父主题： 数据读写类

查看更多 →

查询字段列表 功能介绍 查询字段列表 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/workspaces/{workspace_id}/soc/dataclasses/{dataclass_id}/fields 表1 路径参数 参数 是否必选

查看更多 →

RDS for MySQL支持分库分表及读写分离的业务功能吗 RDS支持分库分表及读写分离功能，具体如下： 分库分表功能依赖于所使用的 分布式数据库 中间件（Distributed Database Middleware，简称DDM），用于解决存储空间或者性能拓展的问题，详见通过DDM对RDS

查看更多 →

RDS for MySQL增加表字段后出现运行卡顿现象 故障描述 当给RDS for MySQL实例的表中增加一个字段，出现系统无法访问的现象。 解决方案 因增加表字段而引起数据库出现性能问题，有可能是未对新增字段添加索引，数据量大导致消耗了大量的CPU资源。为此，提出如下建议恢复数据库性能。

查看更多 →

查询模型字段列表 功能介绍 查询模型的字段列表，用于数据建模和数据加载两个服务。 URI URI格式 GET /softcomai/datalake/dataplan/v1.0/debug/model/fields?entityId={entityId} 参数说明 参数名 是否必选

查看更多 →

ClickHouse表字段设计 规则 不允许用字符类型存放时间或日期类数据，尤其是需要对该日期字段进行运算或者比较的时候。 不允许用字符类型存放数值类型的数据，尤其是需要对该数值字段进行运算或者比较的时候。字符串的过滤效率相对于整型或者特定时间类型有下降。 建议 不建议表中存储过多的N

查看更多 →

增加Hive表字段超时 用户问题 增加Hive表字段报错。 问题现象 Hive对包含10000+分区的表执行ALTER TABLE table_name ADD COLUMNS(column_name string) CASCADE;，报错如下： Timeout when executing

查看更多 →

查询文件字段列表 功能介绍 查询文件的字段列表，用于采集，解析，治理。 URI URI格式 GET /softcomai/datalake/dataplan/v1.0/debug/file/columns?filePath={filePath}&dsType={dsType}&a

查看更多 →

0开始每隔1分钟创建一个新的Job，且startingDeadlineSeconds字段未被设置。如果CronJob控制器从08:29:00到10:21:00终止运行，则该Job将不会启动，因为从08:29:00到10:21:00超过了100分钟，即错过的调度次数超过了100（示例中一个调度周期为1分钟）。

查看更多 →

举个例子，假如用户购买实例时，存储空间选择了200GB，那么所有的备份空间合计，只有超过200GB才开始计费，前200GB是免费的。对于超过免费容量的存储空间，目前仅支持按需计费，用多少收取多少费用，具体收费请参见计费说明。 免费的存储空间是在收取了数据盘的存储空间费用后赠送的，数据盘存储空间冻结

查看更多 →

Hive使用WHERE条件查询超过3.2万分区的表报错 问题 Hive创建超过3.2万分区的表，执行带有WHERE分区的条件查询时出现异常。 “metastore.log”中打印的异常信息包含以下信息： Caused by: java.io.IOException: Tried to

查看更多 →

查看码表字段值 功能介绍 查看码表字段值。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/code-tables/{id}/values 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项

查看更多 →

objects 新增码表属性、属性值列表。 to_modify 否 Array of CodeTableFieldVO objects 编辑码表属性值列表。 to_remove 否 Array of CodeTableFieldVO objects 删除码表属性ID列表。 表4 CodeTableFieldVO

查看更多 →

Hive使用WHERE条件查询超过3.2万分区的表报错 问题： Hive创建超过3.2万分区的表，执行带有WHERE分区的条件查询时出现异常，且“metastore.log”中打印的异常信息包含以下信息： Caused by: java.io.IOException: Tried

查看更多 →

在左侧导航栏选择“字段授权 > 添加字段”，参数说明如表1所示，编辑完成后单击“确定”。 表1 参数说明 参数 说明 字段编码 选填，需要添加的字段编码，最大不超过64个字符，要求输入字母数字的组合编码，保存后不可再次编辑。 字段名称 必填，需要添加的字段名称，最大不超过15个字符，支持汉字、字母、数字、特殊字符。

查看更多 →

字段类型 在“框选识别区”页面，可以给每个字段指定字段类型来提高识别准确率，或是将 文字识别 结果处理成业务需要的格式。勾选字段类型后，后台会对文字识别结果进行相应的处理后再输出。每个识别区可选择多个字段类型，多个字段类型会按照勾选顺序执行。自定义OCR控制台提供了默认字段类型和自定义字段类型两种功能。

查看更多 →