中软国际数据治理专业服务解决方案实践

取模转换 概述 “取模转换”算子，对整数字段取模，生成新字段。 输入与输出 输入：整数字段 输出：模数字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 取模字段名 配置取模运算信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 输出字段名：配置输出字段名。

查看更多 →

取模转换 概述 “取模转换”算子，对整数字段取模，生成新字段。 输入与输出 输入：整数字段 输出：模数字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 取模字段名 配置取模运算信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 输出字段名：配置输出字段名。

查看更多 →

操作步骤 根据所需要的环境拉取镜像。 拉取Ascend+PyTorch镜像： # 配套Snt9b的容器镜像，包含pytorch 1.11 + mindspore-lite 2.2.0 + Ascend CANN Toolkit 7.0.1 docker pull swr.cn-southwest-2

查看更多 →

创建媒资：URL拉取注入 功能介绍 通过音视频源文件的URL，离线拉取音视频文件至点播服务。如果音视频文件大小在5TB以下，可以使用这种方式。如果文件大小超出5TB，需要通过搬迁工具上传至点播服务，请提交工单获取工具和相应的操作指导。 接口约束 用户调用该API一次最多支持拉取16条音视频。

查看更多 →

工作负载异常：实例拉取镜像失败 问题定位 当工作负载状态显示“实例未就绪：Back-off pulling image "xxxxx"”，该状态下工作负载实例K8s事件名称为“实例拉取镜像失败”或“重新拉取镜像失败”。查看K8s事件的方法请参见Pod事件查看方法。 排查思路 根据

查看更多 →

解析源数据。 CDC（DRS_JSON）：以DRS_JSON格式解析源数据。 二进制格式 偏移量参数 从Kafka拉取数据时的初始偏移量： 最新：最大偏移量，即拉取最新的数据。 最早：最小偏移量，即拉取最早的数据。 已提交：拉取已提交的数据。 时间范围：拉取时间范围内的数据。 最新

查看更多 →

解析源数据。 CDC（DRS_JSON）：以DRS_JSON格式解析源数据。 二进制格式 偏移量参数 从Kafka拉取数据时的初始偏移量： 最新：最大偏移量，即拉取最新的数据。 最早：最小偏移量，即拉取最早的数据。 已提交：拉取已提交的数据。 时间范围：拉取时间范围内的数据。 最新

查看更多 →

数据迁移 根据迁移配置，华为云 OMS 服务会开始从源端存储系统拉取数据。同时，服务会确保数据的完整性和一致性，避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能，当迁移过程中出现网络中断或其他异常情况时，服务可以从断点处恢复传输，确保数据的完整性和迁移的连续性。 父主题：

查看更多 →

立链接后不拉取数据，则会导致数据积压在服务端。服务端仅保存最近24小时，且占用磁盘容量小于1GB的数据，如果用户不及时拉取数据，物联网平台会滚动清除超期和超出容量限制的数据。若用户收到消息后来不及响应，长链接中断，则未响应的数据会在下次链接后重新推送。 如何进行数据订阅 应用服务

查看更多 →

偏移量参数 设置从DIS拉取数据时的初始偏移量： 最新：最大偏移量，即拉取最新的数据。 上次停止处：从上次停止处继续读取。 最早：最小偏移量，即拉取最早的数据。 最新 APP名字 配置用户数据消费程序的唯一标识符，不存在时会自动创建。 cdm 数据格式 解析数据时使用的格式： 二进制

查看更多 →

为什么Kafka实例常常发生Rebalance，导致消息拉取失败？ 消费组的Rebalance就是对Topic分区的重新分配。 正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance，这种情况是无法避免的。但是某些特殊情况下，消费者会被误认为异常从而被踢出消费

查看更多 →

数据入图对账 系统默认只取数据实体所属领域默认图数据库与“数据仓库类型”为整合层的数据库首选映射对应的实例数据对账情况，其他领域的数据不取。 登录LinkX-F系统首页。 选择“数据联接 > 数据入图”，默认进入“数据入图任务”页面。 在左侧导航栏选择“数据入图对账”，默认显示“实时对账详情”。

查看更多 →

偏移量参数 设置从DIS拉取数据时的初始偏移量： 最新：最大偏移量，即拉取最新的数据。 上次停止处：从上次停止处继续读取。 最早：最小偏移量，即拉取最早的数据。 最新 APP名字 配置用户数据消费程序的唯一标识符，不存在时会自动创建。 cdm 数据格式 解析数据时使用的格式： 二进制

查看更多 →

disConsumerStrategy 是 枚举 设置从DIS拉取数据时的初始偏移量： LATEST：最大偏移量，即最新的数据。 FROM_LAST_STOP：从上次停止处继续拉取。 EARLIEST：最小偏移量，即最早的数据。 fromJobConfig.isPermanency 是

查看更多 →

disConsumerStrategy 是 枚举 设置从DIS拉取数据时的初始偏移量： LATEST：最大偏移量，即最新的数据。 FROM_LAST_STOP：从上次停止处继续拉取。 EARLIEST：最小偏移量，即最早的数据。 fromJobConfig.isPermanency 是

查看更多 →

， DataArts Studio 通过节点运行的状态识别到上游表的最新数据已产生，下游节点再去取数）。避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数出现问题。 在配置依赖关系时，支持配置同周期的依赖和上一周期的依赖。 同周期依赖的原理，详情参考自然周期调度之同周期依赖原理。

查看更多 →

0，同时拉取的数据条数总大小不超过4MB。 用户默认没有权限使用“按批处理”方式，如果需要使用该功能，请在工单系统提交工单添加白名单。 拉取周期：设置拉取流数据的周期。 串行处理数据：如果开启该选项，取一次数据处理完之后才会取下一次数据；否则只要拉取周期到了就会取数据进行处理。

查看更多 →

已提交：拉取已提交的数据。 时间范围：拉取时间范围内的数据。 是否持久运行 用户自定义是否永久运行。当前示例选择为：否。 拉取数据超时时间 持续拉取数据多长时间超时，单位分钟。当前示例配置为：15。 等待时间 可选参数，超出等待时间还是无法读取到数据，则不再读取数据，单位秒。当前示例不配置该参数。

查看更多 →

设置的行数，在缓存（20行）耗尽会触发向服务端拉取数据的请求，并且等待返回，会有相应的等待时间延迟。 提前获取下一页 如果需要手动提前获取更多行存入当前结果集避免等待，可以参考以下代码，在结果集剩余10行时，先提交并行从 服务器 拉取更多行的请求。 ResultSet rs = session

查看更多 →

数据架构数据搬迁 数据架构数据搬迁依赖于数据架构的导入导出功能。 约束与限制 导入关系建模表/实体、维度建模维度/事实表、维度建模汇总表前请确保已创建管理中心连接，确保数据连接可用。 数据架构中的时间限定、审核中心和配置中心数据不支持导入导出。如有涉及，请您在其他数据迁移前，先进行手动配置同步。

查看更多 →

数据开发数据搬迁 数据开发数据搬迁依赖于数据开发的脚本、作业、环境变量、资源导入导出功能。 约束与限制 已完成管理中心数据搬迁。 数据开发中的通知配置、备份管理、作业标签、委托配置、默认项等数据不支持导入导出，如有涉及，请您进行手动配置同步。 导入脚本、作业、环境变量、资源功能部分依赖于OBS服务。

查看更多 →