中软国际数据治理专业服务解决方案实践

从OBS读取模型 概述 从OBS（ 对象存储服务 ）中读取模型文件。 输入 无 输出 模型 参数说明 参数 参数说明 obs_model_path OBS中模型文件的绝对路径，模型文件必须是spark pipeline model文件 样例 params = { "obs_model_path":

查看更多 →

多机多卡数据并行-DistributedDataParallel(DDP) 本章节介绍基于PyTorch引擎的多机多卡数据并行训练。 训练流程简述 相比于DP，DDP能够启动多进程进行运算，从而大幅度提升计算资源的利用率。可以基于torch.distributed实现真正的分布式

查看更多 →

参数说明：是否开启数据库监控快照功能。 该参数属于SIGHUP类型参数，请参考表1中对应设置方法进行设置。 取值范围：布尔型 on：打开数据库监控快照功能。 off：关闭数据库监控快照功能。 默认值：on wdr_snapshot_retention_days 参数说明：系统中数据库监控快

查看更多 →

参数说明：是否开启数据库监控快照功能。 该参数属于SIGHUP类型参数，请参考表1中对应设置方法进行设置。 取值范围：布尔型 on：打开数据库监控快照功能。 off：关闭数据库监控快照功能。 默认值：on wdr_snapshot_retention_days 参数说明：系统中数据库监控快

查看更多 →

使用Spark Jar作业读取和查询OBS数据 操作场景 DLI 完全兼容开源的Apache Spark，支持用户开发应用程序代码来进行作业数据的导入、查询以及分析处理。本示例从编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业等完整的操作步骤说明来帮助您在DLI上进行作业开发。

查看更多 →

从Kafka读取数据写入到Elasticsearch 本指导仅适用于Flink 1.12版本。 场景描述 本示例场景对用户购买商品的数据信息进行分析，将满足特定条件的数据结果进行汇总输出。购买商品数据信息为数据源发送到Kafka中，再将Kafka数据的分析结果输出到Elasticsearch中。

查看更多 →

多对一的场景约束及操作建议 因业务需要，不同实例、不同表的数据需要进行合并时，数据复制服务提供的数据迁移和实时同步均支持多对一的场景。 多对一场景分为实例级多对一和库表级多对一。其中实例级多对一可创建多个同步任务实现；库表级多对一仅实时同步支持，通过实时同步的对象名映射功能，实现库级或者表级数据多对一同步。

查看更多 →

Doris多源数据能力概述 多源数据目录旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。 多源数据目录功能在原有的元数据层级上，新增一层Catalog，构成Catalog -> Database -> Table的三层元数据层级。其中，Catalog可以直接对应到外部数据目录。

查看更多 →

多版本SQL语法请参考多版本备份恢复数据。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表语法可以参考使用Hive语法创建OBS表。 语法格式 开启多版本功能 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES

查看更多 →

多版本SQL语法请参考多版本备份恢复数据。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表语法可以参考使用Hive语法创建OBS表。 语法格式 开启多版本功能 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES

查看更多 →

参数说明：是否开启数据库监控快照功能。 该参数属于SIGHUP类型参数，请参考表1中对应设置方法进行设置。 取值范围：布尔型 on：打开数据库监控快照功能。 off：关闭数据库监控快照功能。 默认值：on wdr_snapshot_retention_days 参数说明：系统中数据库监控快

查看更多 →

多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题： 表相关

查看更多 →

多机多卡 线下容器镜像构建及调试 上传镜像 上传数据至OBS（首次使用时需要） 上传算法至SFS 使用Notebook进行代码调试 创建训练任务 父主题： 调试与训练

查看更多 →

配置Doris支持多源数据 Doris多源数据能力概述 配置Doris对接Hive数据源 父主题： Doris企业级能力增强

查看更多 →

多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题： Spark SQL语法参考（即将下线）

查看更多 →

wdr_snapshot_retention_days 参数说明：系统中数据库监控快照数据的保留天数。当数据库运行过程期间所生成的快照量数超过保留天数内允许生成的快照数量的最大值时，系统将每隔wdr_snapshot_interval时间间隔，清理snapshot_id最小的快照数据。 该参数属于SIGHUP类型参数，请参考表1中对应设置方法进行设置。

查看更多 →

使用Filter过滤器读取HBase表数据 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤，通过设置一些过滤条件来实现，如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.exampl

查看更多 →

使用Filter过滤器读取HBase表数据 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤，通过设置一些过滤条件来实现，如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.exampl

查看更多 →

Prometheus实例 for 多账号聚合实例 Remote Read配置 推荐配置 prometheus.yml。具体操作如下： 登录AOM 2.0控制台。 在左侧导航栏选择“Prometheus监控 > 实例列表”，在实例列表中单击已创建的Prometheus实例的实例名称。

查看更多 →

CloudLink Board 是否支持读取U盘上的数据? CloudLink Board 不支持读取U盘上的数据。 父主题： 硬终端业务使用

查看更多 →

方法进行设置。 设置建议：设置为默认值。 不建议打开的场景： 在多表和多库的场景下，wdr snapshot会在每个库串行记录快照，记录快照时间会很长，不建议打开。 在多表的场景下，由于内部的一些表的性能问题，pg_stat_all_tables在多表的场景下，查询很慢，这时做wdr

查看更多 →