中软国际数据治理专业服务解决方案实践

数据选择（难例） 算法概述 在实际业务场景中，模型维护是一个长期的过程，比如说按照每周、每月进行数据重训练，或者累计数据至一定量时进行定期的重训练。如果将全量的数据用于重训练，需要耗费较大的标注人力和训练耗时。为了提升模型维护效率，可以采用基于难例数据的重训练 。 难例筛选算法对

查看更多 →

修改即可，提升数据管理和标注效率。其次，您可以基于难例的情况，补充类似数据，提升数据集的丰富性，进一步提升模型训练的精度。在数据集管理中，对难例的管理有如下场景。 智能标注后，确认难例 将数据集中的数据标注为难例 目前只有“图像分类”和“物体检测”类型的数据集支持难例发现功能。 智能标注后，确认难例

查看更多 →

改即可，提升数据管理和标注效率。其次，您可以基于难例的情况，补充类似数据，提升数据集的丰富性，进一步提升模型训练的精度。 在数据集管理中，对难例的管理有如下场景。 智能标注后，确认难例 将数据集中的数据标注为难例 目前只有“图像分类”和“物体检测”类型的数据集支持难例发现功能。 智能标注后，确认难例

查看更多 →

设置难例 部分技能具备有难例数据收集的功能，在技能运行之前需要做难例参数配置。 前提条件 技能开发者设置了难例上传的技能，才能共进行相应的难例设置。 在ModelArts创建难例数据集，用于训练难例筛选模型。具体操作请参见创建数据集。 设置难例 在管理控制台左侧菜单栏选择“设备管理

查看更多 →

获取难例配置 读取难例配置文件，难例配置文件路径为相应技能“data”目录，如“/home/hilens/skills/***skill_path/data/hardsample_config.json”。 接口调用 hilens.get_hard_sample_config()

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

新建数据大屏 大屏概述 新建大屏 大屏全局参数配置 大屏组件 预览大屏 发布大屏 复制大屏 大屏分享协作 管理大屏

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

管好大模型难：大模型百花齐放，能力各异，管好大模型难，为应用场景选择表现最佳模型难。 用好大模型难：在企业的复杂场景中，基础大模型效果不佳，且多个大模型结合缺乏有效手段。 获取高质量数据难：高质量数据决定AIGC的高度，企业缺少准备契合行业和企业的高质量数据集的能力。 数据及模型安

查看更多 →

管好大模型难：大模型百花齐放，能力各异，管好大模型难，为应用场景选择表现最佳模型难。 用好大模型难：在企业的复杂场景中，基础大模型效果不佳，且多个大模型结合缺乏有效手段。 获取高质量数据难：高质量数据决定AIGC的高度，企业缺少准备契合行业和企业的高质量数据集的能力。 数据及模型安

查看更多 →

在样式页面对组件的样式进行配置。 保存或保存并发布大屏。 完成大屏制作之后，单击大屏编辑页面右上侧的“保存并发布”或“保存”。 保存：保存大屏之后，在大屏页面大屏不具有查看大屏功能。 在保存的页面输入大屏的名称。 图10 保存大屏 大屏名称不能为空，只允许输入长度为1到32位由数字、中文

查看更多 →

存在约束不验证添加前数据 Oracle同步场景 表1 存在约束不验证添加前数据 预检查项 存在约束不验证添加前数据。 描述 当前源数据库的表存在特殊constraint类型，该constraint添加时仅对新数据进行约束检查，并不检查存量数据是否满足约束条件，所以源表可能存在部分

查看更多 →

upload_url 是 string 上传难例集的url。 获取难例集的url首先需要在难例上传界面配置相应的数据集，然后通过get_hard_sample_config获取难例配置，详情请见获取难例配置，返回值中的参数dataset_path对应的是数据集的url。 index 是 int

查看更多 →

管好大模型难：大模型百花齐放，能力各异，管好大模型难，为应用场景选择表现最佳模型难。 用好大模型难：在企业的复杂场景中，基础大模型效果不佳，且多个大模型结合缺乏有效手段。 获取高质量数据难：高质量数据决定AIGC的高度，企业缺少准备契合行业和企业的高质量数据集的能力。 数据及模型安

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

不上传数据到OBS，如何使用DLI 当前DLI只支持对云上数据分析，数据还是要传到云上；但是用户可以折中处理：将待分析的数据脱敏后上传到OBS临时存放，分析完之后将结果导出使用，同时将OBS临时存放数据删除；该方法主要适用于定期（如每天）对增量数据一次性分析统计，然后利用分析结果

查看更多 →

收缩数据库日志（不推荐使用） 功能介绍 收缩SQL Server数据库日志。 该接口计划于2024-12-30下线，建议及时切换到新接口收缩数据库日志。 调用接口前，您需要了解API 认证鉴权。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST

查看更多 →

如图6所示，选择开发场景为“大屏”，单击右侧区域的“开发”，进入到配置的AppCube大屏开发环境。 图6 进入大屏开发环境 如果使用系统默认提供开发环境，进入到默认环境的业务大屏。 如果使用配置的开发环境，进入到配置的开发地址，配置的地址不是直接进入业务大屏，参见下图进入业务大屏。 如图7所示，单击“导入项目包”。

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

在的断供风险，数据安全风险。 2、产品研发设计效率提升要求，包括大型装配设计、产品创新研发等场景中，存在设计速度慢，不能满足研发项目或非标订单的快速设计交付的要求。 设计工具不统一，数据难兼容，3D设计与2D设计不关联，设计数据难继承、交换困难，产品与工艺设计平台不统一，无法关联，无法借用继承产品设计的数据。

查看更多 →

Flink作业重启后，如何保证不丢失数据？ DLI Flink提供了完整可靠的Checkpoint/Savepoint机制，您可以利用该机制，保证在手动重启或者作业异常重启场景下，不丢失数据。 为了避免系统故障导致作业异常自动重启后，丢失数据： 对于Flink SQL作业，您可以

查看更多 →