中软国际数据治理专业服务解决方案实践

创建NLP大模型评测数据集 NLP大模型支持人工评测与自动评测，在执行模型评测任务前，需创建评测数据集。 评测数据集的创建步骤与训练数据集一致，本章节仅做简单介绍，详细步骤请参见使用数据工程构建NLP大模型数据集。 登录ModelArts Studio平台，进入所需空间。 在左侧导航栏中选择“数据工程

查看更多 →

查询Job的数据 功能 查询Job的数据。 注意事项 无 调用方法 POST URI /meter/v1/{domain_id}/query-jobs/{job_id}/sdr 路径参数 参数 是否必选 类型 值域 说明 job_id 是 string 正则表达式为^[-_0-9a-zA-Z]{0

查看更多 →

管理我的数据 管理本地接入的个人数据 管理外部接收的个人数据 父主题： 数据目录

查看更多 →

选择连接器，单击连接器卡片上的“前往”，进入连接器控制台界面。 选择界面左侧导航栏中的“数据目录”，选择“删除的数据”，进入“删除的数据”界面。 支持单个数据还原以及批量多个数据还原。 还原单个数据。单击已删除数据操作列的“还原”，将数据还原在原归档路径。 批量还原多个数据。勾选需要还原的多个数据，

查看更多 →

参考表1重新选择归档路径，单击“确定”。 “收到的数据”尾部显示的数字如图1中的“3”表示已经收到的所有数据数量。 图1 “收到的数据”尾部数字 为合约配置数据自动更新 数据提供方提供的数据有更新时，数据接收方通过设置自动更新后，数据接收方中的数据即可自动更新。 进入交换数据空间控制台界面，单击“我的空间”，在交换

查看更多 →

大屏数据处理应用模板 描述 大屏数据处理应用模板，可配合组件资产“大屏Demo”使用。 开放能力 大屏数据处理应用模板为APP资产，提供服务能力。 服务 说明 getTodayForDmax 该服务用于获取当天时间。 getTaskStatusNum 该服务用于获取各任务状态的具体数量。

查看更多 →

图数据的格式 一般图数据格式 动态图数据格式 父主题： 元数据操作

查看更多 →

在数据容器中查看采集的数据 数据容器，用于应用中的数据存储，数据容器包含数据库和集群，用来展示在元数据采集中采集的数据。 前提条件 需拥有数据管家角色，角色权限请参考DMAP数小二用户角色与权限说明。 已按如下流程执行采集任务。 已新增数据连接。 已创建采集任务。 已启动/执行采集任务。

查看更多 →

验证模型的样本数据比例。“训练验证比例”会影响训练模板的性能。 “描述” 针对当前发布的数据集版本的描述信息。 “开启难例属性” 仅“图像分类”和“物体检测”类型数据集支持难例属性。 默认不开启。启用后，会将此数据集的难例属性等信息写入对应的Manifest文件中。 数据集版本文件目录结构

查看更多 →

然后选择连接器，单击连接器卡片上的“前往”，进入连接器控制台界面。 选择界面左侧导航栏中的“数据目录”，选择“发出的数据”，进入“发出的数据”界面。 单击已生效合约对应的“消息”，在弹出的“消息”页签中输入留言的内容，单击“提交消息”，即可在该合约上发起消息会话。 留言成功后，除创建消息的用户外，合约

查看更多 →

导出ModelArts数据集中的数据为新数据集 针对数据集中的数据，用户可以选中部分数据或者通过条件筛选出需要的数据，导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。本章主要介绍将ModelArts数据集中的数据为新数据集的方式，新导出的数据集可直接在ModelArts控制台数据集列表中显示。

查看更多 →

Boxes 横坐标：目标框的面积占比，即目标框的面积占整个图片面积的比例，越大表示物体在图片中的占比越大。 纵坐标：框数量（统计所有图片中的框）。 主要判断模型中使用的anchor的分布，如果目标框普遍较大，anchor就可以选择较大。 按边缘化程度统计框数量的分布 Marginalization

查看更多 →

采集数据源的元数据 元数据简介 配置元数据采集任务 查看任务监控 父主题： 数据目录

查看更多 →

数据处理可以处理哪些数据源中的数据？ 目前仅支持读写OBS桶中的数据。如果读写租户OBS中数据，可以使用ModelArts提供的MoXing的API能力，实现读写OBS中的数据。 父主题： 数据处理

查看更多 →

旧版数据集中的数据是否会被清理？ 旧版数据集中创建的数据不会被清理，旧版数据集中会自动关联一个数据标注任务。 但是在新版数据集中创建的数据，在旧版的数据集列表不会展示。 父主题： Standard数据管理

查看更多 →

导出ModelArts数据集中的数据到OBS 针对数据集中的数据，用户可以选中部分数据或者通过条件筛选出需要的数据，当需要将数据集中的数据存储至OBS用于后续导出使用时，可通过此种方式导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测

查看更多 →

// 5. 连接数据库，这里的userName与password分别表示连接数据库的用户名和用户密码。 // 如果odbc.ini文件中已经配置了用户名密码，那么这里可以留空（""）；但是不建议这么做，因为一旦odbc.ini权限管理不善，将导致数据库用户密码泄露。

查看更多 →

// 5. 连接数据库，这里的userName与password分别表示连接数据库的用户名和用户密码。 // 如果odbc.ini文件中已经配置了用户名密码，那么这里可以留空（""）；但是不建议这么做，因为一旦odbc.ini权限管理不善，将导致数据库用户密码泄露。

查看更多 →

数据服务的优势是什么 数据准备支持任务、工程的复用，通过复用任务和工程，可以快速的创建工程和启动工程。 父主题： 数据准备

查看更多 →

传输中的数据保护 数据传输到标签管理服务内部数据库的过程中使用加密协议。此部分用户不可配置。 调用标签管理服务接口时，标签管理服务支持HTTP和HTTPS两种传输协议，为保证数据传输的安全性，推荐您使用更加安全的HTTPS协议。 父主题： 数据保护技术

查看更多 →

yncGroup)获取分配结果 SyncGroup 此请求用于获取分配结果，返回的assignment中即为消费者需要消费的通道名和分区 执行样例程序，等待消费组分配完成之后，发送数据到通道，完整的日志如下 09:42:37.296 INFO c.h.d.a.k.c.DISKafkaConsumer

查看更多 →