处理ModelArts数据集中的数据 数据处理场景介绍 创建ModelArts数据校验任务 创建ModelArts数据清洗任务 创建ModelArts数据选择任务 创建ModelArts数据增强任务 管理和查看数据处理任务 父主题： 数据准备与处理

查看更多 →

盘古CV大模型能力与规格 盘古CV大模型基于海量图像、视频数据和盘古独特技术构筑的视觉基础模型，赋能行业客户利用少量场景数据对模型微调即可实现特定场景任务。 ModelArts Studio大模型开发平台为用户提供了多种规格的CV大模型，以满足不同场景和需求。以下是当前支持的模型

查看更多 →

云存储优化与提升服务优势？ AI大模型训练加速：提供AI原生存储的三级缓存联动加速，具有数据加载快、模型训练快、故障备份恢复快特点。 丰富的云存储性能诊断经验：凭借积累的多种复杂场景经验和专家团队的应对能力，能够快速准确地定位性能瓶颈问题。 专业的云存储性能优化实践：拥有丰富的各

查看更多 →

。 时序数据排序 时序数据排序即根据给定的参数对时间序列进行排序。 操作步骤如下所示。 单击界面右上角的图标，选择“数据处理 > 时序数据处理 > 时序数据排序”，界面新增“时序数据排序”内容。 对应参数说明，如表2所示。 表2 参数说明 参数 参数说明 时间列 时序数据时间列，

查看更多 →

栅格数据处理 打开 SuperMap iDesktop 图1 打开 在数据的数据处理选项卡下面选择重分级，选择源数据，设置参数 图2 设置参数 执行完成后在数据源下面新生成数据集result_reclass 图3 新生成数据集 在数据的数据处理选项卡下面选择重采样，选择源数据，设置参数采样模式

查看更多 →

选择界面左侧“数据管理>数据预处理”，单击“创建”，可输入作业名称、描述及数据集，单击保存。若当前选不到目标数据集，可查看该数据集是否已参与其他的预处理作业。 目标数据集需要对所选字段的分布类型进行严格定义。处理评估/预测数据前建议先使用训练数据进行预处理，以确保当数据处理达到目标需求。

查看更多 →

的调度。 图19 保存并提交作业与执行调度 运维调度 您可以通过运维调度功能，查看作业以及作业实例的运行状态。 在数据开发主界面的左侧导航栏，选择“运维调度 > 作业监控”。 单击“批作业监控”页签，进入批作业监控界面。 批作业监控提供了对批处理作业的状态进行监控的能力。您可以查

查看更多 →

数据处理类实践 使用FunctionGraph函数对OBS中的图片进行压缩 使用FunctionGraph函数为OBS中的图片打水印 使用FunctionGraph函数对DIS数据进行格式转换并存储到CloudTable 使用FunctionGraph函数实现通过API方式上传文件

查看更多 →

视频存储桶与媒体处理服务不在一个区域怎么办？ 若视频存储的OBS桶所在区域与媒体处理服务所在区域不一致，可以通过如下方式处理。 切换媒体处理服务的区域为OBS桶所在区域后，再进行视频转码。媒体处理服务支持的区域有限，若OBS桶所在区域未部署媒体处理服务，请参考2进行处理。 使用O

查看更多 →

数据控制与数据审计 数据保护策略 项目内的数据支持精细化的权限控制，可对数据分享、下载、删除进行设置。您可以在项目的“设置”页面设置数据权限。数据权限仅可以有项目所有者设置。 分享：关闭分享后，项目内数据不允许分享给其他项目，包括拷贝、引用两种方式。 下载：关闭下载后，项目内数据不允许下载至本地。

查看更多 →

NLP大模型训练流程与选择建议 NLP大模型训练流程介绍 NLP大模型的训练分为两个关键阶段：预训练和微调。 预训练阶段：在这一阶段，模型通过学习大规模通用数据集来掌握语言的基本模式和语义。这一过程为模型提供了处理各种语言任务的基础，如阅读理解、文本生成和情感分析，但它还未能针对特定任务进行优化。

查看更多 →

训练指标说明 模型 训练指标 指标说明 预测大模型 拟合度 拟合度是一种衡量模型对数据拟合程度的指标。数值范围为0到1，数值越接近1，表示模型对数据的拟合程度越好。 均方根误差 均方根误差是预测值与真实值之间差异的平方和的均值的平方根。它用于衡量模型预测值与实际值之间的偏差，数值越小，表明模型预测的精度越高。

查看更多 →

Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 配置Hive列加密功能 父主题： 使用Hive

查看更多 →

在OBS桶中仅开启归档数据直读功能，仅支持直接下载归档存储数据，并未修改相应存储类型，因此 OMS 无法正常直接下载对象。 归档存储开启直读，和使用OMS自动恢复归档存储，源端对象存储服务都会收取相应费用，详见产品价格详情。 迁移归档数据时，目的端桶类型建议选择为“标准存储”，待迁移完成确

查看更多 →

对接Redis实现数据存储 通过应用与Redis对接，实现数据存储功能。 前提条件 已获取Redis提供服务的URL地址和登录密码。 新建Redis连接器 参考创建连接器入口中操作，进入创建连接器页面。 在左侧列表中，选择“数据库 > Redis”，单击“+”。 图1 新建Redis

查看更多 →

始数据同步保存至OBS，以保存更长时间。 操作步骤 登录管理控制台。 在管理控制台左上角单击，选择区域和项目。 在页面左上角单击图标，打开服务列表，选择“管理与监管 > 云监控服务 ”。 单击页面左侧的“云服务监控”，选择“企业交换机”。 在企业交换机列表中，单击目标企业交换机所在行的操作下的“配置数据存储”。

查看更多 →

模型在验证集上的损失值。值越小，意味着模型对验证集数据的泛化能力越好。 获取训练日志 单击训练任务名称，可以在“日志”页面查看训练过程中产生的日志。 对于训练异常或失败的任务可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见NLP大模型训练常见报错与解决方案。 训练日志可以按照不同的

查看更多 →

创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前，需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统，可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击，选择“存储

查看更多 →

数据如何存储到 GaussDB (DWS)？ GaussDB(DWS)支持多数据源高效入库，典型的入库方式如下所示。详细指导请参见导入数据。 从OBS导入数据。 数据上传到OBS对象存储服务中，再从OBS中导入，支持 CS V，TEXT格式数据。 通过INSERT语句直接插入数据。 用户

查看更多 →

Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题： 使用Hive

查看更多 →

配置HBase冷热数据分离存储 在海量大数据场景下，HBase表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，如果降低这部分数据的存储成本将会极大的节省企业的成本。 HBase支持冷热分离功能，将数据分类存储在不同介质

查看更多 →