海量训练数据 盘古大模型依托海量且多样化的训练数据，涵盖从日常对话到专业领域的广泛内容，帮助模型更好地理解和生成自然语言文本，适用于多个领域的业务应用。这些数据不仅丰富多样，还为模型提供了深度和广度的语言学习基础，使其能够生成更加自然、准确且符合语境的文本。 通过对海量数据的深入学习和分析，

查看更多 →

精度函数 HLL（HyperLogLog）主要存在三种模式Explicit，Sparse，Full。当数据规模比较小的时候会使用Explicit模式和Sparse模式， 这两种模式在计算结果上基本上没有误差。 随着distinct值越来越多，就会转换成Full模式，但结果也会存在

查看更多 →

精度校验 转换模型后执行推理前，可以使用benchmark工具对MindSpore Lite云侧推理模型进行基准测试。它不仅可以对MindSpore Lite云侧推理模型前向推理执行耗时进行定量分析（性能），还可以通过指定模型输出进行可对比的误差分析（精度）。 精度测试 benc

查看更多 →

，包括作业输入条件、输出结果、执行环境、合作方信息和模型贡献度等。 图2 展示作业报告 执行纵向作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”，打开可信联邦学习作业页面。 在“可信联邦学习”页面，查找待执行的纵向作业，单击“执行”。 图3 执行作业

查看更多 →

精度函数 HLL（HyperLogLog）主要存在三种模式Explicit，Sparse，Full。当数据规模比较小的时候会使用Explicit模式和Sparse模式， 这两种模式在计算结果上基本上没有误差。 随着distinct值越来越多，就会转换成Full模式，但结果也会存在

查看更多 →

注作业。 在弹出的“启动智能标注”对话框中，选择智能标注类型，可选“主动学习”或者“预标注”，详见表1和表2。 表1 主动学习 参数 说明 智能标注类型 “主动学习”。“主动学习”表示系统将自动使用半监督学习、难例筛选等多种手段进行智能标注，降低人工标注量，帮助用户找到难例。 算法类型

查看更多 →

知因子分解机。 深度网络因子分解机，结合了因子分解机和深度神经网络对于特征表达的学习，同时学习高阶和低阶特征组合，从而达到准确地特征组合学习，进行精准推荐。DEEPFM算法参数请参见深度网络因子分解机。 核函数特征交互神经网络是深度网络因子分解机的改进版本，深度网络因子分解机通过

查看更多 →

HPC型文件系统来加速对OBS对象存储中的数据访问，并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的存储解决方案 OBS + SFS Turbo存储加速的具体方案请查看： 面向AI场景使用OBS+SFS Turbo的存储加速实践。 设置训练存储加速 当完成上传数据至OBS并预热到SFS

查看更多 →

选择表存储模型 GaussDB (DWS)支持行列混合存储。当创建一个表时，可以选择表的存储格式为行存储或列存储。 行存储是指将表按行存储到硬盘分区上，列存储是指将表按列存储到硬盘分区上。默认情况下，创建的表为行存储。行存储和列存储的差异请参见图1。 图1 行存储和列存储的差异 上

查看更多 →

资源快照存储模型 资源快照存储模型 表1 资源快照存储模型 参数 参数类型 描述 snapshot_id String 资源快照ID。 items Array of Object 资源快照项列表。 snapshot_time String 资源快照存储时间。 具有固定格式：遵循I

查看更多 →

自动学习生成的模型，存储在哪里？支持哪些其他操作？ 模型统一管理 针对自动学习项目，当模型训练完成后，其生成的模型，将自动进入“模型管理”页面，如下图所示。模型名称由系统自动命名，前缀与自动学习项目的名称一致，方便辨识。 自动学习生成的模型，不支持下载使用。 图1 自动学习生成的模型

查看更多 →

时间精度（time_confidence） 数值 含义 0 不具备或不可用 1 100 2 50 3 20 4 10 5 2 6 1 7 0.5 8 0.2 9 0.1 10 0.05 11 0.02 12 0.01 13 0.005 14 0.002 15 0.001 16 0

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendC

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evalua

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-3rdLLM-xxx.zip的llm_tools/llm_evaluation（6.3.905版本）目

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，建议在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。若需要在生产环境中进行推理精度测试，请通过调用接口的方式进行测试。 Step1 执行精度测试 精度测试需要数据集进行测试。推荐公共数据集mmlu

查看更多 →

业记录。模型训练页面展示了历史作业的执行情况、模型的评估指标和生成时间。模型的评估指标是使用训练数据集产生的。 单击“查看参数”可以查看该模型训练时指定的机器学习作业参数；逻辑回归作业可以单击“查看中间结果”实时查看每一次迭代的评估指标。 图12 模型训练参数 进行模型评估。在历

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

训练精度测试 流程图 训练精度测试流程图如下图所示： 图1 训练精度测试流程图 执行训练任务 进入test-benchmark目录执行训练命令，可以多次执行，按自己实际情况。 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type>

查看更多 →

精度问题处理 设置高精度并重新转换模型 在转换模型时，默认采用的精度模式是fp16，如果转换得到的模型和标杆数据的精度差异比较大，可以使用fp32精度模式提升模型的精度（精度模式并不总是需要使用fp32，因为相对于fp16，fp32的性能较差。因此，通常只在检测到某个模型精度存在

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendC

查看更多 →