加载云服务特性包 背景信息 云服务功能依赖云服务特性包，因此在使用前需要先加载云服务特性包。 操作步骤 登录企业技术支持网站，选择对应型号和版本，如果没有帐号请根据提示注册。 下载云服务特性包。 在管理PC上访问标准配置页面：https://192.168.0.1:8443，选择“系统

查看更多 →

自定义模型文件“xxx.pb”，需要通过编写自定义脚本加载并使用。自定义模型文件的存放位置及名称可自定义，可以将相关模型文件保存至子文件夹中，也可以保存至根目录下。 环境变量使用说明 模型推理所需的待标注数据集目录、预标注结果数据目录、标注物文件目录、模型文件目录、预标注日志文件目录均可通过注入镜像的环境变量获取，详情见镜像制作（标注）。

查看更多 →

预训练任务 配置预训练脚本qwen.sh中的超参，并执行预训练任务。 这里以Qwen-14B为例，对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 预训练超参配置 预训练脚本qwen.sh，存放在“xxx-Ascend/llm_trai

查看更多 →

预训练任务 配置预训练脚本llama2.sh中的超参，并执行预训练任务。 这里以Llama2-70B 8机64卡训练为例，对于Llama2-7B和Llama2-13B，操作过程与Llama2-70B相同，只需修改对应参数即可。 Step1 配置预训练超参 预训练脚本llama2.

查看更多 →

预训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

预训练超参配置 本章节介绍预训练前的超参配置，可以根据实际需要修改。 预训练脚本baichuan2.sh，存放在“6.3.904-Ascend/llm_train/AscendSpeed/scripts/baichuan2”目录下。训练前，可以根据实际需要修改超参配置。 表1 超参配置

查看更多 →

加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、 MRS 集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 Alpaca数据处理说明 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/tools”目录中，脚本样

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 Alpaca数据处理说明 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/tools/”目录中，脚本具体内容如下。

查看更多 →

权限及对加载数据文件具有owner权限和读写权限，详情请参见Hive应用开发概述。 如果加载数据语句中有关键字LOCAL，表明从本地加载数据，除要求对相应表的UPDATE权限外，还要求该数据在当前连接的HiveServer节点上，加载用户对数据路径“PATH”具有读权限，且以omm用户能够访问该数据文件。

查看更多 →

Manager页面加载卡顿 用户问题 MRS集群Manager页面加载卡顿。 问题现象 登录MRS集群的Manager页面，单击一个按钮需要等一分钟后才能加载到数据，部分按钮单击后卡顿无法访问。 原因分析 查看“/var/log/Bigdata/omm/oms/pms/scriptlog/pms_script

查看更多 →

权限及对加载数据文件具有owner权限和读写权限。 如果加载数据语句中有关键字LOCAL，表明从本地加载数据，除要求对相应表的UPDATE权限外，还要求该数据在当前连接的HiveServer节点上，加载用户对数据路径“PATH”具有读权限，且以omm用户能够访问该数据文件。 如果

查看更多 →

加载自定义词库 功能介绍 该接口用于加载存放于OBS的自定义词库。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/thesaurus 表1 路径参数 参数 是否必选 参数类型 描述 project_id

查看更多 →

件包，须手工加载云服务组件包。 操作步骤 访问华为安全中心平台（ 域名 为isecurity.huawei.com），选择“特征库升级 > 特征库升级”。筛选到对应的产品和版本。 下载安全云服务组件包文件。 请注意系统软件版本和组件包版本的配套关系，不配套的组件包无法加载成功。 图1

查看更多 →

加载云服务组件包 操作步骤 执行display module-information verbose命令查看是否已加载云服务组件包。 如果存在类似如下信息表示已加载云服务组件包，如果不存在请执行2至5。 访问华为安全中心平台（域名为isecurity.huawei.com），选择“特征库升级

查看更多 →

加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Llama2-70B为例，对于Llama2-7B和Llama2-13B，操作过程与Llama2-70B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Qwen-14B为例，对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data

查看更多 →

件会被加载到堆外内存中。插件使用缓存机制对这些堆外内存进行管理。上述API能够查询当前堆外内存使用量、缓存命中次数、加载次数等信息。 预加载向量索引 PUT /_vector/warmup/{index_name} 使用上述接口能将指定index_name的向量索引预加载至堆外内存供查询使用。

查看更多 →

Hue界面无法加载HBase表 用户问题 用户在Hue界面将hive数据导入hbase后，报检测不到hbase表的错误。 问题现象 Kerberos集群中，IAM子账户权限不足导致无法加载hbase表。 原因分析 IAM子账户权限不足。 处理步骤 MRS Manager界面操作：

查看更多 →

prepriming 所属配置文件 carbon.properties 适用于 数据加载 场景描述 使用索引缓存 服务器 过程中开启数据预加载可以提升首次查询的性能。 如何调优 用户可以将该参数设置为true来开启预加载。默认情况，该参数为false。 父主题： CarbonData性能调优

查看更多 →