开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kaf

查看更多 →

HBase开源增强特性 HBase开源增强特性：HIndex HBase是一个Key-Value类型的分布式存储数据库。每张表的数据按照RowKey的字典顺序排序，因此，如果按照某个指定的RowKey去查询数据，或者指定某一个RowKey范围去扫描数据时，HBase可以快速定位到

查看更多 →

Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标： Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数

查看更多 →

Flink开源增强特性 Flink滑动窗口增强 Flink Job Pipeline增强 Flink Stream SQL Join Flink CEP in SQL 父主题： Flink

查看更多 →

保证了本地化。而开源调度器采用“从节点到作业的调度策略”，在给定节点中尝试匹配适当的作业。 Container调度时动态资源预留 在异构和多样化的计算环境中，一些container需要更多的资源或多种资源，例如Spark作业可能需要更大的内存。当这些container与其他需要较

查看更多 →

Oozie开源增强特性 Oozie开源增强特性：安全增强 支持Oozie权限管理，提供管理员与普通用户两种角色。 支持单点登录登出，HTTPS访问以及审计日志。 父主题： Oozie

查看更多 →

开源Kafka输出流 功能描述 DLI 将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

本文档以硬盘故障检测的模型训练为例，介绍NAIE训练平台使用的全流程，包括数据集、特征工程、模型训练、模型管理和模型验证，使开发者快速熟悉NAIE训练平台。 《用户指南》 本文档包含了使用NAIE训练平台前的准备工作和如何使用NAIE训练平台导入数据、特征操作、模型训练、模型打包与模型验证的操作指导。

查看更多 →

按照服务合同中约定的范围，各服务子项按如下标准提交交付件： 服务 子服务 交付件 AI平台咨询与规划服务 AI平台架构规划服务 《AI平台的规划设计可行性分析报告》 AI平台场景化建模方案规划服务 《场景化建模可行性分析报告》 父主题： AI平台咨询与规划服务

查看更多 →

什么是华为HiLens 华为HiLens为端云协同AI应用开发与运行管理平台，对接高性能的开发与推理框架ModelBox，支持部署华为云ModelArts平台训练的模型，提供云上管理平台、丰富的技能市场和 开发者工具 与插件，帮助用户高效开发AI应用，并将其部署到多种端侧计算设备运行和在线管理。

查看更多 →

Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调，包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练，包括训练数据处理、超参配置、创建训练任务及性能查看。

查看更多 →

本文涉及PyTorch训练的单卡、分布式业务迁移到昇腾的业务范围。 迁移流程 模型迁移主要指将开源社区中实现过的模型迁移到昇腾AI处理器上，需要保证模型已经在CPU/GPU上运行成功，迁移到昇腾AI处理器的主要流程如下所示。 图1 迁移流程 父主题： 训练业务昇腾迁移通用指导

查看更多 →

推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求在训练的环境中进行，为下一步推理做准备。

查看更多 →

准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调

查看更多 →

|──llm_train # 模型训练代码包 |──AscendSpeed # 基于AscendSpeed的训练代码 |──ascendcloud_patch/ # 针对昇腾云平台适配的功能补丁包

查看更多 →

开源Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

Join性能。 图2 无同分布与同分布数据块分布对比 HDFS开源增强特性：硬盘坏卷设置 在开源版本中，如果为DataNode配置多个数据存放卷，默认情况下其中一个卷损坏，则DataNode将不再提供服务。配置项“dfs.datanode.failed.volumes.tolerated”可以

查看更多 →

Spark开源增强特性 跨源复杂数据的SQL查询优化 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、 数据仓库 等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark

查看更多 →

一时刻的计算结果。使用CQL，可以快速进行业务开发，并方便地将业务提交到Storm平台开启实时数据的接收、处理及结果输出；并可以在合适的时候中止业务。 高可用性 Nimbus HA机制，避免了开源Storm集群中Nimbus出现单点故障而导致集群无法提供Topology的新增及管理操作的问题，增强了集群可用性。

查看更多 →

将多个权重文件合并为一个文件并转换格式 该场景一般用于将预训练、SFT或LoRA训练好的Megatron模型重新转回HuggingFace格式。 一般训练都是多卡分布式训练，权重结果文件为多个且文件为Megatron格式，因此需要合并多个文件并转换为HuggingFace格式。 如果是多机训练，转换前需将多机权重目

查看更多 →

905-20240611214128.zip 三方大模型训练和推理代码包 获取路径：Support-E 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 AscendCloud-3rdAIGC-6.3.905-20240529154412.zip AIGC场景训练和推理代码包 Ascend

查看更多 →