exitCode=1: | ContainerExecutor.java:300 回答 由于当前数据量较大，有50T数据导入，超过了shuffle的规格，shuffle负载过高，shuffle service服务处于过载状态，可能无法及时响应Executor的注册请求，从而出现上面的问题。 Executor注册shuffle

查看更多 →

数据扩增通过简单的数据扩增例如缩放、裁剪、变换、合成等操作直接或间接的方式增加数据量。 数据生成应用相关深度学习模型，通过对原数据集进行学习，训练生成新的数据集的方式增加数据量。 数据域迁移应用相关深度学习模型，通过对原域和目标域数据集进行学习，训练生成原域向目标域迁移的数据。 父主题： 处理ModelArts数据集中的数据

查看更多 →

标注数据，直接与目标任务相关。通过这些数据，模型可以学习到任务特定的特征和模式。 在特定任务上具有更高的准确性：微调后的模型在具体任务中表现更优。相较于预训练阶段的通用能力，微调能使模型更好地解决细分任务的需求。 在一个客户服务问答系统中，可以用特定领域（如电商、保险）的对话数据

查看更多 →

模型评测 在机器学习中，通常需要使用一定的方法和标准，来评测一个模型的预测精确度。自动驾驶领域通常涉及目标检测、语义分割、车道线检测等类别，如识别车辆、行人、可行区域等对象。 评测脚本 评测任务 任务队列 评测对比 模型数据集支持 父主题： 训练服务

查看更多 →

很慢；其它Task过轻，跑得很快。一方面，数据量大Task运行慢，使得计算性能低；另一方面，数据量少的Task在运行完成后，导致很多CPU空闲，造成CPU资源浪费。 通过如下配置项可开启自动进行数据倾斜处理功能，通过将Hash分桶后数据量很大的、且超过数据倾斜阈值的分桶拆散，变成

查看更多 →

基本概念 AI引擎 可支持用户进行机器学习、深度学习、模型训练作业开发的框架，如Tensorflow、Spark MLlib、MXNet、PyTorch、华为自研AI框架MindSpore等。 数据集 某业务下具有相同数据格式的数据逻辑集合。 特征操作 特征操作主要是对数据集进行特征处理。

查看更多 →

GS_OPT_MODEL GS_OPT_MODEL是启用AiEngine执行计划时间预测功能时的数据表，记录机器学习模型的配置、训练结果、功能、对应系统函数、训练历史等相关信息。 分布式场景下提供此系统表，但AI能力不可用。 父主题： 系统表

查看更多 →

“训练轮次”或“学习率”等参数的设置，根据实际情况调整训练参数，帮助模型更好学习。 Prompt设置：请检查您使用的Prompt，对于同一个目标任务，建议在推理阶段使用和训练数据相同或相似的PROMPT，才能发挥出模型的最佳效果。 模型规格：理论上模型的参数规模越大，模型能学到的知识就越多，能

查看更多 →

AI智能生成 使用智能助手自动生成组合应用：智能助手通过NLP (Natural Language Processing) 机器学习，理解用户输入的集成业务需求，匹配系统支持的触发器、连接器和数据处理器，生成组合应用。可以对生成的组合应用进一步配置、编排、构建和部署上线。 父主题：

查看更多 →

建议根据业务情况及使用习惯，选择OBS使用方法。 如果您的数据量较小（小于100MB）或数据文件少（少于100个），建议您使用控制台上传数据。控制台上传无需工具下载或多余配置，在少量数据上传时，更加便捷高效。 如果您的数据量较大或数据文件较多，建议选择OBS Browser+或obsutil工具上传。OBS

查看更多 →

10亿级数据量场景的解决方案有哪些？ 问： 10亿级数据量场景的解决方案有哪些？ 答： 有数据更新、联机事务处理OLTP、复杂分析的场景，建议使用云数据库 GaussDB (for MySQL)。 MRS 的Impala + Kudu也能满足该场景，Impala + Kudu可以在j

查看更多 →

Understanding，简称LU）、机器翻译（Machine Translation，简称MT）功能。 入门使用 NLP以开放API的方式提供给用户，您可以参考《快速入门》学习并使用NLP服务。 使用方式 如果您是一个开发工程师，熟悉代码编写，想要直接调用NLP的API或SDK使用服务，您可以参考《API参考》或《SDK参考》获取详情。

查看更多 →

等场景中。 机器翻译（Machine Translation，简称MT），为用户提供快速准确的翻译服务，帮助用户跨语言沟通，可用于文档翻译等场景中。 优势 功能全面 提供多种常用自然语言类的算法模型及解决方案，可覆盖不同行业的各类需求。 高效准确 可快速分析大数据量的文本，深度理

查看更多 →

很慢；其他Task过轻，运行很快。一方面，数据量大Task运行慢，使得计算性能低；另一方面，数据量少的Task在运行完成后，导致很多CPU空闲，造成CPU资源浪费。 通过如下配置项可开启自动进行数据倾斜处理功能，通过将Hash分桶后数据量很大的、且超过数据倾斜阈值的分桶拆散，变成

查看更多 →

ID）。 THREADNUM: 备份和恢复时的并发数。并发数可以设置为1-20，默认为8，请根据机器的规格合理设置。 BACKUPSIZE: 备份和恢复时，每个线程上传的数据量（单位：M）。数据量可以设置为1-2047（单位：M），默认为200。 在使用Backint备份或恢复时，会占用一定的内存，占用量的峰值大致等于2

查看更多 →

概述 天筹求解器服务(OptVerse)是一种基于华为云基础架构和平台的智能决策服务，以自研AI求解器为核心引擎，结合机器学习与深度学习技术，为企业提供生产计划与排程、切割优化、路径优化、库存优化等一系列有竞争力的行业解决方案。 OptVerse以开放API（Application

查看更多 →

添加流程变量界面 图2 流程编排示例 保存并发布流程。 选择“智能机器人”，将流程绑定机器人。 选择“智能机器人”，在对应机器人的最后一列单击“呼叫测试”，在弹出的测试对话窗口中单击“开始呼叫”，测试机器人。机器人自动回答流程编排中的变量值表示配置成功。 父主题： 图元

查看更多 →

是否支持提出一个问题得到多个回答 问答数据保留时间 如何修改机器人规格，不同版本机器人区别 如何删除机器人 智能问答机器人的回答规则是什么 如何查询机器人使用情况 如何使用问答语料导入模板 子账户导出数据受obs权限影响时怎么处理 新购买的机器人是否可以与旧机器人共享语料库 问答机器人进行规格变更，是否会影响业务

查看更多 →

基于容器和Kubernetes构建，旨在为数据科学家、机器学习工程师、系统运维人员提供面向机器学习业务的敏捷部署、开发、训练、发布和管理平台。它利用了云原生技术的优势，让用户更快速、方便地部署、使用和管理当前最流行的机器学习软件。 目前Kubeflow 1.0版本已经发布，包含开

查看更多 →

附录 名词解释 基本概念、云服务简介、专有名词解释： 企业主机安全 HSS：是服务器贴身安全管家，通过资产管理、漏洞管理、基线检查、入侵检测、程序运行认证、文件完整性校验，安全运营、网页防篡改等功能，帮助企业更方便地管理主机安全风险，实时发现黑客入侵行为，以及满足等保合规要求。 Web应用防火墙

查看更多 →

假设您有如下数据集（只展示部分数据），由于数据不够完整，如job、gender等字段均存在一定程度的缺失。为了不让机器理解形成偏差、以达到机器学习的使用标准，需要基于对数据的理解，对数据进行特征预处理。例如： job字段是多类别的变量，其值0、1、2实际没有大小之分，一般会将该特征转换成向量，如值为0用向量[1

查看更多 →