基于PyTorch NPU快速部署开源大模型

no表示hint的scan方式不使用。 table表示hint指定的表，只能指定一个表，如果表存在别名应优先使用别名进行hint。 index表示使用indexscan或indexonlyscan的hint时，指定的索引名称，当前只能指定一个。 对于indexscan或indexonlysc

查看更多 →

见指定Hint所处的查询块Queryblock章节，可省略，表示在当前查询块生效。 no表示hint的join方式不使用。 table_list为表示hint表集合的字符串，该字符串中的表与join_table_list相同，只是中间不允许出现括号指定join的优先级。 例如： no

查看更多 →

则生成不出这种基于join的gather路径，会回退生成基于基表的gather路径。 在指定Hint(JOIN)后，对于分布表和复制表做连接的情况会导致生成不出来Hint(JOIN)期望的计划，因为优化器已经寻找更优的计划进行替代。 ALL：基于最优方式选择Gather Rel或Gather

查看更多 →

Join方式的Hint 功能描述 指明Join使用的方法，可以为Nested Loop，Hash Join和Merge Join。 语法格式 1 [no] nestloop|hashjoin|mergejoin(table_list) 参数说明 no表示hint的join方式不使用。

查看更多 →

JOIN：尽可能生成基于join的gather路径，在能下推的join子计划上面（join下面不包含重分布节点）添加gather路径，剩余计划在CN上执行。对于需要重分布节点的join计划则生成不出这种基于join的gather路径，会回退生成基于基表的gather路径。 在指定Hi

查看更多 →

no表示hint的scan方式不使用。 table表示hint指定的表，只能指定一个表，如果表存在别名应优先使用别名进行hint。 index表示使用indexscan或indexonlyscan的hint时，指定的索引名称，当前只能指定一个。 对于indexscan或indexonlysc

查看更多 →

can的hint时，指定的索引名称，当前只能指定一个。 对于indexscan、index或indexonlyscan，只有hint的索引属于hint的表时，才能使用该hint。 scan hint支持在行存表、hdfs内外表、子查询表上指定。 indexonlyscan的计划能

查看更多 →

在满足查询可以使用GSI的前提下，使用gsi的hint将产生使用全局二级索引的index only scan查询计划，而不会产生使用普通索引的查询计划。 在满足查询可以使用GSI回表的前提下，使用gsitable的hint将产生使用全局二级索引的回表查询计划。 对于gsi的hint，若没有

查看更多 →

Stream方式的Hint 功能描述 在并行的执行计划中，指定stream的使用方法，可以为broadcast或者redistribute，表示对数据进行广播或者重分布。 语法格式 1 [no] broadcast|redistribute( [@queryblock] table_list)

查看更多 →

index表示使用indexscan或indexonlyscan的hint时，指定的索引名称，当前只能指定一个。 对于indexscan或indexonlyscan，只有hint的索引属于hint的表时，才能使用该hint。 scan hint支持在行存表、hdfs内外表、、子查询表上指定。对于hdfs

查看更多 →

by子句也可以指定distinct子句中的列。 指定的分布列，需要用group by或distinct中的列序号来表示，不可以指定列名。 对于多层的查询，可以在每层指定对应层的分布列hint，只在当前层生效。 指定了分布列，如果优化器估算后发现不需要重分布，则指定的分布列无效。 建议 通常优化

查看更多 →

[index]) 参数说明 no表示hint的scan方式不使用。 block_name表示语句块的block_name，详细说明请参考block_name。 table表示hint指定的表，只能指定一个表，如果表存在别名应优先使用别名进行hint。 表的语法格式如下： [schema.]table[@block_name]

查看更多 →

规则管理 规则引擎就是通过灵活的设定规则，将设备上云端的数据，送往不同的数据目的地以达到不同的业务目标。 规则管理就是设定数据处理的流程的管理，规则编排对平台数据进行筛选、变型、转发、将不同场景的数据通过不同的方式无缝转发到不同的数据目的地 添加规则 支持规则名称关键字、规则标签查询。

查看更多 →

单击优化报告页面右上方的“返回”，返回模型训练任务详情页面，等待最优模型训练结束。 最优模型训练结束，训练任务状态变为“FINISHED”后，单击训练任务对应的“”，在弹出的“归档”对话框内单击“确定”，打包该模型，作为异步推理的模型包。 单击“模型管理”，找到用于异步推理任务的模型包，将其“开发环境”切换为WebIDE环境。

查看更多 →

py”中。当学件模型打包发布成在线推理服务时，可以使用推理代码，完成快速在线推理验证。 单击“测试模型”左下方的“开发推理”。 等待推理代码生成完成后，可在左侧目录树中，看到生成的推理文件“learnware_predict.py”。 用户可以根据实际情况，编辑修改推理文件中的代码。 父主题： 模型训练

查看更多 →

推理服务 推理服务 任务队列 父主题： 训练服务

查看更多 →

获取参数值 请求成功（状态码201）后，从响应的Header中拿到x-subject-token的值即为Token的值。 获取的Token的有效期为24小时。建议进行缓存，避免频繁调用。 获取访问地址 访问地址为 {公网地址} /{ 自定义镜像 中的API地址}，例如：https://xx

查看更多 →

推理部署 模型管理 服务部署 服务预测

查看更多 →

”等信息，或保持默认值也可以，单击“确定”。 等待系统发布推理服务，大约需要10分钟。发布成功后，模型包所在行的图标更新为。 单击模型包右侧的图标，进入推理服务快速验证页面。 在左侧的“验证消息”区域，输入json格式的验证数据，如下所示。 { "smart_1_normalized":

查看更多 →

界面说明如表1所示。 表1 推理服务界面说明 区域 参数 参数说明 1 支持通过名称快速检索推理服务。 支持通过推理服务的状态快速筛选相同状态下的推理服务。 状态包括：运行中、部署中、已停止、告警、部署失败、后台异常。 用于刷新推理服务界面内容。 使用“模型仓库”中的模型包创建新的推理服务。 2

查看更多 →

int size); }; 返回值 返回值为0即成功，其他即失败，失败响应参数如错误码所示。 如果推理的实际输入与模型输入大小不一致，推理将会失败。此时infer的返回值将是一个int的错误码，日志会报出错误信息，开发者可以通过错误信息来定位错误。 父主题： 模型管理

查看更多 →