。 在满足查询可以使用gsi的前提下，使用gsi的hint将产生使用全局二级索引的index only scan查询计划，而不会产生使用普通索引的查询计划。 对于gsi的hint，若没有给定queryblock、table以及index，则此gsi的hint支持跨queryblock。

查看更多 →

会创建您所选规格的图并置入模板数据来供您查询和分析图。 创建动态图：此方式创建的图，系统默认开启动态图分析能力，可方便您利用动态图功能进行分析图。 如果您想要使用动态图功能，需使用创建动态图的方式，自定义和行业图模板创建的图不具有该功能，后续也无法开启动态图分析能力。 父主题： 创建图

查看更多 →

JOIN：尽可能生成基于join的gather路径，在能下推的join子计划上面（join下面不包含重分布节点）添加gather路径，剩余计划在CN上执行。对于需要重分布节点的join计划则生成不出这种基于join的gather路径，会回退生成基于基表的gather路径。 在指定Hi

查看更多 →

Join方式的Hint 功能描述 指明Join使用的方法，可以为Nested Loop，Hash Join和Merge Join。 语法格式 1 [no] nestloop|hashjoin|mergejoin(table_list) 参数说明 no表示hint的join方式不使用。

查看更多 →

by子句也可以指定distinct子句中的列。 指定的分布列，需要用group by或distinct中的列序号或列名来表示，count（distinct）中的列只能通过列名指定。 对于多层的查询，可以在每层指定对应层的分布列hint，只在当前层生效。 指定的count（distinct）

查看更多 →

Stream方式的Hint 功能描述 在并行的执行计划中，指定stream的使用方法，可以为broadcast或者redistribute，表示对数据进行广播或者重分布。 语法格式 1 [no] broadcast|redistribute|local_roundrobin( [@queryblock]

查看更多 →

lyscan的hint时，指定的索引名称，当前只能指定一个。 对于indexscan或indexonlyscan，只有hint的索引属于hint的表时，才能使用该hint。 scan hint支持在行存表、hdfs内外表、子查询表上指定。 indexonlyscan的计划能够被i

查看更多 →

设备：表示满足条件的数据是由单个设备上报到平台。 设备类型：表示满足条件的数据是由选择的某一设备类型的设备上报到平台。 设备群组：表示满足条件的数据是由所选设备群组的设备上报到平台。 选择设备模型：选择满足条件后上报数据的设备的模型。选择设备模型后需要选择对应的服务类型，并设置上报数据的规则。

查看更多 →

参数名称 参数描述 模型包名称 发布成推理服务的模型包名称。 版本 推理服务的版本。 版本建议格式为“xx.xx.0”，其中xx为0-99的整数。 是否自动停止 是否开启推理服务自动停止，如果开启，需要设置自动停止的时间，开启了自动停止的推理服务将会在设置时间后停止运行。 计算节点规格 计算节点资源，包括CPU和GPU。

查看更多 →

cann_8.0.rc1 不同软件版本对应的基础镜像地址不同，请严格按照软件版本和镜像配套关系获取基础镜像。 支持的模型软件包和权重文件 本方案支持的模型列表、对应的开源权重获取地址如表3所示，模型对应的软件和依赖包获取地址如表1所示。 表3 支持的模型列表和权重获取地址 序号 模型名称

查看更多 →

每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0

查看更多 →

ss使用humaneval数据集时，需要执行模型生成的代码。请仔细阅读human_eval/execution.py文件第48-57行的注释，内容参考如下。了解执行模型生成代码可能存在的风险，如果接受这些风险，请取消第58行的注释，执行下面步骤6进行评测。 # WARNING #

查看更多 →

ss使用humaneval数据集时，需要执行模型生成的代码。请仔细阅读human_eval/execution.py文件第48-57行的注释，内容参考如下。了解执行模型生成代码可能存在的风险，如果接受这些风险，请取消第58行的注释，执行下面步骤6进行评测。 # WARNING #

查看更多 →

每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0

查看更多 →

行ppl精度测试。本质上使用transformers进行推理，因为没有框架的优化，执行时间最长。另一方面，由于是使用transformers推理，结果也是最稳定的。对单卡运行的模型比较友好，算力利用率比较高。对多卡运行的推理，缺少负载均衡，利用率低。 在昇腾卡上执行时，需要在 o

查看更多 →

Standard创建AI应用部署在线服务 第三方推理框架迁移到ModelArts Standard推理自定义引擎 ModelArts Standard推理服务支持VPC直连的高速访问通道配置 ModelArts Standard的WebSocket在线服务全流程开发 从0-1制作 自定义镜像 并创建AI应用

查看更多 →

如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 支持的模型列表和权重文件 本方案支持vLLM的v0.4.2版本。不同vLLM版本支持的模型列表有差异，具体如表3所示。 表3 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化

查看更多 →

在ModelArts控制台的AI应用模块中，将模型部署为一个AI应用。 登录ModelArts控制台，单击“资产管理 > AI应用 > 创建”，开始创建AI应用。 设置创建AI应用的相应参数。此处仅介绍关键参数，设置AI应用的详细参数解释请参见从OBS中选择元模型。 根据需要自定义应用的名称和版本。

查看更多 →

设置创建AI应用的相应参数。此处仅介绍关键参数，设置AI应用的详细参数解释请参见从OBS中选择元模型。 根据需要自定义应用的名称和版本。 模型来源选择“从 对象存储服务 （OBS）中选择”，元模型选择转换后模型的存储路径，AI引擎选择“Custom”，引擎包选择准备镜像中上传的推理镜像。 系统运行架构选择“ARM”。

查看更多 →

imread(img_path) detections = model.predict(img_data) # 将单个样本的推理结果保存为如下的json文件 results = [] for x1, y1, x2, y2, score, cls_pred

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）

查看更多 →