更新时间:2024-08-29 GMT+08:00
分享

盘古推理SDK简介

推理SDK概述

盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。

表1 推理SDK清单

SDK分类

SDK功能

支持语言

使用场景

推理SDK

对话问答(多轮对话)(/chat/completions)

Java、Python、Go、.NET、NodeJs

基于对话问答功能,用户可以与模型进行自然而流畅的对话和交流。

通用文本(文本补全)(/text/completions)

Java、Python、Go、.NET、NodeJs

给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全,还可以返回每个位置上不同词语的概率。它可以用来做文本生成、自动写作、代码补全等任务。

开发环境要求

华为云盘古大模型推理SDK要求:

  • Java SDK适用于JDK 1.8及其以上版本。
  • Python SDK适用于Python3及以上版本。
  • Go SDK支持go 1.14及以上版本。
  • .NET SDK适用于.NET Standard 2.0及其以上版本;C# 4.0及其以上版本。
  • NodeJs SDK适用于Node 10.16.1及其以上版本。

相关文档