更新时间:2024-08-29 GMT+08:00
开源模型
- SDK支持兼容OpenAI-API规范的开源模型。例如,用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key,配置项为:
sdk.llm.openai.url=https://infer-app-modelarts-cn-southwest-2.myhuaweicloud.com/v1/infers/.../v1 sdk.llm.openai.key=your-key
- 初始化LLM:
final OpenAI llm = new OpenAI( LLMConfig.builder().llmModuleConfig(LLMModuleConfig.builder().moduleVersion("llama3-70B").build()).build()); LLMRespOpenAI result = llm.ask("你好");
- 上述moduleVersion根据实际情况传值,也可以使用代码进行url和key的配置:
final OpenAI llm = new OpenAI(LLMConfig.builder() .llmModuleConfig(LLMModuleConfig.builder().moduleVersion("expert_q4").build()) .openAIConfig(OpenAIConfig.builder() .openaiBaseUrl("https://infer-app-modelarts-cn-southwest-2.myhuaweicloud.com/v1/infers/.../v1") .openAiKey("your-key") .build()) .build());
- 使用AppCode鉴权添加的Header:
- 使用APIG简易认证方式添加的Header:
- 当LLM被定义好之后,使用方式与盘古大模型相同,开源模型也支持Agent调用,可参考实例化Agent。
父主题: LLMs(语言模型)