文档首页/ 盘古大模型 PanguLargeModels/ 用户指南/ 盘古应用开发SDK/ Java SDK/ LLMs（语言模型）/ 开源模型
更新时间：2024-08-29 GMT+08:00
查看PDF
分享

开源模型

  1. SDK支持兼容OpenAI-API规范的开源模型。例如，用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key，配置项为： 
    sdk.llm.openai.url=https://infer-app-modelarts-cn-southwest-2.myhuaweicloud.com/v1/infers/.../v1
sdk.llm.openai.key=your-key
  2. 初始化LLM： 
    final OpenAI llm = new OpenAI(
    LLMConfig.builder().llmModuleConfig(LLMModuleConfig.builder().moduleVersion("llama3-70B").build()).build());
LLMRespOpenAI result = llm.ask("你好");
  3. 上述moduleVersion根据实际情况传值，也可以使用代码进行url和key的配置： 
    final OpenAI llm = new OpenAI(LLMConfig.builder()
    .llmModuleConfig(LLMModuleConfig.builder().moduleVersion("expert_q4").build())
    .openAIConfig(OpenAIConfig.builder()
        .openaiBaseUrl("https://infer-app-modelarts-cn-southwest-2.myhuaweicloud.com/v1/infers/.../v1")
        .openAiKey("your-key")
        .build())
    .build());
  4. 使用AppCode鉴权添加的Header：

    X-Apig-AppCode:your-key

  5. 使用APIG简易认证方式添加的Header：

    Authorization:Bearer your-key

  6. 当LLM被定义好之后，使用方式与盘古大模型相同，开源模型也支持Agent调用，可参考实例化Agent。
父主题： LLMs（语言模型）

相关文档