更新时间:2024-08-29 GMT+08:00
LLMs(语言模型)
LLMs模块用于对大语言模型API的适配封装,提供统一的接口快速地调用盘古、GALLERY三方模型等模型API。
- 初始化:根据相应模型定义LLM类,如使用盘古LLM为: LLMs.of("pangu")。
from pangukitsappdev.api.llms.factory import LLMs # 初始化盘古LLM llm_api = LLMs.of("pangu")
- 基础问答:基础的模型文本问答(temperature等参数采用模型默认的设置)。
llm_api.ask("你是谁?").answer
- 自定义参数问答:自定义设置如temperature等参数,获得对应的效果。
from pangukitsappdev.api.llms.llm_config import LLMConfig, LLMParamConfig from pangukitsappdev.api.llms.factory import LLMs # 设置模型参数,temperature为0.9 llm_config = LLMConfig(llm_param_config=LLMParamConfig(temperature=0.9)) # 初始化带参数的盘古LLM pangu_api = LLMs.of("pangu", llm_config) pangu_api.ask("写一篇五言律诗").answer
支持调整的参数解释:max_tokens: Optional[int] # 完成时要生成的令牌的最大数量 temperature: Optional[float] # 调整随机抽样的程度,温度值越高,随机性越大; 范围见模型API规范 top_p: Optional[float] # 核采样值, 和temperature不同时配置 presence_penalty: Optional[float] # 存在惩罚,增加模型谈论新主题的可能性,范围见具体模型API规范 frequency_penalty: Optional[float] # 频率惩罚,降低模型重复的可能性,提高文本的多样性、创新性(从参数盘古大模型暂不支持) stream: Optional[bool] # 是否开启流式调用
- 流式问答(只适用于ask接口):模型问答,开启流式效果,响应消息流式打印。
import sys from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.llms.llm_config import LLMConfig, LLMParamConfig # 设置模型参数,stream为true llm_config = LLMConfig(llm_param_config=LLMParamConfig(stream=True)) # 盘古LLM pangu_llm = LLMs.of("pangu", llm_config) tokens = pangu_llm.ask("写一篇200字的散文") actual_tokens = [] for token in tokens: sys.stdout.write(token) sys.stdout.flush() actual_tokens.append(token)
- 流式问答:支持skill和agent流式输出。
import sys from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.llms.llm_config import LLMConfig, LLMParamConfig from pangukitsappdev.callback.StreamCallbackHandler import StreamCallbackHandler from typing import Dict, Any, List from langchain_core.messages import BaseMessage from langchain_core.outputs import LLMResult # 继承StreamCallbackHandler方法,实现流式输出 class TextStreamCallBack(StreamCallbackHandler): def __init__(self): super().__init__() def on_chat_model_start( self, serialized: Dict[str, Any], messages: List[List[BaseMessage]], **kwargs: Any, ) -> Any: pass def on_llm_new_token( self, token: str, **kwargs: Any, ) -> Any: sys.stdout.write(token) sys.stdout.flush() def on_llm_end( self, response: LLMResult, **kwargs: Any, ) -> Any: pass # 设置模型参数,stream为true llm_config = LLMConfig(llm_param_config=LLMParamConfig(stream=True)) # 盘古LLM pangu_llm = LLMs.of("pangu", llm_config) pangu_llm.set_callback(TextStreamCallBack()) tokens = pangu_llm.ask("写一篇200字的散文") for token in tokens: pass
- 多轮对话问答:传递历史问答记录,实现多轮对话问答能力,同时支持自定义参数问答、流式问答。
from pangukitsappdev.api.llms.base import ConversationMessage, Role from pangukitsappdev.api.llms.factory import LLMs messages = [ConversationMessage(role=Role.SYSTEM, content="你是一个乐于助人的助手"), ConversationMessage(role=Role.USER, content="北京有什么好玩的地方"), ConversationMessage(role=Role.ASSISTANT, content="长城"), ConversationMessage(role=Role.USER, content="具体介绍一下")] pangu_llm = LLMs.of("pangu", llm_config) pangu_llm.ask(messages).answer
- 带人设的问答:支持在LLM配置项中设置人设,在LLM问答时系统会自动加上该人设,同时支持以上问答功能(暂不支持GALLERY三方模型)。
import sys from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.llms.llm_config import LLMConfig, LLMParamConfig llm_config = LLMConfig() llm_config.llm_module_config.system_prompt = "你是华为开发的AI助手" # 盘古LLM pangu_llm = LLMs.of("pangu", llm_config) answer = pangu_llm.ask("你是谁")
父主题: Python SDK