更新时间:2026-10-21 GMT+08:00
分享

CREATE LLM

功能描述

创建大模型服务。

注意事项

  1. 功能依赖于LLM/embedding/rerank模型服务正常运行。
  2. create llm命令需要拥有sysadmin的用户权限。
  3. QUERY MODEL中调用的大语言模型需通过兼容OpenAI开放API中 v1/chat/completion API格式提供服务。
  4. EMBED MODEL中调用的embedding模型需通过兼容OpenAI开放API中 v1/embedding API格式提供服务。
  5. RERANK MODEL中调用的重排序模型需通过兼容Jina AI开放API中 /rerank API格式提供服务。
  6. 创建服务时会对API KEY进行加密操作,原理是复用OBS传输使用的密钥文件,如果该文件不存在则需要参考如下命令生成:
    gs_guc generate -S xxxxx -D $GAUSSHOME/bin -o obsserver
  7. 服务仅支持HTTPS协议,需要用户配置系统可信的CA证书对服务端进行校验。
  8. 当前版本不支持M兼容模式。

语法格式

CREATE LLM QUERY MODEL gs_model_name
USING
    MODEL = 'remote_model_name',
    URL = 'https://example.com:443/path/to/api',
    API_KEY = 'api_key'
    [, SYSTEM_PROMPT = 'prompt_string' ]
    [, EXTRA_PARAMS = '{JSON}' ];

CREATE LLM EMBED MODEL gs_model_name
USING
    MODEL = 'remote_model_name',
    URL = 'https://example.com:443/path/to/api',
    API_KEY = 'api_key'
    [, EXTRA_PARAMS = '{JSON}' ];

CREATE LLM RERANK MODEL gs_model_name
USING
    MODEL = 'remote_model_name',
    URL = 'https://example.com:443/path/to/api',
    API_KEY = 'api_key'
    [, EXTRA_PARAMS = '{JSON}' ];

参数说明

  • gs_model_name

    必选,模型服务在GaussDB中的名称。该名称作为标识符,在以后的语义函数中作为参数输入,不超过63字节。输入大小写不敏感,在系统中自动转写至小写字母存储,只支持数字、字母和下划线“_”符号,且不能以数字开头,如果超过长度则会自动截断。

  • model

    必选,在外部模型服务中需要指定的模型名称,长度不超过64字节。在支持OpenAI标准的API的模型服务中,需要在请求体中指定模型名。

  • url

    必选,模型服务的地址,不超过256字节。

  • api_key

    必选,认证所需的API KEY,长度16到256字节。模型服务往往需要通过API KEY进行认证,通过认证才可以返回结果。在模型注册时指定API KEY,之后每次模型调用直接复用。

  • system_prompt

    可选,OpenAI v1/chat/completions API中输入的参数。对应给模型服务输入的系统提示词,代表给大模型提前输入的系统指令。如果system_prompt长度超过大模型最大tokens范围则模型侧会拒绝服务并返回异常信息。

  • extra_params

    可选,其他需要透传到模型服务的参数。OpenAI的API规范中,可以在请求体内添加支持的参数。详细的支持参数请参照待添加的模型服务对应的API文档,各模型服务可能存在差异,通过JSON字典的字符串格式输入,在数据库侧会校验json格式的合法性,除了创建大语言模型时会校验temperature和max_tokens的范围之外,其余参数会被直接透传到模型服务上, 如果属于大模型参数范围则会生效,否则会忽略该参数,不合法参数会返回模型侧异常信息。

示例

创建标准的过程语言的推荐方法:

CREATE LLM RERANK MODEL mod_r using model = 'BAAI/bge-reranker-v2-m3', url = 'https://ip:port/v1/rerank', api_key='api_key'; --创建rerank模型
CREATE LLM QUERY MODEL mod_q USING model = 'Qwen/Qwen2.5-7B-Instruct', url ='https://ip:port/v1/chat/completions', api_key='api_key', extra_params='{"max_tokens": 5, "temperature": 0.1}'; --创建大语言模型
CREATE LLM EMBED MODEL mod_e USING MODEL = 'Qwen/gte-Qwen2-1.5B-instruct', url ='https://ip:port/v1/embeddings', api_key='api_key'; --创建embedding模型

相关文档