# CREATE LLM
#### 功能描述
创建大模型服务。
#### 注意事项
1. 功能依赖于LLM/embedding/rerank模型服务正常运行。
2. create llm命令需要拥有sysadmin的用户权限。
3. QUERY MODEL中调用的大语言模型需通过兼容OpenAI开放API中 v1/chat/completion API格式提供服务。
4. EMBED MODEL中调用的embedding模型需通过兼容OpenAI开放API中 v1/embedding API格式提供服务。
5. RERANK MODEL中调用的重排序模型需通过兼容Jina AI开放API中 /rerank API格式提供服务。
6. 创建服务时会对API KEY进行加密操作，原理是复用OBS传输使用的密钥文件，如果该文件不存在则需要参考如下命令生成：
   ```
   gs_guc generate -S xxxxx -D $GAUSSHOME/bin -o obsserver
   ```
   
7. 服务仅支持HTTPS协议，需要用户配置系统可信的CA证书对服务端进行校验。
8. 当前版本不支持M兼容模式。
 
#### 语法格式
```
CREATE LLM QUERY MODEL gs_model_name
USING
    MODEL = 'remote_model_name',
    URL = 'https://example.com:443/path/to/api',
    API_KEY = 'api_key'
    [, SYSTEM_PROMPT = 'prompt_string' ]
    [, EXTRA_PARAMS = '{JSON}' ];
CREATE LLM EMBED MODEL gs_model_name
USING
    MODEL = 'remote_model_name',
    URL = 'https://example.com:443/path/to/api',
    API_KEY = 'api_key'
    [, EXTRA_PARAMS = '{JSON}' ];
CREATE LLM RERANK MODEL gs_model_name
USING
    MODEL = 'remote_model_name',
    URL = 'https://example.com:443/path/to/api',
    API_KEY = 'api_key'
    [, EXTRA_PARAMS = '{JSON}' ];
```
#### 参数说明
- **gs_model_name**
  必选，模型服务在GaussDB中的名称。该名称作为标识符，在以后的语义函数中作为参数输入，不超过63字节。输入大小写不敏感，在系统中自动转写至小写字母存储，只支持数字、字母和下划线"_"符号，且不能以数字开头，如果超过长度则会自动截断。
  
- **model**
  必选，在外部模型服务中需要指定的模型名称，长度不超过64字节。在支持OpenAI标准的API的模型服务中，需要在请求体中指定模型名。
  
- **url**
  必选，模型服务的地址，不超过256字节。
  
- **api_key**
  必选，认证所需的API KEY，长度16到256字节。模型服务往往需要通过API KEY进行认证，通过认证才可以返回结果。在模型注册时指定API KEY，之后每次模型调用直接复用。
  
- **system_prompt**
  可选，OpenAI v1/chat/completions API中输入的参数。对应给模型服务输入的系统提示词，代表给大模型提前输入的系统指令。如果system_prompt长度超过大模型最大tokens范围则模型侧会拒绝服务并返回异常信息。
  
- **extra_params**
  可选，其他需要透传到模型服务的参数。OpenAI的API规范中，可以在请求体内添加支持的参数。详细的支持参数请参照待添加的模型服务对应的API文档，各模型服务可能存在差异，通过JSON字典的字符串格式输入，在数据库侧会校验json格式的合法性，除了创建大语言模型时会校验temperature和max_tokens的范围之外，其余参数会被直接透传到模型服务上, 如果属于大模型参数范围则会生效，否则会忽略该参数，不合法参数会返回模型侧异常信息。
  
 
#### 示例
创建标准的过程语言的推荐方法：
```
CREATE LLM RERANK MODEL mod_r using model = 'BAAI/bge-reranker-v2-m3', url = 'https://ip:port/v1/rerank', api_key='api_key'; --创建rerank模型
CREATE LLM QUERY MODEL mod_q USING model = 'Qwen/Qwen2.5-7B-Instruct', url ='https://ip:port/v1/chat/completions', api_key='api_key', extra_params='{"max_tokens": 5, "temperature": 0.1}'; --创建大语言模型
CREATE LLM EMBED MODEL mod_e USING MODEL = 'Qwen/gte-Qwen2-1.5B-instruct', url ='https://ip:port/v1/embeddings', api_key='api_key'; --创建embedding模型
```
