开始使用
安全组规则修改(可选)
安全组实际是网络流量访问策略,包括网络流量入方向规则和出方向规则,通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。
如果您的实例关联的安全组策略无法满足使用需求,比如需要添加、修改、删除某个TCP端口,请参考以下内容进行修改。
- 添加安全组规则:根据业务使用需求需要开放某个TCP端口,请参考添加安全组规则添加入方向规则,打开指定的TCP端口。
- 修改安全组规则:安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则,来修改安全组中不合理的规则,保证云服务器等实例的网络安全。
使用后台Web UI进行模型添加
- 根据“快速步骤”步骤五的相关提示进行登录,输入初始用户名admin与“快速部署”中设置的初始密码(master_key)。 图1 登录LiteLLM管理Web UI
若忘记密码可前往服务器查询config.yaml文件中配置的master_key。
- 单击左侧“Models+Endpoints”,进入到模型配置界面,存在一些系统自带的示例配置,可按需选择保存或者删除。 图2 模型配置界面
- 单击“Add Model”对以下参数进行配置。 图3 添加模型
表1 基础配置说明 参数
说明
默认值
参数
描述
示例
provider
模型提供商,如OpenAI、Bedrock等。
Custom OpenAI
LiteLLM Model Name
LiteLLM发送至API处的模型名称
deepseekv3.2
Model Mappings
模型映射
deepseekv3.2
Mode
接口模式
Chat - /chat/completions
API Base
API地址的URL
https://api.modelarts-maas.com/v2
API Key
API密钥
- 单击“Test Connect”,当出现下图内容,即可单击“Add Model”添加模型。 图4 Test Connect测试成功
创建Virtual Key进行模型管理和验证
Virtual Key的拥有者可以是你自己、某个账号或某个具体用户。
- 单击“Virtual Key”,选择“Create New Key”。 图5 创建虚拟密钥
- 根据下表,按需填入信息后点击确定,复制Virtual Key信息。
表2 密钥相关信息 模块
参数名
选项 / 示例
含义说明
Key Ownership(密钥所有权)
Owned By
You / Service Account / Another User
密钥的归属主体,决定谁是密钥的所有者:
You:当前登录用户,个人开发者场景常用
Service Account:服务账号,用于 CI/CD、自动化脚本等
Another User:其他已存在的 LiteLLM 用户,用于分配给团队成员
Team
Search or select a team
关联的团队,用于多租户 / 团队场景。密钥会继承团队的预算、模型权限等配置,实现按团队维度的成本与权限管理
Key Details(密钥详情)
Key Name
deepseek-v3.2
密钥的自定义别名,仅用于管理侧识别,方便区分不同用途的密钥(如项目名、应用名),不影响 API 调用
Models
deepseek-v3.2
该密钥允许访问的模型列表,可多选。限制密钥只能调用指定模型,防止越权使用未授权的模型资源
Key Type
LLM API
密钥的类型,定义其可访问的 API 端点类别:
LLM API:通用大语言模型接口(如 chat/completions、completions)
- 其他可选值通常包含 embedding、image、audio 等专用 API 类型,用于精细化控制
- 单击“Playground”,在Virtual Key Source中选择Virtual Key,输入Virtual Key等相关信息。在对话框中输入“hello”测试是否能够正常回答您的信息。 图6 测试验证
Virtual Key仅生成一次,请注意及时保存。
更多进阶使用教程,参考LiteLLM官方仓库。