更新时间:2026-09-16 GMT+08:00
分享

开始使用

安全组规则修改(可选)

安全组实际是网络流量访问策略,包括网络流量入方向规则和出方向规则,通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。

如果您的实例关联的安全组策略无法满足使用需求,比如需要添加、修改、删除某个TCP端口,请参考以下内容进行修改。

  • 添加安全组规则:根据业务使用需求需要开放某个TCP端口,请参考添加安全组规则添加入方向规则,打开指定的TCP端口。
  • 修改安全组规则:安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则,来修改安全组中不合理的规则,保证云服务器等实例的网络安全。
  1. 根据“快速步骤”单机版:步骤6,高可用:步骤11相关提示进行登录,输入初始用户名admin与“快速部署”中设置的初始密码(master_key)。

    图1 登录LiteLLM管理Web UI

    若忘记密码,可前往服务器/opt/litellm路径下,查询config.yaml文件中配置的master_key。

  2. 单击左侧“Models+Endpoints”,进入到模型配置界面,存在一些系统自带的示例配置,可按需选择保存或者删除。

    图2 模型配置界面

与MaaS服务对接

  1. 登录MaaS平台,本文以部署西南-贵阳一的DeepSeek-v4-Flash为例。在左侧导航栏中,选择“在线推理”。

    图3 MaaS平台

  2. 在预置服务列表,选择所需的服务,单击右侧操作列的“开通服务”。当置灰时,表示该服务已开通。

    图4 开通服务

  3. 成功开通后,在服务列表,选择所需的服务,单击“调用说明”,在调用弹窗中接口类型选择“标准接口”获取API地址和模型名称。

    图5 调用说明

  4. 在调用MaaS部署的模型服务时,需要填写API Key用于接口的鉴权认证。在左侧导航栏,单击“API Key管理”(最多可创建30个密钥。每个密钥仅在创建时显示一次,请确保妥善保存。如果密钥丢失,无法找回,需要重新创建API Key以获取新的访问密钥)。

    图6 API Key管理

  5. 在“API Key管理”页面,单击右上角“创建API Key”,填写标签(自定义API Key的标签,标签具有唯一性,不可重复。仅支持大小写英文字母、数字、下划线、中划线,长度范围为1~100个字符)和描述(自定义API Key的描述)信息后,单击“确定”。标签和描述信息在创建完成后,不支持修改。

    图7 创建API Key

  6. 单击“Add Model”对以下参数进行配置。

    图8 添加模型
    表1 基础配置说明

    参数

    说明

    默认值

    参数

    描述

    示例

    provider

    模型提供商,如OpenAI、Bedrock等

    Custom OpenAI

    LiteLLM Model Name

    LiteLLM发送至API处的模型名称

    deepseek-v4-flash

    Model Mappings

    模型映射

    deepseek-v4-flash

    Mode

    接口模式

    Chat - /chat/completions

    API Base

    API地址的URL

    https://api.modelarts-maas.com/v2

    API Key

    API密钥

    步骤5获取的API Key

  7. 单击“Test Connect”,当出现下图内容,即可单击“Add Model”添加模型。

    图9 Test Connect测试成功

Virtual Key的拥有者可以是你自己、某个账号或某个具体用户。

  1. 单击“Virtual Key”,选择“Create New Key”。

    图10 创建虚拟密钥

  2. 根据下表,按需填入信息后点击确定,复制Virtual Key信息。

    表2 密钥相关信息

    模块

    参数名

    选项 / 示例

    含义说明

    Key Ownership(密钥所有权)

    Owned By

    You / Service Account / Another User

    密钥的归属主体,决定谁是密钥的所有者:

    You:当前登录用户,个人开发者场景常用

    Service Account:服务账号,用于 CI/CD、自动化脚本等

    Another User:其他已存在的 LiteLLM 用户,用于分配给团队成员

    Team

    Search or select a team

    关联的团队,用于多租户 / 团队场景。密钥会继承团队的预算、模型权限等配置,实现按团队维度的成本与权限管理

    Key Details(密钥详情)

    Key Name

    deepseek-v3.2

    密钥的自定义别名,仅用于管理侧识别,方便区分不同用途的密钥(如项目名、应用名),不影响 API 调用

    Models

    deepseek-v3.2

    该密钥允许访问的模型列表,可多选。限制密钥只能调用指定模型,防止越权使用未授权的模型资源

    Key Type

    LLM API

    密钥的类型,定义其可访问的 API 端点类别:

    LLM API:通用大语言模型接口(如 chat/completions、completions)

    - 其他可选值通常包含 embedding、image、audio 等专用 API 类型,用于精细化控制

  3. 单击“Playground”,在Virtual Key Source中选择Virtual Key,输入Virtual Key等相关信息。在对话框中输入“hello”测试是否能够正常回答您的信息。

    图11 测试验证

Virtual Key仅生成一次,请注意及时保存。

更多进阶使用教程,参考LiteLLM官网LiteLLM代码仓库

相关文档