智能体运行时介绍
智能体运行时是一个安全隔离、框架无关的托管执行环境,专为生产级智能体设计,提供企业级的弹性伸缩与权限治理能力,帮助开发者专注于业务逻辑,无需关心底层基础设施的运维。
功能优势
- 安全隔离运行环境
- 安全沙箱:基于安全沙箱技术实现mircoVm隔离,提供企业级运行时可靠性及安全保障。
- 框架无关性:支持基于Agent框架(LangChain、LangGraph、Google ADK等)开发的智能体部署。
- 托管执行环境:安全隔离、与框架和模型无关的托管运行环境,确保智能体在独立、受控条件下运行。
- 企业级弹性与伸缩
- 自动弹性伸缩:支持基于业务流量的自动扩缩容能力。
- 高并发承载:从容应对流量洪峰,保障服务稳定性。
- 大规模支持:单用户可创建 1000 个智能体运行时,单运行时支持 1000 个版本。
- 精细化权限治理
- 多维度身份认证:提供 IAM、OAuth 2.0、API Key 三种认证方式。
- 安全委托机制:支持 IAM 委托,使智能体能安全地代表用户与外部系统交互。
- 灵活网络配置:支持公网/私网访问,保障网络环境安全。
- 灵活部署方式:
- 支持控制台可视化部署和 SDK 命令行部署。
- 版本化管理,支持多版本管理和历史版本回溯。
- 平滑镜像更新,更新过程有序可控。
- 完善的可观测性
- 日志监控:集成华为云云日志服务(LTS),实时查看运行时日志。
- 健康检查:支持自定义健康检查端点,提供 HEALTHY、HEALTHY_BUSY、UNHEALTHY 三种状态。
- 灵活访问控制
- 多访问方式:每个运行时最多创建 10 个访问方式,支持绑定不同版本。
- 文件传输:支持开启文件上传下载 API 接口。
- 入栈协议:支持 HTTP 和 MCP 两种入栈协议。
- 丰富的运行时配置
- 环境变量:支持表单编辑和 JSON 格式两种方式配置环境变量。
- 启动命令:支持自定义启动命令,最多配置 10 个命令。
- 存储扩展:支持 SFS Turbo 弹性文件系统扩展存储,最多挂载 5 个存储卷。
- 标签管理:支持资源标签分类管理,最多添加 20 个标签。
- 完整的 API 生态
- RESTful API:提供标准 RESTful API 支持业务系统集成。
- 完整 SDK:提供 Runtime、Tools、Memory、Identity、MCP Gateway 等多维度 SDK。
- CLI 工具:命令行工具支持部署、调用、状态查询、资源销毁等全生命周期管理。
- OpenAPI 支持:提供完整的 OpenAPI 接口文档,支持二次开发。
镜像制作约束与限制
为了让您的自定义高码智能体(如基于 LangChain 开发的代码)能够在 AgentArts 运行时中被正确调度和访问,您制作的 Docker 镜像必须满足以下规范:
- 请使用ARM64系统制作的Agent镜像,使用X86系统制作的镜像在调用智能体运行时时会调用失败。
- 兼容 AgentRun 入栈协议
AgentArts 平台通过标准的 AgentRun 协议与应用程序进行通信。要求如下:
监听指定端口:默认监听 8080 端口。
实现标准接口:- HTTP 协议:需提供 POST /invocations 端点,以适配传统请求响应模式。
- WebSocket 协议(可选):需提供 /ws 端点,以实现实时双向流式通信。
推荐使用AgentArts SDK。SDK内置了协议转换能力,您只需关注核心业务逻辑,无需手动编写路由和协议接口。
该SDK提供AgentArtsRuntimeApp方法,用于将您的智能体逻辑封装为标准HTTP服务器,并暴露以下接口:
- POST /invocations - 用于智能体调用端点
- WS /ws - 用于流式传输的WebSocket端点
- 无状态与本地磁盘约束
智能体部署在分布式弹性伸缩集群,在沙箱空闲触发弹性伸缩时,本地磁盘数据全部丢失。
- 禁止依赖本地文件系统:安全沙箱随时可能被销毁或水平扩容,写入本地磁盘(如 SQLite、本地日志文件、本地缓存)的数据会丢失。
- 状态持久化方案:请使用 AgentArts 提供的记忆库(Memory)组件进行上下文持久化,或使用华为云 SFS Turbo 弹性文件系统存储实体文件。
使用流程
- 构建智能体镜像并上传至SWR
支持基于主流的Agent框架开发的智能体部署,在部署前您需要将智能体打包为镜像,打包为镜像后在容器镜像服务中通过客户端或页面上传镜像,详细操作请参见页面上传镜像、客户端上传。
- 部署智能体运行时
指定已上传至 SWR 的镜像,并配置网络、安全访问、环境变量等参数信息,即可将智能体托管至运行时。具体请参考通过控制台部署智能体运行时。
- 调用智能体运行时
AgentArts提供Open API请求方式,通过调用路径发送请求,程序将调用应用并返回预期结果。具体请参考调用智能体运行时。
- 观测智能体运行时
部署智能体运行时开启日志记录后,支持日志监控,以实时洞悉您的智能体性能、准确性和可靠性,详细操作请参见查看智能体运行时日志。