更新时间:2024-07-30 GMT+08:00
分享

基本概念

  • 大模型推理服务

    直接调用预置大模型提供API完成推理过程。

  • 私有模型部署

    针对已经微调训练好的模型,如需评测此模型效果,或通过应用调用此模型,则需将模型部署为线上服务。

  • 向量知识库

    通过引入多种类型和格式的企业知识,将数据转化为向量,并利用高效的存储和索引方式进行查询,实现基于检索增强的大模型能力。

  • 工作流

    任务流程的细化分解是一种有效策略,能够简化系统架构,并降低对大语言模型能力的过度依赖。通过将繁复的工作拆解为一系列独立节点,不仅增强了复杂任务处理的效率,还在很大程度上提升了整个系统的透明度、鲁棒性和错误容忍度。这种方法使得LLM的应用范围得以扩大,即便面对高度复杂的任务也能表现出色。

相关文档