大模型推理场景介绍

常见的大模型包括大语言模型、多模态大模型、文生图大模型等，其中大语言模型支持文本生成，可以根据用户输入的提示词（prompt）进行推理，可广泛应用于以下领域：

• 问答系统：大语言模型可以处理自然语言，理解用户的意图，回答用户提出的问题。
• 内容生产：大语言模型可以基于给定的文本或主题生成连贯的文章、故事、对话等。
• 文本摘要：大语言模型可以对长文本进行摘要，提取关键信息，方便用户快速了解文本内容。
• 机器翻译：大语言模型可以处理多种语言之间的翻译任务，实现跨语言交流。

当前Fabric提供以下两种方式进行推理：

• 用公共推理服务进行推理：Fabric提供基于开源大语言模型（Qwen2、GLM4等）的公共推理服务，用户可以在推理端点查看公共端点，选择自己想用的端点进行开通，然后就可以在试验场使用公共推理服务。该方式无需部署，开通后即可使用常见的开源大模型进行推理。
• 创建我的推理服务进行推理：Fabric支持用户创建自己专属的推理服务进行部署，用户可以上传自己的大语言模型，也可以使用公共的大语言模型进行部署。在Fabric模型页面创建的模型是仅自己可见，其他用户不可见。用户可以查看和删除模型，也可以对模型版本进行管理，包括新增、查看和删除模型版本。