文本向量化

应用场景

支持模型

文本向量化支持的模型请见向量化及重排序。

前提条件

• 已在“模型推理 > 在线推理 > 预置服务”页签开通预置服务。详情请见开通MaaS预置服务。
• （可选）如果需要控制服务调用流量，可提前创建自定义接入点，详情请参见MaaS创建自定义接入点。

• 已获取API Key。详情请见在MaaS管理API Key。
• 已获取模型服务的model参数值。详情请见向量化及重排序。
• 如果使用OpenAI SDK方式进行调用，请下载安装SDK（Python SDK：pip install openai）。

快速开始

以下为通过调用BGE-M3模型，将输入的文本字符串转换为向量表示的示例代码。可通过model参数替换模型，model参数详情请参见向量化及重排序。

API说明

模型调用的完整参数列表请见创建文本向量化。

应用场景示例

• 文本文件逐行转换

  向量化模型可以基于您的文档生成嵌入向量。此处以embedding_test.txt作为示例文件，您可以通过代码对文本文件逐行转化成向量。

  embedding_test.txt内容如下：

  这是一只小猫
  这是一只小狗

  示例代码如下：

  #Python
  import json
  import requests
  
  if __name__ == '__main__':
      url = "https://api.modelarts-maas.com/v1/embeddings"  # API地址
      api_key = "MAAS_API_KEY"  # 把MAAS_API_KEY替换成已获取的API Key
  
      # Send request.
      headers = {
          'Content-Type': 'application/json',
          'Authorization': f'Bearer {api_key}'
      }
  
      file_path = "./embedding_test.txt"
      # 从文件读取文本并生成向量
      with open(file_path, "r", encoding="utf-8") as f:
          # 按行分割文本（每行作为一个独立输入）
          texts = [line.strip() for line in f if line.strip()]
      data = {
          "model": "bge-m3",  # 模型名称
          "input": texts,
          "encoding_format": "float"  # 取值范围："float","base64"
      }
      response = requests.post(url, headers=headers, data=json.dumps(data), verify=False)
  
      # Print result.
      print(response.status_code)
      print(response.text)

• 语义搜索与匹配

  用向量相似度（如余弦相似度）实现智能搜索、问答系统。

  #Python
  import numpy as np
  import httpx
  from typing import List
  from openai import OpenAI
  from openai.types import Embedding
  
  base_url = "https://api.modelarts-maas.com/v1"  # API地址
  api_key = "MAAS_API_KEY"  # 把MAAS_API_KEY替换成已获取的API Key
  
  
  def embedding(texts) -> List[Embedding]:
      """文本转换为数值向量"""
      client = OpenAI(api_key=api_key, base_url=base_url, http_client=httpx.Client(verify=False))
  
      response = client.embeddings.create(
          model="bge-m3",  # model参数
          input=texts,  # input类型可为string or string[]
          encoding_format="float"  # 取值范围："float","base64"
      )
  
      return response.data
  
  
  def cosine_similarity(a, b):
      """计算余弦相似度"""
      return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
  
  
  def semantic_search(query, documents, top_k=5):
      """语义搜索"""
      # 生成查询向量
      query_resp = embedding(query)
      query_embedding = query_resp[0].embedding
  
      # 生成文档向量
      doc_resp = embedding(documents)
  
      # 计算相似度
      similarities = []
      for i, doc_emb in enumerate(doc_resp):
          similarity = cosine_similarity(query_embedding, doc_emb.embedding)
          similarities.append((i, similarity))
  
      # 排序并返回top_k结果
      similarities.sort(key=lambda x: x[1], reverse=True)
      return [(documents[i], sim) for i, sim in similarities[:top_k]]
  
  
  # 使用示例
  documents_exp = [
      "深度学习是机器学习的一个分支，它使用多层神经网络进行特征学习",
      "Python是一种流行的编程语言，广泛用于数据科学和人工智能",
      "Transformer模型在自然语言处理领域取得了革命性进展",
      "苹果公司发布了新款iPhone手机，搭载了强大的A系列芯片",
      "气候变化导致全球气温上升，海平面逐年升高"
  ]
  query_exp = "机器学习技术"
  results = semantic_search(query_exp, documents_exp, top_k=2)
  for doc, sim_result in results:
      print(f"相似度: {sim_result:.3f}, 文档: {doc}")