创建向量索引

登录Kibana

登录Kibana进入命令执行页面。Elasticsearch集群支持多种客户端访问，本文仅以CSS服务集成的Kibana为例介绍配置指导。

1. 登录云搜索服务管理控制台。
2. 在左侧导航栏，选择“集群管理 > Elasticsearch”。
3. 在集群列表，选择目标集群，单击操作列的“Kibana”，登录Kibana。
4. 在Kibana左侧导航栏选择“Dev Tools”，进入操作页面。

创建向量索引

在Kibana中执行以下命令，创建向量索引。

例如，创建一个名为“my_index”的索引，该索引包含一个名为“my_vector”的向量字段和一个名为“my_label”的文本字段，其中，向量字段创建了GRAPH图索引，并使用欧式距离作为相似度度量。

PUT my_index 
{
  "settings": {
    "index": {
      "vector": true,
      "number_of_shards": 1,
      "number_of_replicas": 1
    }
  },
  "mappings": {
    "properties": {
      "my_vector": {
        "type": "vector",
        "dimension": 2,
        "indexing": true,
        "algorithm": "GRAPH",
        "metric": "euclidean"
      },
      "my_label": {
        "type": "keyword"
      }
    }
  }
}

（可选）预构建与注册中心点向量

当向量索引的索引算法选择“IVF_GRAPH”或“IVF_GRAPH_PQ”时，需要先对中心点向量进行预构建和注册。

在向量索引加速算法中，“IVF_GRAPH”和“IVF_GRAPH_PQ”适用于超大规模场景。这两种算法需要通过对子空间的切割缩小查询范围，子空间的划分通常采用聚类或者随机采样的方式。在预构建之前，需要通过聚类或者随机采样得到所有的中心点向量。通过预构建和注册将中心点向量预构建成GRAPH或者GRAPH_PQ索引，同时注册到CSS集群内，实现在多个节点间共享此索引文件。中心点索引在Shard间复用能够有效减少训练的开销、中心点索引的查询次数，进而提升写入和查询性能。

1. 创建中心点索引表。

   例如，在Kibana中执行以下命令，创建中心点索引表“my_dict”。

   PUT my_dict 
    { 
      "settings": { 
        "index": { 
          "vector": true 
        }, 
        "number_of_shards": 1, 
        "number_of_replicas": 0 
      }, 
      "mappings": { 
        "properties": { 
          "my_vector": { 
            "type": "vector", 
            "dimension": 2, 
            "indexing": true, 
            "algorithm": "GRAPH", 
            "metric": "euclidean" 
          } 
        } 
      } 
    }

   参数说明请参见创建向量索引，需要关注以下必配参数：

   • index.number_of_shards：索引分片数必须配置为“1”，否则无法注册中心点索引。
   • indexing：必须配置为“true”，开启向量索引加速。
   • algorithm：必须对应于特定的索引类型。当使用IVF_GRAPH索引时配置为“GRAPH”，当需要使用IVF_GRAPH_PQ索引时配置为“GRAPH_PQ”。
2. 写入中心点向量数据。将采样或者聚类得到的中心点向量写入新建的中心点索引表“my_dict”中。
3. 调用注册接口。

   在Kibana中执行以下命令，将中心点索引表注册具有全局唯一标识名称（dict_name）的Dict对象。

   PUT _vector/register/my_dict 
    { 
      "dict_name": "my_dict" 
    }

4. 创建IVF_GRAPH或IVF_GRAPH_PQ算法类型的向量索引。

   在创建向量索引时，不再需要指定dimension以及metric信息，但需要指定注册好的Dict对象。如表5所示，提供了指定Dict对象的关键参数说明，其他创建索引的参数说明请参见创建向量索引。

   例如执行如下命令创建IVF_GRAPH类型的向量索引。

   PUT my_index 
    { 
      "settings": { 
        "index": { 
          "vector": true,
          "sort.field": "my_vector.centroid" # 将向量字段的centroid子字段设置为排序字段
        } 
      }, 
      "mappings": { 
        "properties": { 
          "my_vector": { 
            "type": "vector", 
            "indexing": true, 
            "algorithm": "IVF_GRAPH", 
            "dict_name": "my_dict", 
            "offload_ivf": true 
          } 
        } 
      } 
    }

   表5 Field Mappings参数说明

   参数	是否必选	参数类型	描述
   dict_name	是	String	指定依赖的中心点索引名称，例如“my_dict”。该索引字段的向量维度和度量方式将与dict索引保持一致，不再需要额外指定。
   offload_ivf	是	Boolean	是否将IVF倒排索引卸载到ES端实现。 取值范围：true、false。 true（推荐值）：卸载，将底层索引实现的IVF倒排索引卸载到ES端实现，可以减少堆外内存的使用，以及减少写入/合并的性能开销。 false（默认值）：不卸载。