创建集群
- 方式一:通过云搜索服务管理控制台创建OpenSearch集群,详细操作请参考本章节内容。
- 方式二:通过云搜索服务提供的API接口创建OpenSearch集群,详细操作请参见《云搜索服务CSS API参考》中的“创建集群”章节。
场景描述
当创建的集群类型不同时,需要关注如表1所示的关键参数的配置。
前提条件
已经参考集群规划完成待创建的OpenSearch集群规划。
创建集群
- 登录云搜索服务管理控制台。
- 在总览页面单击右上角的“创建集群”,进入“创建集群”页面。
或者左侧导航栏单击“集群管理 > OpenSearch”,单击右上角的“创建集群”,进入“创建集群”页面。
- 在“基础配置”页面,完成OpenSearch集群的基本信息和资源配置。
表2 OpenSearch集群的基础配置 参数
说明
当前区域
选择集群的所在区域。
不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。
可用区
选择集群工作区域下关联的可用区。
最多支持配置3个“可用区”,多可用区的使用建议请参见多可用区部署建议。
集群类型
选择“OpenSearch”。
集群版本
选择所需的集群版本,支持的版本以界面可选项为准。
集群名称
自定义集群名称。
集群名称在4位到32位之间,必须以字母开头,可以包含字母、数字、中划线或者下划线,不能包含其他的特殊字符。
集群描述
为集群添加描述,方便用户识别。
支持0~128位。
节点数量
集群中的数据节点个数。数据节点用于存储集群数据,当集群未启用Client节点时,数据节点将额外提供接入集群和分析数据的功能;当集群未启用Master节点时,数据节点将额外提供集群管理功能。
- 当集群配置了Master节点,则数据节点的节点数量支持1~200。
- 当集群未配置Master节点,则数据节点的节点数量支持1~32。
配置规则:
- 为保障服务高可用性并避免单节点负载过高,单可用区部署时建议数据节点数量≥3;双可用区部署时要求数据节点数量≥4(即每个可用区至少2个节点);三可用区部署时要求数据节点数量≥3(即每个可用区至少1个节点)。
- 建议配置数据节点数量为可用区数量的整数倍(如,3个可用区共配置6个数据节点),避免出现数据分布不均,影响集群的查询或写入性能。
CPU架构
支持“X86计算”。具体支持的类型由实际区域环境决定。
节点规格
集群中数据节点的规格。您可以根据需求,选择对应的规格。每个集群只能选择一个规格。
节点存储
当“节点规格”选择的是云硬盘时,需要选择集群数据节点的云硬盘类型。节点存储支持普通I/O、高I/O、超高I/O。
节点存储容量
设置数据节点的存储空间大小,其取值范围与“节点规格”关联,不同的规格允许的取值范围不同。
节点存储容量只支持配置为20的倍数。
启用Master节点
Master节点负责关键的集群管理任务,如元数据管理、索引创建与删除、分片分配等。在大规模集群的元数据管理、节点管理、稳定性保障和集群操作控制中发挥着至关重要的作用。
启用Master节点后,在下方选择对应的“节点规格”、“节点数量”和“节点存储”。“节点数量”必须是不小于3的奇数,最多设置9个节点。“节点存储”的存储容量为固定值,存储类型可以根据实际情况选择。
启用Client节点
Client节点负责接收并协调外部请求,如search和write请求,在处理高负载查询、复杂聚合、大量分片管理以及优化集群扩展性方面发挥着重要作用。
启用Client节点后,在下方选择对应的“节点规格”、“节点数量”和“节点存储”。“节点数量”可设置为1~64任意数值。“节点存储”的存储容量为固定值,存储类型可以根据实际情况选择。
多可用区部署时,为保障服务高可用性并避免单节点负载过高,要求Client节点数量≥可用区数量(双可用区的Client节点数量≥2,三可用区的Client节点数量≥3)。
启用冷数据节点
冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。
启用冷数据节点后,在下方选择对应的“节点规格”、“节点数量”和“节点存储”。“节点数量”可设置为1~32任意数值。“节点存储”的存储类型和存储容量可以根据实际情况选择。
- 为保障服务高可用性并避免单节点负载过高,双可用区部署时要求冷数据节点数量≥4(即每个可用区至少2个节点);三可用区部署时要求冷数据节点数量≥3(即每个可用区至少1个节点)。
- 建议配置冷数据节点数量为可用区数量的整数倍(如,3个可用区共配置6个冷数据节点),避免出现数据分布不均,影响集群的查询或写入性能。
开启冷数据节点之后,支持切换集群的冷热数据,详情请参见配置冷热数据切换。
企业项目
如果开通了“企业项目”,在创建集群时可以给集群绑定一个企业项目。
在下拉框中选择企业项目,单击“查看项目管理”跳转到“企业项目管理”管理控制台,查看已有的企业项目。
- 单击“下一步:网络配置”。
- 在“网络配置”页面,完成OpenSearch集群的网络和安全模式配置。
表3 OpenSearch集群的网络配置 参数
说明
虚拟私有云
指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。
单击“查看虚拟私有云”跳转到虚拟私有云列表,查看已创建的VPC名称和ID。
如果没有合适的VPC,建议联系CSS服务管理员新建VPC,具体请参见《虚拟私有云用户指南》中的“创建虚拟私有云和子网”章节。
说明:此处选择的VPC必须包含网段(CIDR),否则集群将无法创建成功。新建的VPC默认包含网段(CIDR)。
子网
集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。
选择当前虚拟私有云下集群需要的子网。
如果没有合适的子网,可以单击“创建子网”,新建子网。具体操作请参见《虚拟私有云用户指南》中的“创建虚拟私有云和子网”章节。
安全组
安全组起着虚拟防火墙的作用,为集群提供安全的网络访问控制策略。
选择集群需要的安全组,单击“查看安全组”跳转到安全组列表,可以了解安全组详情。
说明:请确保安全组的“端口范围/ICMP类型”包含端口9200的端口范围。
安全模式
选择是否开启集群安全模式。
- 默认开启,则创建的是安全模式的集群。安全模式的集群会对集群进行通讯加密和安全认证。因此必须配置集群的“管理员账户名”和“管理员密码”。
- 管理员账户名默认为admin。
- 设置并确认管理员密码。要记住设置的密码,后续访问集群需要输入密码。
- 不开启,则创建的是非安全模式的集群。非安全模式的集群无需安全认证即可访问,并且采用HTTP明文传输数据。建议确认访问环境的安全性,勿将访问接口暴露在公网环境中。
HTTPS访问
只有开启集群的安全模式才可以启用HTTPS访问,开启HTTPS访问后,访问集群将进行通讯加密。
OpenSearch安全集群只有1.3.6、2.19.0和3.4.0版本支持关闭HTTPS访问,其他版本均强制启用HTTPS访问,不可关闭。
说明:安全集群使用HTTPS通信,相比非安全集群使用HTTP通信在读取性能上会降低,预期相对HTTP集群在大并发压力下有20%的性能劣化。如果想要读取性能快,又想要使用安全集群所提供的用户权限隔离资源(索引、文档、字段等)的功能,则可以关闭HTTPS访问。关闭HTTPS访问后,会使用HTTP协议与集群通信,无法保证数据安全性,并且无法开启公网访问功能。
公网访问
仅当集群开启了“安全模式”和“HTTPS访问”时,才可以选择是否配置“公网访问”。配置公网访问后,用户可以获得一个公网访问的IP地址,通过这个IP地址可以在公网访问该安全集群,详细配置请参考配置公网访问。
- 默认开启,则创建的是安全模式的集群。安全模式的集群会对集群进行通讯加密和安全认证。因此必须配置集群的“管理员账户名”和“管理员密码”。
- 单击“下一步:高级配置”。
- 在“高级配置”页面,完成OpenSearch集群的快照和其他高级配置。
- 设置集群快照。
系统默认关闭集群快照,如需使用可以开启“集群快照开关”。自动快照会创建委托访问对象存储服务OBS,快照存储在标准存储的OBS桶中会产生额外费用。
表4 集群快照基础配置 参数
说明
OBS桶
在下拉框中选择存储快照的OBS桶。也可以单击右侧的“创建桶”新建OBS。
创建或者已存在的OBS桶需满足如下条件:
- “存储类别”为“标准存储”。
- “区域”须与创建的集群所在区域相同。
备份路径
快照在OBS桶中的存放路径。
备份路径配置规则:- 备份路径不能存在符号“\:*?"<>|'{}”。
- 备份路径不能以“/”开头。
- 备份路径不能以“.”开头或结尾。
- 备份路径不能包含两个以上连续的斜杆(/)或点(.)。
- 备份路径的总长度不能超过512字符。
注意:快照文件仅支持OBS标准存储类型,备份路径请勿添加OBS生命周期规则。
最大备份速率(每秒)
配置每个节点的最大备份速率,当集群快照的备份速率超过设定值时将触发限流机制,防止速率太大导致资源占用过高,影响集群稳定性。
取值格式:数字(0~9999)+单位(KB、MB、GB、TB、PB、B)
默认取值:40MB
当填写0MB时,表示不限速。当备份速率过大时,可能导致集群资源占用过高,稳定性下降,建议谨慎配置。
实际备份速率可能因OBS性能、磁盘IO等限制而无法达到设定值。
最大恢复速率(每秒)
配置每个节点的最大恢复速率,当集群快照的恢复速率超过设定值时将触发限流机制,防止速率太大导致资源占用过高,影响集群稳定性。
取值格式:数字(0~9999)+单位(KB、MB、GB、TB、PB、B)
默认取值:0MB,表示不限速。
当恢复速率过大时,可能导致集群资源占用过高,稳定性下降,建议谨慎配置。
实际限流值还受“indices.recovery.max_bytes_per_sec”参数影响,取两者中的较小值。且实际恢复速率可能因OBS性能、磁盘IO等限制而无法达到设定值。
说明:- 当需要查看“indices.recovery.max_bytes_per_sec”参数值时,可以执行以下命令:
GET _cluster/settings
- 当需要修改“indices.recovery.max_bytes_per_sec”参数时,可以参考以下命令:
PUT _cluster/settings { "transient": { "indices.recovery.max_bytes_per_sec": "100mb" } }
IAM委托
指当前账号授权云搜索服务访问或维护存储在OBS中数据。如果没有合适的委托可以联系CSS服务管理员新建IAM委托。
所选的IAM委托需满足如下条件:- “委托类型”选择“云服务”。
- “云服务”选择“Elasticsearch”或者“云搜索服务 CSS”。
- 必选策略:“Tenant Administrator”或“OBS Administrator”
警告:委托名称必须仅包含字符a-z、A-Z、0-9、下划线(_)和短横线(-),否则会备份失败。
表5 设置自动创建快照 参数
说明
快照名称前缀
快照名称前缀的长度为1~32个字符,只能包含小写字母、数字、中划线和下划线,且必须以小写字母开头。快照名称由快照名称前缀加上时间戳组成,例如自动生成的快照名称为“snapshot-1566921603720”。
时区
指备份时间对应的时区。基于此时区选择备份开始时间。
备份开始时间
指定自动备份的开始时间。
请在下拉框中选择时间。支持每小时、每天和每周,具体时间的取值范围是“00:00”~“23:00”,只能指定整点时间。
- 配置集群高级功能。
标签
为集群添加标签,方便用户识别和管理拥有的集群资源。此处您可以选择“标签管理服务”中已定义好的“预定义标签”,也可以自己定义标签。如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在标签管理服务TMS中创建预定义标签,操作指导请参见《标签管理服务TMS用户指南》
当您的组织已经设定云搜索服务的相关标签策略,则需按照标签策略规则为集群添加标签。标签如果不符合标签策略的规则,则可能会导致集群创建失败,请联系组织管理员了解标签策略详情。
- 设置集群快照。
- 单击“下一步:确认配置”,确认完成后单击“立即创建”开始创建集群。
- 返回集群列表,查看新建的集群。当集群创建成功后,“集群状态”会变为“可用”。集群创建时间取决于节点数量,通常可在60分钟内完成,如果集群节点数量较多,时间可能相应延长。
如果集群创建失败,请根据界面提示重新创建集群。