创建OpenSearch集群
- 方式一:通过云搜索服务管理控制台创建OpenSearch集群,详细操作请参考本章节内容。
- 方式二:通过云搜索服务提供的API接口创建OpenSearch集群,详细操作请参见《云搜索服务CSS API参考》中的“创建集群”章节。
场景描述
当创建的集群类型不同时,需要关注如表1所示的关键参数的配置。
前提条件
已经参考OpenSearch集群规划建议完成待创建的OpenSearch集群规划。
创建集群
- 登录云搜索服务管理控制台。
- 在总览页面单击右上角的“创建集群”,进入“创建集群”页面。
或者左侧导航栏单击“集群管理 > OpenSearch”,单击右上角的“创建集群”,进入“创建集群”页面。
- 在“基础配置”页面,完成OpenSearch集群的基本信息和资源配置。
表2 OpenSearch集群的基础配置 参数
说明
当前区域
选择集群的所在区域。
不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。
可用区
选择集群工作区域下关联的可用区。
最多支持配置3个“可用区”,多可用区的使用建议请参见多可用区部署建议。
集群类型
选择“OpenSearch”。
集群版本
选择所需的集群版本,支持的版本以界面可选项为准。
集群名称
自定义集群名称。
集群名称在4位到32位之间,必须以字母开头,可以包含字母、数字、中划线或者下划线,不能包含其他的特殊字符。
集群描述
为集群添加描述,方便用户识别。
支持0~128位。
节点数量
集群中的数据节点个数。可选节点数为1~32,建议节点数为3或3以上,以提升集群可用性。
- 当集群未启用Client节点时,数据节点将额外提供接入集群和分析数据的功能。
- 当集群未启用Master节点时,数据节点将额外提供集群管理功能。
说明:当集群中数据节点的数量和可用区的数量不是整数倍关系时,集群的数据分布可能会不均匀,从而影响数据查询或写入业务。
CPU架构
支持“X86计算”。具体支持的类型由实际区域环境决定。
节点规格
集群中数据节点的规格。您可以根据需求,选择对应的规格。每个集群只能选择一个规格。
节点存储
当“节点规格”选择的是云硬盘时,需要选择集群数据节点的云硬盘类型。节点存储支持普通I/O、高I/O、超高I/O。
节点存储容量
设置数据节点的存储空间大小,其取值范围与“节点规格”关联,不同的规格允许的取值范围不同。
节点存储容量只支持配置为20的倍数。
启用Master节点
Master节点负责关键的集群管理任务,如元数据管理、索引创建与删除、分片分配等。在大规模集群的元数据管理、节点管理、稳定性保障和集群操作控制中发挥着至关重要的作用。
启用Master节点后,在下方选择对应的“节点规格”、“节点数量”和“节点存储”。“节点数量”必须是不小于3的奇数,最多设置9个节点。“节点存储”的存储容量为固定值,存储类型可以根据实际情况选择。
启用Client节点
Client节点负责接收并协调外部请求,如search和write请求,在处理高负载查询、复杂聚合、大量分片管理以及优化集群扩展性方面发挥着重要作用。
启用Client节点后,在下方选择对应的“节点规格”、“节点数量”和“节点存储”。“节点数量”可设置为1~32任意数值。“节点存储”的存储容量为固定值,存储类型可以根据实际情况选择。
启用冷数据节点
冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。
启用冷数据节点后,在下方选择对应的“节点规格”、“节点数量”和“节点存储”。“节点数量”可设置为1~32任意数值。“节点存储”的存储类型和存储容量可以根据实际情况选择。
开启冷数据节点之后,支持切换集群的冷热数据,详情请参见切换OpenSearch集群冷热数据。
说明:当集群中冷数据节点的数量和可用区的数量不是整数倍关系时,集群的数据分布可能会不均匀,从而影响数据查询或写入业务。
企业项目
如果开通了“企业项目”,在创建集群时可以给集群绑定一个企业项目。
在下拉框中选择企业项目,单击“查看项目管理”跳转到“企业项目管理”管理控制台,查看已有的企业项目。
- 单击“下一步:网络配置”。
- 在“网络配置”页面,完成OpenSearch集群的网络和安全模式配置。
表3 OpenSearch集群的网络配置 参数
说明
虚拟私有云
指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。
单击“查看虚拟私有云”跳转到虚拟私有云列表,查看已创建的VPC名称和ID。
如果没有合适的VPC,建议联系CSS服务管理员新建VPC,具体请参见《虚拟私有云用户指南》中的“创建虚拟私有云和子网”章节。
说明:此处选择的VPC必须包含网段(CIDR),否则集群将无法创建成功。新建的VPC默认包含网段(CIDR)。
子网
集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。
选择当前虚拟私有云下集群需要的子网。
如果没有合适的子网,可以单击“创建子网”,新建子网。具体操作请参见《虚拟私有云用户指南》中的“创建虚拟私有云和子网”章节。
安全组
安全组起着虚拟防火墙的作用,为集群提供安全的网络访问控制策略。
选择集群需要的安全组,单击“查看安全组”跳转到安全组列表,可以了解安全组详情。
说明:请确保安全组的“端口范围/ICMP类型”包含端口9200的端口范围。
安全模式
选择是否开启集群安全模式。
- 默认开启,则创建的是安全模式的集群。安全模式的集群会对集群进行通讯加密和安全认证。因此必须配置集群的“管理员账户名”和“管理员密码”。
- 管理员账户名默认为admin。
- 设置并确认管理员密码。要记住设置的密码,后续访问集群需要输入密码。
- 不开启,则创建的是非安全模式的集群。非安全模式的集群无需安全认证即可访问,并且采用HTTP明文传输数据。建议确认访问环境的安全性,勿将访问接口暴露在公网环境中。
HTTPS访问
只有开启集群的安全模式才可以启用HTTPS访问,开启HTTPS访问后,访问集群将进行通讯加密。
当OpenSearch集群版本为2.x及以上时,启用安全模式会默认启用HTTPS访问,且不支持关闭。
说明:安全集群使用HTTPS通信,相比非安全集群使用HTTP通信在读取性能上会降低,预期相对HTTP集群在大并发压力下有20%的性能劣化。如果想要读取性能快,又想要使用安全集群所提供的用户权限隔离资源(索引、文档、字段等)的功能,则可以关闭HTTPS访问。关闭HTTPS访问后,会使用HTTP协议与集群通信,无法保证数据安全性,并且无法开启公网访问功能。
公网访问
仅当集群开启了“安全模式”和“HTTPS访问”时,才可以选择是否配置“公网访问”。配置公网访问后,用户可以获得一个公网访问的IP地址,通过这个IP地址可以在公网访问该安全集群,详细配置请参考配置OpenSearch集群公网访问。
- 默认开启,则创建的是安全模式的集群。安全模式的集群会对集群进行通讯加密和安全认证。因此必须配置集群的“管理员账户名”和“管理员密码”。
- 单击“下一步:高级配置”。
- 在“高级配置”页面,完成OpenSearch集群的快照和其他高级配置。
- 设置集群快照。
系统默认关闭集群快照,如需使用可以开启“集群快照开关”。自动快照会创建委托访问对象存储服务OBS,快照存储在标准存储的OBS桶中会产生额外费用。
表4 集群快照基础配置 参数
说明
OBS桶
在下拉框中选择存储快照的OBS桶。也可以单击右侧的“创建桶”新建OBS。
创建或者已存在的OBS桶需满足如下条件:
- “存储类别”为“标准存储”。
- “区域”须与创建的集群所在区域相同。
备份路径
快照在OBS桶中的存放路径。
备份路径配置规则:- 备份路径不能存在符号“\:*?"<>|'{}”。
- 备份路径不能以“/”开头。
- 备份路径不能以“.”开头或结尾。
- 备份路径不能包含两个以上连续的斜杆(/)或点(.)。
- 备份路径的总长度不能超过512字符。
注意:快照文件仅支持OBS标准存储类型,备份路径请勿添加OBS生命周期规则。
最大备份速率(每秒)
配置每个节点的最大备份速率,当集群快照的备份速率超过设定值时将触发限流机制,防止速率太大导致资源占用过高,影响集群稳定性。实际备份速率可能因OBS性能、磁盘IO等限制而无法达到设定值。
取值格式:数字+单位- 数字的取值范围:0~9999
- 单位的取值范围:KB、MB、GB、TB、PB、B
默认取值:40MB
当填写0MB时,表示不限速。当备份速率过大时,可能导致集群资源占用过高,稳定性下降,建议谨慎配置。
最大恢复速率(每秒)
配置每个节点的最大恢复速率,当集群快照的恢复速率超过设定值时将触发限流机制,防止速率太大导致资源占用过高,影响集群稳定性。实际恢复速率可能因OBS性能、磁盘IO等限制而无法达到设定值。
取值格式:数字+单位- 数字的取值范围:0~9999
- 单位的取值范围:KB、MB、GB、TB、PB、B
默认取值:0MB,表示不限速。
当恢复速率过大时,可能导致集群资源占用过高,稳定性下降,建议谨慎配置。
OpenSearch集群的实际最大恢复速率还受限于“indices.recovery.max_bytes_per_sec”参数。- 当“最大恢复速率(每秒)”小于“indices.recovery.max_bytes_per_sec”时,实际限流值为“最大恢复速率(每秒)”。
- 当“最大恢复速率(每秒)”大于“indices.recovery.max_bytes_per_sec”时,实际限流值为“indices.recovery.max_bytes_per_sec”。
说明:- 当需要查看“indices.recovery.max_bytes_per_sec”参数值时,可以执行如下命令:
GET _cluster/settings
- 当需要修改“indices.recovery.max_bytes_per_sec”参数时,可以参考如下命令:
PUT _cluster/settings { "transient": { "indices.recovery.max_bytes_per_sec": "100mb" } }
IAM委托
指当前账号授权云搜索服务访问或维护存储在OBS中数据。如果没有合适的委托可以联系CSS服务管理员新建IAM委托。
所选的IAM委托需满足如下条件:- “委托类型”选择“云服务”。
- “云服务”选择“Elasticsearch”或者“云搜索服务 CSS”。
- 必选策略:“Tenant Administrator”或“OBS Administrator”
警告:委托名称必须仅包含字符a-z、A-Z、0-9、下划线(_)和短横线(-),否则会备份失败。
表5 设置自动创建快照 参数
说明
快照名称前缀
快照名称前缀的长度为1~32个字符,只能包含小写字母、数字、中划线和下划线,且必须以小写字母开头。快照名称由快照名称前缀加上时间戳组成,例如自动生成的快照名称为“snapshot-1566921603720”。
时区
指备份时间对应的时区。基于此时区选择备份开始时间。
备份开始时间
指定自动备份的开始时间。
请在下拉框中选择时间。支持每小时、每天和每周,具体时间的取值范围是“00:00”~“23:00”,只能指定整点时间。
- 配置集群高级功能。根据需要选择“默认配置”或“自定义”。
- “默认配置”:默认关闭“终端节点服务”、“Dashboards公网访问”功能,在集群创建完成后,如果有需要也可以人工启用这些功能。
- “自定义”:根据需要选择开启“终端节点服务”、“Dashboards公网访问”功能。
终端节点服务
终端节点服务(VPC Endpoint Service)通过专属网关,可以将VPC中的服务方便地提供给其他VPC中的资源使用,实现跨VPC的访问,而不必暴露服务端相关的网络信息,使您的访问更加安全、可靠。在开启终端节点服务时,系统会默认给用户创建一个终端节点,内网域名由用户自己选择是否创建,通过节点IP或者是内网域名,用户可以跨VPC访问该集群。表6 配置终端节点服务 参数
说明
创建内网域名
勾选“创建内网域名”,系统除了生成一个“节点IP”还会自动创建一个“内网域名”,通过这个域名可以在同一个VPC内访问该集群。不勾选的话只会生成一个“节点IP”。
终端节点服务白名单
在“终端节点服务白名单”中添加允许通过节点IP或内网域名访问集群的账号。
- 单击“添加”输入授权账号ID。不添加授权账号或“授权账号ID”配置成“*”,则表示允许全部用户访问该集群。
- 单击操作列的“删除”,可以删除不允许访问的账号ID。
说明:“授权账号ID”可以在“我的凭证”中查看“账号ID”获取。
Dashboards公网访问
只有开启“安全模式”的集群,才能配置Dashboards公网访问。开启Dashboards公网访问后,用户可以获得一个Dashboards公网访问地址,通过这个地址可以在公网访问OpenSearch Dashboards。表7 配置Dashboards公网访问 参数
说明
带宽
设置公网访问的带宽。
取值范围:1-100。
单位:Mbit/s。
访问控制开关
如果关闭访问控制开关,则允许任何IP通过公网IP访问集群OpenSearch Dashboards。如果开启访问控制开关,则只允许白名单列表中的IP通过公网IP访问集群OpenSearch Dashboards。
白名单
设置允许访问的IP地址或网段,中间用英文逗号隔开。仅当打开“访问控制开关”时才需要配置。
建议开启白名单。
说明:Dashboards公网访问配置的白名单依赖ELB的白名单能力。更新白名单后,白名单对新建的连接是实时生效的,但对于已存在的长连接,可能会出现去掉的白名单IP地址还能访问OpenSearch Dashboards的场景,这是因为要等长连接断开后才生效,预计1分钟左右。
- 设置集群快照。
- 单击“下一步:确认配置”,确认完成后单击“立即创建”开始创建集群。
- 返回集群列表,查看新建的集群。当集群创建成功后,“集群状态”会变为“可用”。集群创建时间取决于节点数量,通常可在60分钟内完成,如果集群节点数量较多,时间可能相应延长。
如果集群创建失败,请根据界面提示重新创建集群。