使用Logstash迁移数据 Logstash使用流程 Logstash集群规划建议 创建Logstash集群 配置Logstash集群路由 配置Logstash迁移任务 扩缩容Logstash集群 管理Logstash集群 Logstash集群监控与日志管理 查看Logstash集群审计日志

查看更多 →

在集群列表，选择目标集群，单击操作列“监控信息”查看集群和节点监控信息。 图1 查看监控信息 选择“资源实例”页签，查看集群的监控指标。 资源实例：选择要查看监控信息的集群，默认选择当前集群。支持多选，进行数据对比。 支持设置监控时间，以及查看同一集群的同比/环比数据。 添加视图分组：

查看更多 →

验证DIS Logstash Plugin 验证DIS Logstash Input 使用PuTTY工具远程登录Logstash所在 服务器 。 启动Logstash程序。 bin/logstash -f dis_to_local.conf 其中 -f 为用户编写的配置文件路径。 检查DIS

查看更多 →

创建Logstash配置文件 Logstash集群通过配置文件定义迁移方案，从不同的数据源（input）迁移数据到不同的目的端（output）。 约束限制 创建的配置文件大小不能超过100k。 Logstash集群允许最多配置50个配置文件，最多可以同时存在5个“状态”为“校验中”的配置文件。

查看更多 →

配置DIS Logstash Plugin DIS Logstash Plugins 分为Input与Output插件，本节介绍插件的各个配置项具体含义。 配置DIS Logstash Input 配置模板如下：（该模板为从DIS通道下载数据写入本地文件） input { dis

查看更多 →

DIS Logstash Plugin概述 DIS Logstash Plugin是 数据接入服务 （DIS）为Logstash开发的插件，包含DIS Input与DIS Output。 DIS Input用于从DIS服务下载数据到Logstash。 DIS Output用于将Logstash中的数据上传到DIS服务。

查看更多 →

步骤3：配置迁移任务 在Logstash集群配置Elasticsearch集群的迁移任务。 在Logstash集群管理页面，选择已创建的“Sample-Logstash”集群，进入集群基本信息页面。 单击右侧“配置中心”，进入Logstash配置中心界面。 图6 Logstash配置中心界面

查看更多 →

Logstash集群监控与日志管理 CES中Logstash集群支持的监控指标 使用CES监控Logstash集群 查询和管理Logstash集群日志 父主题： 使用Logstash迁移数据

查看更多 →

Logstash配置文件模板介绍 系统模板介绍 Logstash集群预置了常见的几种Logstash配置文件模板，请参见表1。 表1 Logstash配置文件的系统模板 名称 描述 具体介绍 redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明

查看更多 →

使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${ LOG STASH_HOME} 执行安装命令。 bin/logstash-plugin install logstash-input-dis 安装完成后，显示类似如下内容，表示安装成功。 Validating

查看更多 →

进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 上传“dis-logstash-plugins-X.X.X.zip”安装包到此目录下。 解压安装包。 unzip dis-logstash-plugins-X.X.X.zip 进入安装包解压后的目录。 cd logstash-plugins

查看更多 →

作为Logstash输入源时，可以防止突发流量对于Logstash的影响，以及解耦日志采集客户端和Logstash，保证系统的稳定性。 Kafka实例作为Logstash输出源的示意图如下。 图2 Kafka实例作为Logstash输出源 Logstash从数据库采集数据，然后发

查看更多 →

卸载DIS Logstash Plugin(可选) 操作步骤 使用PuTTY工具远程登录Logstash所在服务器。 停止Logstash程序。 进入DIS Logstash Plugins插件所在的目录。 cd ${LOGSTASH_HOME} cd logstash-plugins

查看更多 →

信任该服务端。Logstash集群支持查看默认证书。 当Logstash集群连接其他数据源，且需要进行安全认证时，则需要用户上传自定义证书信任服务端，具体操作请参见上传自定义证书。 查看默认证书 登录 云搜索服务 管理控制台。 在左侧导航栏选择“集群管理 > Logstash”，进入集群列表页面。

查看更多 →

源数据库ExpireLogsDays参数检查 MySQL同步、灾备场景 表1 源数据库ExpireLogsDays参数检查 预检查项 源数据库ExpireLogsDays参数检查。 描述 源数据库expire_logs_days参数值为0，可能会导致迁移失败。 不通过提示及处理建议

查看更多 →

步骤七：安装日志采集组件（Logstash） 本章节将介绍如何安装安全云脑日志采集组件（Logstash），配置日志采集进程。 操作步骤 登录管理控制台。 在页面左上角单击，选择“安全与合规 > 安全云脑 SecMaster”，进入安全云脑管理页面。 在左侧导航栏选择“工作空间 >

查看更多 →

在绑定企业项目前，您已在“企业项目管理控制台”创建企业项目。 绑定企业项目 在创建集群时，可以在“企业项目”绑定已创建的企业项目，也可以单击“查看项目管理”，前往企业项目管理控制台，新建企业项目和查看已有的企业项目。 修改企业项目 针对之前已创建的集群，其绑定的企业项目可根据实际情况进行修改。 登录在 云搜索 服务管理控制台，

查看更多 →

search集群是使用HTTPS访问的安全集群。 图1 查看集群模式 表1 不同集群类型之间进行数据迁移的Logstash配置文件样例 迁移场景 Logstash配置文件样例 非安全集群之间进行数据迁移 非安全集群的Logstash配置文件样例 使用HTTP访问的安全集群之间进行数据迁移

查看更多 →

安装DIS Logstash Plugin前准备 检查依赖 确认Logstash已安装并能正常运行。 确认使用的Java版本为1.8.0及以上版本。执行如下命令查看Java版本。 java -version 确认使用的JRuby版本为9.0.0.0及以上版本。执行如下命令查看JRuby版本。

查看更多 →

ms | 在部署Logstash的服务器中，执行如下命令在Logstash的安装目录下新建配置文件logstash-simple.conf。 cd /<Logstash的安装目录>/ vi logstash-simple.conf 在配置文件logstash-simple.conf中输入如下内容。

查看更多 →

≥ 0 Logstash管道监控指标列表 监控的指标ID、指标名称、指标含义以及取值范围参见表3。 监控的测量对象： CSS 集群 - Logstash管道 监控的监控周期（原始指标）：1分钟 表3 Logstash管道的监控指标 指标ID 指标名称 指标含义 取值范围 logstas

查看更多 →