脚本样例
Zeppelin
Zeppelin是一个基于web的notebook,支持交互式的数据分析。了解更多请访问Zeppelin官网http://zeppelin.apache.org/。
本样例脚本能够自动化安装Zeppelin。根据创建集群的region选择对应的脚本路径,在创建集群 > 添加引导操作时填入到“脚本路径”即可,该脚本无需填入参数。根据Zeppelin使用习惯,您只须在Active Master节点上执行该脚本。
- 添加引导操作时填入的脚本路径:
- 华北-北京一:s3a://mrs-samples-bootstrap-cn-north-1/zeppelin/zeppelin_install.sh
- 华东-上海二:s3a://mrs-samples-bootstrap-cn-east-2/zeppelin/zeppelin_install.sh
- 华南-广州:s3a://mrs-samples-bootstrap-cn-south-1/zeppelin/zeppelin_install.sh
- 华北-北京四:s3a://mrs-samples-bootstrap-cn-north-4/zeppelin/zeppelin_install.sh
- 样例脚本下载路径:
- 华北-北京一:https://mrs-samples-bootstrap-cn-north-1.obs.cn-north-1.myhuaweicloud.com/zeppelin/zeppelin_install.sh
- 华东-上海二:https://mrs-samples-bootstrap-cn-east-2.obs.cn-east-2.myhuaweicloud.com/zeppelin/zeppelin_install.sh
- 华南-广州:https://mrs-samples-bootstrap-cn-south-1.obs.cn-south-1.myhuaweicloud.com/zeppelin/zeppelin_install.sh
- 华北-北京四:https://mrs-samples-bootstrap-cn-north-4.obs.cn-north-4.myhuaweicloud.com/zeppelin/zeppelin_install.sh
引导操作执行完成后,可用如下方法验证正确安装了zeppelin。
第一种:可以root远程登入集群Active Master节点,执行/home/apache/zeppelin-0.7.3-bin-all/bin/zeppelin-daemon.sh status,结果显示“Zeppelin is running [ OK ]",则表示安装成功。
第二种:在同一个VPC启动一个Windows云服务器,访问集群Active Master节点的7510端口,能访问到Zeppelin的页面,说明安装成功。
Presto
Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询。了解更多请访问官网http://prestodb.io/。
本样例脚本能够自动化安装Presto,脚本路径如下:
- 添加引导操作时填入的脚本路径:
- 华北-北京一:s3a://mrs-samples-bootstrap-cn-north-1/presto/presto_install.sh
- 华东-上海二:s3a://mrs-samples-bootstrap-cn-east-2/presto/presto_install.sh
- 华南-广州:s3a://mrs-samples-bootstrap-cn-south-1/presto/presto_install.sh
- 华北-北京四:s3a://mrs-samples-bootstrap-cn-north-4/presto/presto_install.sh
- 样例脚本下载路径:
- 华北-北京一:https://mrs-samples-bootstrap-cn-north-1.obs.cn-north-1.myhuaweicloud.com/presto/presto_install.sh
- 华东-上海二:https://mrs-samples-bootstrap-cn-east-2.obs.cn-east-2.myhuaweicloud.com/presto/presto_install.sh
- 华南-广州:https://mrs-samples-bootstrap-cn-south-1.obs.cn-south-1.myhuaweicloud.com/presto/presto_install.sh
- 华北-北京四:https://mrs-samples-bootstrap-cn-north-4.obs.cn-north-4.myhuaweicloud.com/presto/presto_install.sh
根据Presto使用习惯,建议您在Active Master节点上安装dualroles,在Core节点上安装worker。推荐您按如下方式添加引导操作脚本:
脚本1 |
名称:install dualroles 脚本路径:根据region选择presto-install.sh脚本路径 执行节点:Active Master 参数:dualroles 执行时机:组件启动后 失败操作:继续 |
---|---|
脚本2 |
名称:install worker 脚本路径:根据region选择presto-install.sh脚本路径 执行节点:Core(根据集群类型选择对应类型的Core节点) 参数:worker 执行时机:组件启动后 失败操作:继续 |
引导操作执行完成后,您可以在集群同一个VPC启动一个Windows云服务器,访问集群Active Master节点的7520端口,以查看Presto的web页面。
您也可登录到Active Master节点试用Presto,以root用户身份执行如下命令:
加载环境变量:
#source /opt/client/bigdata_env
查看进程状态:
#/home/apache/presto/presto-server-0.201/bin/launcher status
连接presto并操作:
#/home/apache/presto/presto-server-0.201/bin/presto --server localhost:7520 --catalog tpch --schema sf100
presto:sf100> select * from nation;
presto:sf100> select count(*) from customer
Superset
Superset是一个基于web的企业级、现代BI工具。了解更多请访问Superset官网https://superset.incubator.apache.org/。
本样例脚本能够自动化安装Superset。根据创建集群的region选择对应的脚本路径,在创建集群->添加引导操作时填入到“脚本路径”即可,该脚本无需填入参数。根据Superset使用习惯,您只须在Active Master节点上执行该脚本。
- 添加引导操作时填入的脚本路径:
- 华北-北京一:s3a://mrs-samples-bootstrap-cn-north-1/superset/superset_install.sh
- 华东-上海二:s3a://mrs-samples-bootstrap-cn-east-2/superset/superset_install.sh
- 华南-广州:s3a://mrs-samples-bootstrap-cn-south-1/superset/superset_install.sh
- 华北-北京四:s3a://mrs-samples-bootstrap-cn-north-4/superset/superset_install.sh
- 样例脚本下载路径:
- 华北-北京一:https://mrs-samples-bootstrap-cn-north-1.obs.cn-north-1.myhuaweicloud.com/superset/superset_install.sh
- 华东-上海二:https://mrs-samples-bootstrap-cn-east-2.obs.cn-east-2.myhuaweicloud.com/superset/superset_install.sh
- 华南-广州:https://mrs-samples-bootstrap-cn-south-1.obs.cn-south-1.myhuaweicloud.com/superset/superset_install.sh
- 华北-北京四:https://mrs-samples-bootstrap-cn-north-4.obs.cn-north-4.myhuaweicloud.com/superset/superset_install.sh
引导操作执行完成后,可用如下方法验证正确安装了Superset。
第一种:可以root远程登入集群Active Master节点,执行lsof -i:38088,存在LISTEN的返回项则表示安装成功。
第二种:在同一个VPC启动一个Windows云服务器,访问集群Active Master节点的38088端口,能访问到Superset的页面,说明安装成功。
OpenTSDB
OpenTSDB是一个基于HBase上的实时监控信息收集和展示平台。它支持秒级数据采集metrics,使用HBase进行永久存储,可以做容量规划,并很容易的接入到现有的监控系统里。OpenTSDB可以从大规模的设备中获取相应的metrics并进行存储、索引以及提供服务,从而使得这些数据更容易让人理解,如web化,图形化等。了解更多请访问OpenTSDB官网http://opentsdb.net/。
本样例脚本能够自动化安装OpenTSDB。根据创建集群的region选择对应的脚本路径,在创建集群->添加引导操作时填入到“脚本路径”即可,该脚本无需填入参数。根据OpenTSDB使用习惯,您只须在Active Master节点上执行该脚本。
OpenTSDB依赖于HBase服务,因此您需要在申请集群的时候勾选HBase服务,并且配置引导操作的“执行时机”为“组件启动后”。
- 添加引导操作时填入的脚本路径:
- 华北-北京一:s3a://mrs-samples-bootstrap-cn-north-1/opentsdb/opentsdb_install.sh
- 华东-上海二:s3a://mrs-samples-bootstrap-cn-east-2/opentsdb/opentsdb_install.sh
- 华南-广州:s3a://mrs-samples-bootstrap-cn-south-1/opentsdb/opentsdb_install.sh
- 华北-北京四:s3a://mrs-samples-bootstrap-cn-north-4/opentsdb/opentsdb_install.sh
- 样例脚本下载路径:
- 华北-北京一:https://mrs-samples-bootstrap-cn-north-1.obs.cn-north-1.myhuaweicloud.com/opentsdb/opentsdb_install.sh
- 华东-上海二:https://mrs-samples-bootstrap-cn-east-2.obs.cn-east-2.myhuaweicloud.com/opentsdb/opentsdb_install.sh
- 华南-广州:https://mrs-samples-bootstrap-cn-south-1.obs.cn-south-1.myhuaweicloud.com/opentsdb/opentsdb_install.sh
- 华北-北京四:https://mrs-samples-bootstrap-cn-north-4.obs.cn-north-4.myhuaweicloud.com/opentsdb/opentsdb_install.sh
引导操作执行完成后,可用如下方法验证正确安装了OpenTSDB。
第一种:可以root远程登入集群Active Master节点,执行lsof -i:4242,存在LISTEN的返回项则表示安装成功。
第二种:在同一个VPC启动一个Windows云服务器,访问集群Active Master节点的4242端口,能访问到OpenTSDB的页面,说明安装成功。
obsutil
obsutil是一款用于访问管理华为云对象存储服务(Object Storage Service,OBS)的命令行工具,您可以使用该工具对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户,可以选择obsutil执行批量处理、自动化任务。了解更多请访问obsutilobsutil简介。
本样例脚本能够自动化安装obsutil。根据创建集群的region选择对应的脚本路径,在创建集群->添加引导操作时填入到“脚本路径”即可,该脚本无需填入参数。“执行时机”请选择“组件启动后”,“失败操作”请选择“继续”。
- 添加引导操作时填入的脚本路径:
- 华北-北京一:s3a://mrs-samples-bootstrap-cn-north-1/obsutil/obsutil_install.sh
- 华东-上海二:s3a://mrs-samples-bootstrap-cn-east-2/obsutil/obsutil_install.sh
- 华南-广州:s3a://mrs-samples-bootstrap-cn-south-1/obsutil/obsutil_install.sh
- 华北-北京四:s3a://mrs-samples-bootstrap-cn-north-4/obsutil/obsutil_install.sh
- 样例脚本下载路径:
- 华北-北京一:https://mrs-samples-bootstrap-cn-north-1.obs.cn-north-1.myhuaweicloud.com/obsutil/obsutil_install.sh
- 华东-上海二:https://mrs-samples-bootstrap-cn-east-2.obs.cn-east-2.myhuaweicloud.com/obsutil/obsutil_install.sh
- 华南-广州:https://mrs-samples-bootstrap-cn-south-1.obs.cn-south-1.myhuaweicloud.com/obsutil/obsutil_install.sh
- 华北-北京四:https://mrs-samples-bootstrap-cn-north-4.obs.cn-north-4.myhuaweicloud.com/obsutil/obsutil_install.sh
