- 帆软商业智能解决方案
- 滴普科技数据智能平台解决方案
- 端边云车联网Serverless数据湖解决方案
- 华为云通用数据使能解决方案实践
- 天眼查商业查询解决方案实践
- 快速构建高可用TiDB集群
- 快速构建高可用Flink集群
- 华为云政务场景数据使能解决方案
- 数鑫科技领域数据空间解决方案
- 普元元数据资产管理解决方案
- 驾驶行为分析
- 软通动力数据中台及数据治理服务解决方案实践
- 中软国际数据治理专业服务解决方案实践
- 永洪商业智能解决方案
- 基于OBS配置大数据存算分离集群
- 翼海云峰大数据服务解决方案
- 观远商业智能数据分析解决方案
- 八六三智能数据平台解决方案
- 文档下载
- 通用参考
链接复制成功!
系统配置
本节介绍 xx容器平台中系统的配置,该章节是配置一个系统的开始。
通常情况下,在项目上通常都会有两套系统,分别是测试系统 、正式系统,一般的流程是在测试系统上验证开发侧的代码,与业主方确认无误后在更新至正式系统。
系统创建
在“部署编排 > 系统分类”中单击新增系统按钮,在界面中可以输入系统名称与选择划归到该系统下的主机,还可以选择配置是否在主题页中现实监控信息。在实际使用中可能会发现选择不到主机,此时需确认
- 是否正确安装 Agent,主机是否已经自动注册至 Server 端
- 在多租户模式下,租户管理员是否将主机规划到登录用户下(此时联系平台管理员,详见“多租户”章节)
- 是否该主机已经被其他系统纳管,所以无法新建系统时选择主机
主机配置
依次单击“资源管理 > 主机管理”菜单即可打开主机配置管理页面,该页面主要分为两个部分,系统分类视图和主机概览列表。
在服务器正确安装了 Agent 之后会自动显示在这里。
应用配置
在 xx容器平台中依次单击“部署编排 > 应用分类”即可打开应用管理界面,选择左侧系统分类视图中对应的系统新增应用即可为相应的系统添加应用。
输入应用名称、选择监控方法。
服务配置
在 xx容器平台中,服务是一个具体的功能的封装。例如统一认证要使其正常的运转,需要一个 Tomcat 容器作为 WEB 页面服务的提供,但是他还需要 PGSQL 和 KONG 才能够使的整个统一认证正常的运转,所以在 xx容器平台 中编排时,就会为这两种类型的程序分别编排两种服务以用来管理与监控。
在 xx容器平台 中,服务可以分为两大类,一类是容器类服务,该类服务是容器组成,相应的监控配置在新建容器时配置;一类是非容器类服务,该类型服务是一个虚拟机或实体机应用,例如是一个数据库服务,相应的监控配置在新建服务配置时设定。
容器配置
- 进入 pass 平台“部署编排 > 容器管理 > 新增容器”;在界面中包含两个配置模块
基本设置:主要配置容器运行时的网络、镜像版本、所属系统和服务、监控方法配置等
高级设置:主要配置容器运行时文件数据库逻辑卷挂载,环境变量,运行时 CPU 与内存等资源限制规则
首先在“新增容器”页面中选择该容器属于哪一个系统,再选择主机名称,此处是一个级联操作,如果发现主机下拉框中无法选择到想要的主机,需要确认该主机是否上线(可以在“主机管理”中查看到)或是否被归纳为所选的系统,如何归纳主机请参见“主机配置”章节,通过以上两步即明确了开篇中的容器调度的配置。
接下来配置容器名称,xx容器平台 在处理时并不会在意该名称,但是为了方便后续问题的排查与描述,请命名为一个有意义的名称(不单单是排查问题,对于平台级项目多个部门协作的,只要说一个容器名称别人就可以找到该容器,大大的提高了排错效率),随后选择容器类型,目前支持的选项支持有 Tomcat、Nginx、RabbitMQ、Redis、Weblogic 几种类型,选择类型有助于 xx容器平台 自动为创建者生成容器挂载与监控等配置信息。然后选择需要运行的容器镜像,容器镜像名称包含两个部分组成,容器镜像的名称和容器镜像的版本号,选择完成后即明确了容器内运行的程序,容器镜像是由 Jenkins 自动构建编译而成,在项目现场一般是通过 Dockerfile 构建出来。
- 所属服务:新增系统-新增应用-新增服务
输入应用名称,选择关联系统,监控方法选择 HTTP
输入服务名称,选择服务类型,业务平台一般选择 tomcat
- 选择主机名称 输入容器名称
业务文件夹名称:SVN 里面业务系统对应\WEB-INF\classes\Docker里面的 Dockerfile
选择建好对应的镜像名称
配置相应的配置文件
如果2个业务系统在一个主机下,端口不能冲突需要调整
- 选择单击“启动”
MRS 配置
hive连接字符串:
jdbc:hive2://XX.XX.XX.XX:24002,XX.XX.XX.XX:24002,XX.XX.XX.XX:24002/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;sasl.qop=auth-conf;auth=KERBEROS;principal=hive/hadoop.hadoophw.com@HADOOPHW.COM
- 参照图中所标查找
图1 查找1图2 查找2图3 查找3
- 按顺序替换相关参数即可
jdbc:hive2://ip地址/default;serviceDiscoveryMode=xxx;zooKeeperNamespace=xxx;sasl.qop=xxxx;auth=xxx;principal=XXX
图4 替换参数Hetu配置:
XXXXframe 添加 hetu 所需参数
hetuUser:mrs 的认证用户,如 XXXXuser。
hetuPassword:认证用户的密码
hetuTenant:hive 的模式名称,默认为default。
添加 hetu 的认证文件至 classes 路径下,调整 user.keytab 路径
ROMA 配置
如何访问 roma 平台
- 本地电脑接入 vpn,连上跳板机(华为提供)。
- 跳板机 hosts 文件中配置域名映射(华为提供,如截图中第二个圈所示)(部署测试系统时,容器里的 hosts 文件要挂载出来,并且也要配置域名映射)。
- 跳板机上访问平台地址,输入用户名密码即可登录(华为提供,如截图中第一个圈所示)。
图5 ROMA 配置1图6 ROMA 配置2
- 登录成功之后,单击左上角
,选择“应用与数据集成平台 ROMA Connect”,就进入了 roma 平台。
图7 ROMA 配置3图8 ROMA 配置4- 系统参数配置:
表1 系统参数配置 系统参数名称
值示例
系统参数描述
获取方式
AMType
ROMA
【必配】网关类型,配置成 ROMA 才会走 ROMA 网关实现
无
extranetAmVersion
ROMA
同上(开放网站的)
无
roma_token_address
https://auth1.openlabhcs8.0.com/v3/auth/tokens
【必填】华为提供,请求该地址获取 token,token 在返回的头部参数 X-Subject-Token 里
图9 图示1roma_gateway_address
https://172.16.144.30:443
【必填】华为提供,注册应用、接口时的请求地址,拼接对应的 uri 请求接口
图10 图示2roma_calladdress_http
http://172.16.140.226:80
【必填】华为提供,接口发布到 roma 网关后的 http 代理地址(APIC 公网访问地址)
图11 图示3roma_calladdress_https
https://172.16.140.226:443
【必填】华为提供,接口发布到 roma 网关后的 https 代理地址(APIC公网访问地址)
roma_username
84225211
【必填】华为提供,登录用户名称
图12 图示4roma_password
CQMYG@#14dss
【必填】华为提供,登录用户密码
roma_domainname
openlab
【必填】租户名称,获取方式:Roma 平台页面右上角“个人设置 > 基本信息 > 租户”
图13 图示5图14 图示6roma_project_id
dc9295fd398140338fe435554e9a7200
【必填】项目标识,获取方式:Roma 平台右上角“个人设置 > 资源集列表 > 列表上的 id”
roma_instance_id
855ebaf8-c722-498b-aec7-9b826a74f3b5
【必填】实例标识,获取方式:Roma 平台右上角“应用与数据集成平台 ROMA Connect > 实例上的实例 ID”
图15 图示7 - 脚本更新
ROMA 台里的应用返回的 appsecret 长度有点长,所以需要修改下字段长度。
检查下管理平台edc业务库“应用系统表(operation_clientapp)”里的字段“AppSecret”长度,如果长度小于500,执行下面语句修改字段长度:
alter table operation_clientapp modify column appsecret varchar(500);
图16 脚本更新 - 访问网关代理接口地址
以上步骤配置完毕后,就可以在管理平台 edc 里创建应用、注册接口资源、接口授权了。
接口授权给应用系统后,就可以访问发布后的接口地址了。
以 postman 为例,请求地址是华为提供的 APIC 公网地址(“系统参数配置”步骤里的roma_calladdress_http、roma_calladdress_https 参数,根据源地址是否以 https 开头选择对应地址)拼上接口资源的 uri。
此外,还需额外传入 3 个头部参数:
X-HW-ID:应用系统的 appkey
X-HW-AppKey:应用系统的 appsecret
X-Stage:环境名称,系统里默认创建的环境名称为“XXXX_default_env”,可通过系统参数“roma_default_envname”修改,但是不建议。
后续操作正常传参调接口就行。文档参考:https://support.huaweicloud.com/usermanual-roma/apic-ug-190215022.html
图17 访问网关代理接口地址 - 其它说明
- 参考华为提供的文档,编写 roma 工具类 RomaAmUtil.java
https://support.huaweicloud.com/wtsnew-roma/index.html
创建 roma 网关实现类 RomaAMService.java,实现管理平台网关业务接口,底层调用工具类 RomaAmUtil.java 里的方法。
管理平台和门户里接口访问地址展示、接口测试等地方特殊处理,适配 roma。目前只有管理平台4.1、4.1.1版本对接了 roma 网关,其它版本或者其它系统需要对接 roma 网关,可以参考上述步骤(RomaAmUtil.java 应该可以通用,RomaAMService.java 需要根据自身业务调整)。
- 未实现点
roma 暂无从授权应用维度统计接口调用情况的 API(已向华为说明,可能后面会提供出来),所以管理平台部分接口统计相关的报表、中屏暂时没有数据展示。
- 参考华为提供的文档,编写 roma 工具类 RomaAmUtil.java
- 系统参数配置: