准备Spark连接集群配置文件

进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。

• 场景一：准备本地Windows开发环境调测程序所需配置文件。
  1. 登录FusionInsight Manager页面，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“仅配置文件”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64）单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。

     例如，客户端文件压缩包为“FusionInsight_Cluster_1_Services_Client.tar”，解压后得到“FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar”，继续解压该文件。

  2. 进入客户端配置文件解压路径“*\Spark\config”，获取Spark配置文件，并所有的配置文件导入到Spark样例工程的配置文件目录中（通常为“resources”文件夹）。
  3. 复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中。
     

     • 在应用开发过程中，如需在本地Windows系统中调测应用程序，需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。
     • 如果当前节点与MRS集群所在网络平面不互通，可以通过绑定EIP的方式访问MRS集群。
     • Windows本地hosts文件存放路径举例：“C:\WINDOWS\system32\drivers\etc\hosts”。

• 场景二：准备Linux环境运行程序所需配置文件。
  1. 在节点中安装MRS集群客户端，例如客户端安装目录为“/opt/client”。
  2. 获取配置文件：
     1. 登录FusionInsight Manager，在“主页”右上方选择“更多 > 下载客户端”，“选择客户端类型”设置为“仅配置文件”，勾选“仅保存到如下路径”，单击“确定”，下载客户端配置文件至集群主OMS点。
     2. 以root登录主OMS节点，进入客户端配置文件所在路径（默认为“/tmp/FusionInsight-Client/”），解压软件包后获取“*\Spark\config”路径下的配置文件。并将所有的配置文件放置到与准备放置编译出的jar包同目录的“conf”目录下，用于后续调测，例如“/opt/client/conf”。

        例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”，下载路径为主管理节点的“/tmp/FusionInsight-Client”：

        cd /tmp/FusionInsight-Client

        tar -xvf FusionInsight_Cluster_1_Services_Client.tar

        tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar

        cd FusionInsight_Cluster_1_Services_ClientConfig

        cp -r Spark/config/* /opt/client/conf

  3. 检查客户端节点网络连接。

     在安装客户端过程中，系统会自动配置客户端节点“hosts”文件，建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息，如未包含，需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中，确保本地机器能与集群各主机在网络上互通。