文档首页/ MapReduce服务 MRS/ 用户指南(阿布扎比区域)/ FAQ/ 大数据业务开发/ MRS如何连接spark-beeline
更新时间：2024-09-30 GMT+08:00
查看PDF
分享

MRS如何连接spark-beeline

  1. 用root用户登录集群Master节点。
  2. 配置环境变量。

    source /opt/client/bigdata_env

  3. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。

    kinit MRS集群用户

    例如：

    • 开发用户为“机机”用户时请执行：kinit -kt user.keytab sparkuser
    • 开发用户为“人机”用户时请执行：kinit sparkuser
  4. 执行如下命令连接Spark组件的客户端。

    spark-beeline

  5. 在spark-beeline中执行命令，例如在obs://mrs-word001/table/目录中创建表test。

    create table test(id int) location 'obs://mrs-word001/table/';

  6. 执行如下命令查询所有表，返回结果中存在表test，即表示访问OBS成功。

    show tables;

    图1 Spark验证返回已创建的表名
  7. 使用“Ctrl + C”退出spark beeline。
父主题： 大数据业务开发