更新时间：2023-10-14 GMT+08:00
MRS如何连接spark-beeline？
- 用root用户登录集群Master节点。
- 配置环境变量。
- 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。
例如：
- “机机”用户请执行：kinit -kt user.keytab sparkuser
- “人机”用户请执行：kinit sparkuser
- 执行如下命令连接Spark组件的客户端。
- 在spark-beeline中执行命令，例如在obs://mrs-word001/table/目录中创建表test。
create table test(id int) location 'obs://mrs-word001/table/';
- 执行如下命令查询所有表，返回结果中存在表test，即表示访问OBS成功。
图1 Spark验证返回已创建的表名
- 使用“Ctrl + C”退出spark beeline。
父主题： 大数据业务开发
大数据业务开发 所有常见问题
- MRS是否支持同时运行多个Flume任务？
- 如何修改FlumeClient的日志为标准输出日志？
- Hadoop组件jar包位置和环境变量的位置在哪里？
- HBase支持的压缩算法有哪些？
- MRS是否支持通过Hive的HBase外表将数据写入到HBase？
- 如何查看HBase日志？
- HBase表如何设置和修改数据保留期？
- 如何通过happybase连接到MRS服务的HBase？
- 如何修改HDFS的副本数？
- 如何修改HDFS主备倒换类？
- DynamoDB的number在Hive表中用什么类型比较好？
- Hive Driver是否支持对接dbcp2？
- 用户A如何查看用户B创建的Hive表？
- Hive样例工程中的com.huawei.gaussc10依赖包在哪里下载？
- Hive查询数据是否支持导出？
- Hive使用beeline -e执行多条语句报错如何处理？
- 添加Hive服务后，提交hivesql/hivescript作业失败如何处理？
- Hue下载的Excel无法打开如何处理？
- Hue连接hiveserver，不释放session，报错over max user connections如何处理？
- 如何重置Kafka数据？
- Kafka目前支持的访问协议类型有哪些？
- 消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理？
- Kudu支持的压缩算法有哪些？
- 如何查看Kudu日志？
- 新建集群Kudu服务异常如何处理？
- MRS是否支持Python代码？
- OpenTSDB是否支持Python的接口？
- Presto如何配置其他数据源？
- MRS 1.9.3 Ranger证书如何更新？
- MRS如何连接spark-shell？
- MRS如何连接spark-beeline？
- Spark Job对应的运行日志保存在哪里？
- MRS的Storm集群提交任务时如何指定日志路径？
- 如何检查Yarn的ResourceManager配置是否正常？
- 如何修改Clickhouse服务的allow_drop_detached配置项?
- 执行Spark任务报内存不足告警如何处理？
- ClickHouse系统表日志过大，如何添加定期删除策略？
- 如何获取Spark Jar包？
- 修改hdfs-site.xml文件后未及时重启NameNode导致产生告警如何处理？
- SparkSQL访问Hive分区表启动Job前耗时较长如何处理？
- spark.yarn.executor.memoryOverhead设置不生效如何处理？
- 如何修改ClickHouse服务时区？
- 连接ClickHouse服务端异常报错“code: 516”如何处理？
more
