使用Spark Shell创建Hudi表 本章节仅适用于 MRS 3.3.1-LTS及之前版本。 操作场景 本章节主要介绍了如何通过spark-shell使用Hudi功能。 使用Spark数据源，通过代码段展示如何插入和更新Hudi的默认存储类型数据集COW表，以及每次写操作之后如何读取快照和增量数据。

查看更多 →

MRS如何连接spark-shell？ 用root用户登录集群Master节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit

查看更多 →

部署包 部署包就是ansible-playbook，作为业务虚拟机部署的脚本使用。 图1 部署包结构 其中package.json里面的内容为playbook。 父主题： 打包规范

查看更多 →

ics 参数 参数类型 描述 playbook_instance_id String 剧本实例ID 最小长度：0 最大长度：64 playbook_instance_name String 剧本实例名称 最小长度：0 最大长度：64 playbook_instance_run_time

查看更多 →

通过Mongo Shell连接DDS实例 本章节介绍从购买到使用内网通过Mongo Shell连接集群实例并对文档数据库进行读写数据的操作步骤。 步骤1：购买集群实例 步骤2：购买E CS 步骤3：设置安全组规则 步骤4：通过Mongo Shell连接DDS集群实例 步骤5：创建数据库并写入数据

查看更多 →

开源sqoop-shell工具使用指导 概述 本章节适用于MRS 3.x及后续版本。 sqoop-shell是一个开源的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能： 支持创建和更新连接器 支持创建和更新作业

查看更多 →

最大长度：64 action_id 否 String 流程ID 最小长度：32 最大长度：64 playbook_id 否 String 剧本ID 最小长度：0 最大长度：64 playbook_version_id 否 String 剧本版本ID 最小长度：0 最大长度：64 project_id

查看更多 →

部署“执行Shell命令”步骤超时 问题现象 部署Shell命令：“java -jar jenkins.war --httpPort=8088”时，日志将卡在部署中，直到超时。 原因分析 Shell命令部署结束会获取部署结果，如果是持续执行的命令，等待部署结果会超时，此时会报出部署失败，并提示部署超时。

查看更多 →

开源sqoop-shell工具使用指导 概述 sqoop-shell是一个开源的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能： 支持创建和更新连接器 支持创建和更新作业 支持删除连接器和作业 支持以同步或异步的方式启动作业

查看更多 →

如何查看HBase shell的TTL属性？ 如果插入数据时，设置了CELL的TTL，TTL属性不支持查看，但是可以通过验证设置的TTL是否生效来确认。 如果插入数据时未设置CELL的TTL，此时系统会自动插入当前时间为时间戳。 父主题： 通用类

查看更多 →

Ansible步骤关于copy模块的报错 问题现象 部署Ansible步骤，选择自定义的playbook文件部署报错，日志如下图所示。 原因分析 根据日志信息，原因是使用copy模块或者template模块时，src目录为绝对目录。 处理办法 使用copy或template模块时

查看更多 →

使用了交互性的Shell命令 问题现象 部署Shell命令：“yum install” ; “cat ${filename}”; “awk '{print $0}' ${filename}”等需要等待用户输入下一步指令的shell命令时，日志将卡到部署中，直到超时。 原因分析 由

查看更多 →

使用Kafka Shell命令无法操作Kafka集群 问题背景与现象 用户执行Kafka命令查看当前topic信息，但发现业务执行失败。 具体信息如下： root@Slave2bin]#./kafka-topics.sh --describe --topic example-metric1

查看更多 →

"<status>" request.name = "<name>" request.playbook_name = "<playbook_name>" request.dataclass_name = "<dataclass_name>"

查看更多 →

最大长度：64 action_id String 流程ID 最小长度：32 最大长度：64 playbook_id String 剧本ID 最小长度：0 最大长度：64 playbook_version_id String 剧本版本ID 最小长度：0 最大长度：64 project_id

查看更多 →

最大长度：64 action_id String 流程ID 最小长度：32 最大长度：64 playbook_id String 剧本ID 最小长度：0 最大长度：64 playbook_version_id String 剧本版本ID 最小长度：0 最大长度：64 project_id

查看更多 →

instance_type="APP, AOP_WORKFLOW, SCRIPT, PLAYBOOK, TASK, DEBUG" ) response = client.list_playbook_audit_logs(request) print(response)

查看更多 →

在ECS上调试好的shell脚本，在DLF中shell脚本执行异常，如何处理？ 问题描述 在ECS上调试好的shell脚本，在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果： DLF脚本运行结果： 解决方案 添加如下两条命令：

查看更多 →

非法的入口文件路径 问题现象 日志信息提示文件路径错误。 原因分析 由于输入的路径不合法导致报错。 处理方法 输入playbook压缩包解压后的文件目录对应的相对路径。 如果解压后的目录如下图所示，则入口执行文件路径为“AnsibleDemo/install.yml”。 图1 目录结构

查看更多 →

如何配置Kafka客户端shell命令日志 用户问题 如何设置客户端shell命令的日志输出级别？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 切换到Kafka客户端配置目录。

查看更多 →

Shell界面提示如下。 图1 Cloud Shell界面 当作业处于非运行状态或权限不足时会导致无法使用Cloud Shell，请根据提示定位原因即可。 图2 报错提示 部分用户登录Cloud Shell界面时，可能会出现路径显示异常情况，此时在Cloud Shell中单击回车键即可恢复正常。 图3

查看更多 →