使用Spark Shell创建Hudi表 操作场景 本章节主要介绍了如何通过spark-shell使用Hudi功能。 使用Spark数据源，通过代码段展示如何插入和更新Hudi的默认存储类型数据集COW表，以及每次写操作之后如何读取快照和增量数据。 前提条件 已下载并安装Hudi

查看更多 →

使用Hue提交Oozie Shell作业 操作场景 该任务指导用户通过Hue界面提交Shell类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“Shell”按钮，将其拖到操作区中。 在弹出的“Shell”窗口中配置“Shell command”的值，例如“oozie_shell

查看更多 →

使用Cloud Shell登录训练容器 使用场景 允许用户使用ModelArts控制台提供的Cloud Shell登录运行中的训练容器。 约束限制 仅专属资源池支持使用Cloud Shell，且训练作业必须处于“运行中”状态。 前提条件：给子账号配置允许使用Cloud Shell的权限

查看更多 →

如何查看HBase shell的TTL属性？ 如果插入数据时，设置了CELL的TTL，TTL属性不支持查看，但是可以通过验证设置的TTL是否生效来确认。 如果插入数据时未设置CELL的TTL，此时系统会自动插入当前时间为时间戳。 父主题： 通用类

查看更多 →

部署“执行Shell命令”步骤超时 问题现象 部署Shell命令：“java -jar jenkins.war --httpPort=8088”时，日志将卡在部署中，直到超时。 原因分析 Shell命令部署结束会获取部署结果，如果是持续执行的命令，等待部署结果会超时，此时会报出部署失败，并提示部署超时。

查看更多 →

开源sqoop-shell工具使用指导 概述 sqoop-shell是一个开源的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能： 支持创建和更新连接器 支持创建和更新作业 支持删除连接器和作业 支持以同步或异步的方式启动作业

查看更多 →

通过Mongo Shell连接DDS实例 本章节介绍从购买到使用内网通过Mongo Shell连接集群实例并对文档数据库进行读写数据的操作步骤。 步骤1：购买集群实例 步骤2：购买E CS 步骤3：设置安全组规则 步骤4：通过Mongo Shell连接DDS集群实例 步骤5：创建数据库并写入数据

查看更多 →

开源sqoop-shell工具使用指导 概述 本章节适用于 MRS 3.x及后续版本。 sqoop-shell是一个开源的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能： 支持创建和更新连接器 支持创建和更新作业

查看更多 →

RFS 自动化部署支持使用代金券吗？ 支持的 父主题： 设计中心

查看更多 →

RES15-01 自动化部署和升级 部署和升级过程由代码实现，以固化部件间依赖、安装和配置过程，减少人工错误。 风险等级 高 关键策略 部署和升级过程自动化完成。 父主题： RES15 升级不中断业务

查看更多 →

实施步骤 自动化部署DMHub环境 自动化部署DataHub环境 自动化部署ADHub环境 开始使用 快速卸载

查看更多 →

自动化部署架构提示未知异常，请联系管理员 图1 自动化部署 如果您是以IAM用户登录的，需要联系管理员对IAM用户授予以下权限： security Administrator IAM ReadOnlyAccess Tenant Gurst 权限的区域要包含华南广州。 父主题： 设计中心

查看更多 →

使用了交互性的Shell命令 问题现象 部署Shell命令：“yum install” ; “cat ${filename}”; “awk '{print $0}' ${filename}”等需要等待用户输入下一步指令的shell命令时，日志将卡到部署中，直到超时。 原因分析 由

查看更多 →

使用Kafka Shell命令无法操作Kafka集群 问题背景与现象 用户执行Kafka命令查看当前topic信息，但发现业务执行失败。 具体信息如下： root@Slave2bin]#./kafka-topics.sh --describe --topic example-metric1

查看更多 →

在ECS上调试好的shell脚本，在DLF中shell脚本执行异常，如何处理？ 问题描述 在ECS上调试好的shell脚本，在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果： DLF脚本运行结果： 解决方案 添加如下两条命令：

查看更多 →

部署“执行shell命令”步骤，提示新建失败 问题现象 在部署步骤时，提示“新建失败”。 原因分析 文本框中输入的部分命令，被云防火墙拦截，导致新建应用失败，以Shell命令为例： 1 2 3 4 5 6 cat /etc/hosts cat /etc/passwd cat /etc/shadow

查看更多 →

/opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。 也可以直接通过密码或者Kerberos认证。 使用密码进行认证： ./sqoop2-shell -uk false -u username -p encryptedPassword

查看更多 →

/opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。 也可以直接通过密码或者Kerberos认证。 使用密码进行认证： ./sqoop2-shell -uk false -u username -p encryptedPassword

查看更多 →

/opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。 也可以直接通过密码或者Kerberos认证。 使用密码进行认证： ./sqoop2-shell -uk false -u username -p encryptedPassword

查看更多 →

/opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。 也可以直接通过密码或者Kerberos认证。 使用密码进行认证： ./sqoop2-shell -uk false -u username -p encryptedPassword

查看更多 →

Shell界面提示如下。 图1 Cloud Shell界面 当作业处于非运行状态或权限不足时会导致无法使用Cloud Shell，请根据提示定位原因即可。 图2 报错提示 部分用户登录Cloud Shell界面时，可能会出现路径显示异常情况，此时在Cloud Shell中单击回车键即可恢复正常。 图3

查看更多 →