10.190.x.x /app/dt/data-wrangling 8085 安装算子服务 修改配置文件application-dev.yml 修改stdms.callback.url中的ip和端口，配置为CIM数据汇聚管理平台的ip和端口 当使用minio存储日志时，配置log

查看更多 →

x.x /app/dt/data-spark-submit 8087 安装spark提交服务 修改配置文件application-dev.yml 修改stdms.callback.url中的ip和端口，配置为CIM数据汇聚管理平台的ip和端口 当使用minio存储日志时，配置log

查看更多 →

MRS 如何连接spark-shell？ 用root用户登录集群Master节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit

查看更多 →

使用Hue提交Oozie Shell作业 操作场景 该任务指导用户通过Hue界面提交Shell类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“Shell”按钮，将其拖到操作区中。 在弹出的“Shell”窗口中配置“Shell command”的值，例如“oozie_shell

查看更多 →

使用Spark Shell创建Hudi表 操作场景 本指南通过使用spark-shell简要介绍了Hudi功能。使用Spark数据源，将通过代码段展示如何插入和更新Hudi的默认存储类型数据集： COW表。每次写操作之后，还将展示如何读取快照和增量数据。 前提条件 在Manage

查看更多 →

使用Hue提交Oozie Shell作业 操作场景 该任务指导用户通过Hue界面提交Shell类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“Shell”按钮，将其拖到操作区中。 在弹出的“Shell”窗口中配置“Shell command”的值，例如“oozie_shell

查看更多 →

使用Spark Shell创建Hudi表 本章节仅适用于MRS 3.3.1-LTS及之前版本。 操作场景 本章节主要介绍了如何通过spark-shell使用Hudi功能。 使用Spark数据源，通过代码段展示如何插入和更新Hudi的默认存储类型数据集COW表，以及每次写操作之后如何读取快照和增量数据。

查看更多 →

启动cloudeye-exporter。 默认读取cloudeye-exporter下的clouds.yml文件，也可使用-config参数指定clouds.yml文件路径。 ./cloudeye-exporter -config=clouds.yml 出于安全考虑cloudeye-exporter提供了-s参数, 可以通过命令行交互的方式输入ak

查看更多 →

部署“执行Shell命令”步骤超时 问题现象 部署Shell命令：“java -jar jenkins.war --httpPort=8088”时，日志将卡在部署中，直到超时。 原因分析 Shell命令部署结束会获取部署结果，如果是持续执行的命令，等待部署结果会超时，此时会报出部署失败，并提示部署超时。

查看更多 →

如何查看HBase shell的TTL属性？ 如果插入数据时，设置了CELL的TTL，TTL属性不支持查看，但是可以通过验证设置的TTL是否生效来确认。 如果插入数据时未设置CELL的TTL，此时系统会自动插入当前时间为时间戳。 父主题： 通用类

查看更多 →

开源sqoop-shell工具使用指导 概述 sqoop-shell是一个开源的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能： 支持创建和更新连接器 支持创建和更新作业 支持删除连接器和作业 支持以同步或异步的方式启动作业

查看更多 →

通过Mongo Shell连接DDS实例 本章节介绍从购买到使用内网通过Mongo Shell连接集群实例并对文档数据库进行读写数据的操作步骤。 步骤1：购买集群实例 步骤2：购买E CS 步骤3：设置安全组规则 步骤4：通过Mongo Shell连接DDS集群实例 步骤5：创建数据库并写入数据

查看更多 →

开源sqoop-shell工具使用指导 概述 本章节适用于MRS 3.x及后续版本。 sqoop-shell是一个开源的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能： 支持创建和更新连接器 支持创建和更新作业

查看更多 →

部署ldap服务端 配置yml文件ldap用户密码等信息 vi ldap.yml 使用yml文件启动ldap docker服务 docker-compose -f ldap.yml up -d 父主题： 配置LDAP服务

查看更多 →

|_ elasticsearch.yml |_ kibana |_ kibana.yml |_ logstash |_ log |_ logstash.conf |_ logstash.yml |_ python_elk |_

查看更多 →

构建环境、构建参数、构建命令、构建步骤等操作，通过yaml语法编写成build.yml文件实现，并且将build.yml文件和被构建的代码一起存储到代码仓库。执行构建任务时，系统会以build.yml文件作为构建脚本执行构建任务，使构建过程可追溯、可还原，安全可信。本实践以使用M

查看更多 →

/S，这里可以针对filebeat.yml配置文件做优化，提高写入ES的性能。 原因分析 filebeat.yml的默认配置比较保守，在日志量很大的业务场景，需要修改filebeat.yml参数进行调优。 处理步骤 针对filebeat.yml配置文件做参数优化，调整input端配置：

查看更多 →

有关所有详细信息和选项，请查看创建。 目录 您将在工作目录中看到以下文件： serverless.yml src/index.js serverless.yml 每个service配置都在serverless.yml文件中管理。本文件的主要用途是： 声明Serverless服务。 在服务中定义一个或多个函数：

查看更多 →

deploy使用Framework进行部署时，serverless.yml中的所有内容都会同时部署。 插件 可以使用插件覆盖或扩展Framework的功能。每个serverless.yml都可以包含一个“plugins:属性”，该属性具有多个插件。 # serverless.yml plugins: - se

查看更多 →

当您在serverless.yml中更新了函数、事件或资源配置，并且希望将该更改（或多个更改）部署到华为云时，请使用此方法。 工作原理 Serverless Framework将serverless.yml中的所有语法转换为华为云部署管理的配置模板。 提供商插件解析serverless.yml配置并转换为华为云资源。

查看更多 →

非必填。 sh：执行shell命令。 inputs：步骤输入参数，每个步骤的输入参数不一样，详见具体构建步骤说明，必填项。 command：执行shell命令，当checkout或manifest_checkout无法满足业务诉求时，可以自定义编写shell命令进行构建前的准备工作，必填项。

查看更多 →