HDFS样例程序开发思路 场景说明 HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为： HDFS初始化

查看更多 →

Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上用户可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路 使

查看更多 →

Oozie样例程序开发思路 开发流程 工作流配置文件“workflow.xml”（“coordinator.xml”是对工作流进行调度，“bundle.xml”是对一组coordinator进行管理）与“job.properties”。 如果有实现代码，需要开发对应的jar包，例如Java

查看更多 →

测试评估流程与实践 在一轮测试或者一个迭代测试完成，测试经理可组织测试组成员在华为云CodeArts TestPlan质量中心输出测试报告，进行本轮或本迭代执行评估，为后续的测试活动总结经验和教训，并为测试策略优化提供依据。 关键活动 活动描述 活动输入 活动输出 准备测试报告

查看更多 →

开发与运维 应用管理与运维平台 ServiceStage 软件开发生产线 CodeArts 流水线 Codearts Pipeline 父主题： SCP授权参考

查看更多 →

warning (0.00 sec) ​ 基于TPCH 10 scale的数据，针对上述的查询示例Q1、Q2、Q3。开启与关闭LIMIT OFFSET下推功能的性能对比如下。 图1 性能对比 父主题： LIMIT OFFSET下推

查看更多 →

持续开发与集成 软件版本管理 持续集成

查看更多 →

数据开发与治理 数据源管理与数据标准管理 数据建模 数据开发 数据血缘、资源管理、函数管理和变量管理 数据发布CI/CD、任务运维 数据质量管理 元数据管理 数据资源管理 数据服务管理 数据安全 父主题： 产品操作

查看更多 →

开发与迁移支持 为了降低伙伴在将软件产品迁移至华为云，或基于华为云开发、优化其软件、共建联合解决方案的过程中，所产生的研发和技术投入成本，包括开发、改造、对接、验证等。 父主题： 术语&缩略语解释

查看更多 →

性能测试 测试方法 测试结果 父主题： 并行查询（PQ）

查看更多 →

count(*) from sbtest1 where id/k in (... ...); 性能对比如下表所示： 表1 性能数据 测试方法 开启转换 关闭转换（不适用range_opt） 性能对比 带索引 0.09 2.48 提升26.5倍 父主题： IN谓词转子查询

查看更多 →

进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： 运行Scala和Java样例程序 bin/spark-submit --class com.huawei.bigdata.spark

查看更多 →

ClickHouse应用程序开发思路 通过典型场景，用户可以快速学习和掌握ClickHouse的开发过程，并且对关键的接口函数有所了解。 开发思路 ClickHouse作为一款独立的DBMS系统，使用SQL语言就可以进行常见的操作。开发程序示例中，全部通过clickhouse-jdbc

查看更多 →

topic1 开发思路 启动Flink Kafka Producer应用向Kafka发送数据。 启动Flink Kafka Consumer应用从Kafka接收数据，保证topic与producer一致。 在数据内容中增加前缀并进行打印。 父主题： Flink Kafka样例程序

查看更多 →

启动应用程序连接netcat监测的port成功后，向netcat终端输入数据信息。 开发思路 启动Flink Kafka Producer应用向Kafka发送数据。 启动Flink Kafka Consumer应用从Kafka接收数据，构造Table1，保证topic与producer一致。

查看更多 →

Flink Hudi样例程序开发思路 本章节适用于 MRS 3.3.0及以后版本。 典型场景说明 本样例中Job每秒生成1条数据，将数据写入到Hudi表中，再读取并打印Hudi表中的数据。 开发思路 写Hudi： 通过一个随机生成数据类来生成数据。 将生成的数据转化为DataStream<RowData>。

查看更多 →

进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： 运行Scala和Java样例程序 bin/spark-submit --class com.huawei.bigdata.spark

查看更多 →

进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： 运行Scala和Java样例程序 bin/spark-submit --class com.huawei.bigdata.spark

查看更多 →

环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在 服务器 的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）：

查看更多 →

环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）：

查看更多 →

码。 开发思路 启动Flink Kafka Producer应用向Kafka发送数据。 启动Flink Kafka Consumer应用从Kafka接收数据，保证topic与producer一致。 在数据内容中增加前缀并进行打印。 父主题： Flink Kafka样例程序

查看更多 →