PyFlink样例程序开发思路 本场景适用于 MRS 3.3.0及以后版本。 假定业务平台需要提交Flink任务到MRS集群，业务平台主要使用的语言是Python，提供Python读写Kafka作业和Python提交SQL作业的样例。 父主题： PyFlink样例程序

查看更多 →

PyFlink样例程序开发思路 本场景适用于MRS 3.3.0及以后版本。 假定业务平台需要提交Flink任务到MRS集群，业务平台主要使用的语言是Python，提供Python读写Kafka作业和Python提交SQL作业的样例。 父主题： PyFlink样例程序

查看更多 →

HetuEngine样例程序开发思路 通过典型场景，用户可以快速学习和掌握HetuEngine的开发过程，并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序，需要对Hive数据源的A表和MPPDB数据源的B表进行join运算，则可以用HetuEngine来实现Hive数据源数据查询，流程如下：

查看更多 →

Action；如果是Hive，则需要开发SQL文件。 上传配置文件与jar包（包括依赖的jar包）到HDFS，上传的路径取决于“workflow.xml”中的“oozie.wf.application.path”参数配置的路径。 提供三种方式对工作流进行操作，详情请参见Oozie应用开发常见问题。 Shell命令

查看更多 →

根据上述场景进行功能分解，如表1所示： 表1 在应用中开发的功能 序号 步骤 代码示例 1 创建一个Spout用来生成随机文本 请参见创建Storm Spout 2 创建一个Bolt用来将收到的随机文本拆分成一个个单词 请参见创建Storm Bolt 3 创建一个Blot用来统计收到的各单词次数 请参见创建Storm

查看更多 →

查看薪水支付币种为美元的雇员联系方式。 查询入职时间为2014年的雇员编号、姓名等字段，并将查询结果加载进表employees_info_extended中的入职时间为2014的分区中。 统计表employees_info中有多少条记录。 查询使用以“cn”结尾的邮箱的员工信息。 提交

查看更多 →

Action；如果是Hive，则需要开发SQL文件。 上传配置文件与jar包（包括依赖的jar包）到HDFS，上传的路径取决于“workflow.xml”中的“oozie.wf.application.path”参数配置的路径。 提供三种方式对工作流进行操作，详情请参见Oozie应用开发常见问题。 Shell命令

查看更多 →

调用fSystem的create接口创建FSDataOutputStream对象：out，使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象：out，使用out的write方法追加写入数据。 调用fSystem的open接

查看更多 →

HBase样例程序开发思路 通过典型场景，您可以快速学习和掌握HBase的开发过程，并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，如表1所示，A业务操作流程如下： 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。

查看更多 →

查看薪水支付币种为美元的雇员联系方式。 查询入职时间为2014年的雇员编号、姓名等字段，并将查询结果加载进表employees_info_extended中的入职时间为2014的分区中。 统计表employees_info中有多少条记录。 查询使用以“cn”结尾的邮箱的员工信息。 提交

查看更多 →

HDFS样例程序开发思路 场景说明 通过典型场景，可以快速学习和掌握HDFS的开发过程，并对关键的接口函数有所了解。 HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文

查看更多 →

根据上述场景进行功能分解，如表1所示。 表1 在应用中开发的功能 序号 步骤 代码示例 1 创建一个Spout用来生成随机文本 请参见创建Storm Spout 2 创建一个Bolt用来将收到的随机文本拆分成一个个单词 请参见创建Storm Bolt 3 创建一个Blot用来统计收到的各单词次数 请参见创建Storm

查看更多 →

HetuEngine样例程序开发思路 通过典型场景，用户可以快速学习和掌握HetuEngine的开发过程，并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序，需要对Hive数据源的A表和MPPDB数据源的B表进行join运算，则可以用HetuEngine来实现Hive数据源数据查询，流程如下：

查看更多 →

Kudu应用程序开发思路 开发思路 通过典型场景，可以快速学习和掌握Kudu的开发过程，并对关键的接口函数有所了解。 作为存储引擎，通常情况下Kudu会和计算引擎一起协同工作： 首先在计算引擎上（比如Impala）用SQL语句创建表对象； 然后通过Kudu的驱动往这个表里写数据；

查看更多 →

HBase样例程序开发思路 通过典型场景，您可以快速学习和掌握HBase的开发过程，并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，如表1所示，A业务操作流程如下： 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。

查看更多 →

调用fSystem的create接口创建FSDataOutputStream对象：out，使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象：out，使用out的write方法追加写入数据。 调用fSystem的open接

查看更多 →

使用Linux客户端创建一个Topic。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 性能调优建议 建议预先创建Topic，根据业务需求合理规划Partition数目，Partition数目限制了消费者的并发数。 消息key值选取一定是可变的，防止由于消息key值不变导致消息分布不均匀。

查看更多 →

Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外，还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。

查看更多 →

查看薪水支付币种为美元的雇员联系方式。 查询入职时间为2014年的雇员编号、姓名等字段，并将查询结果加载进表employees_info_extended中的入职时间为2014的分区中。 统计表employees_info中有多少条记录。 查询使用以“cn”结尾的邮箱的员工信息。 提交

查看更多 →

Shell命令介绍。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 性能调优建议 建议预先创建Topic，根据业务需求合理规划Partition数目，Partition数目限制了消费者的并发数。 消息key值选取一定是可变的，防止由于消息key值不变导致消息分布不均匀。

查看更多 →

HBase样例程序开发思路 通过典型场景，您可以快速学习和掌握HBase的开发过程，并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，如表1所示，A业务操作流程如下： 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。

查看更多 →