文档首页> > 开发指南> Java> MRS Java SDK示例

MRS Java SDK示例

更新时间: 2018-11-26 14:48

MapReduce服务(MapReduce Service):提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。

创建集群并提交作业

下面代码为MRS集群创建并提交作业的过程,用户可以根据需求进行相应的参数配置,创建完成后,新创建的集群会在MRS服务的集群列表页面上显示。

public void createClusterAndRunAJob() 
{
MapReduceComponent component = MapReduceComponent.builder().id(component_id).name(component_name).version(component_version).desc(component_desc).build();
MapReduceClusterCreate cluster = MapReduceClusterCreate.builder().dataCenter(data_center).masterNodeNum(master_node_num).masterNodeSize(master_node_size).coreNodeNum(core_node_num).coreNodeSize(core_node_size).name(cluster_name).availablilityZoneId(available_zone_id).vpcName(vpc).vpcId(vpc_id).subnetName(subnet_name).subnetId(subnet_id).version(cluster_version).type(cluster_type).volumeSize(volume_size).volumeType(volume_type).keypair(node_public_cert_name).safeMode(safe_mode).components(Lists.newArrayList(component)).build();
MapReduceJobExeCreate jobExe = MapReduceJobExeCreate.builder().jobType(job_type).jobName(job_name).jarPath(jar_path).arguments(arguments).input(input).output(output).jobLog(job_log).fileAction(file_action).hql(hql).hiveScriptPath(hive_script_path).shutdownCluster(shutdown_cluster).submitJobOnceClusterRun(submit_job_once_cluster_run).build();
MapReduceClusterCreateResult result = osclient.mrs().clusters().createAndRunJob(cluster, jobExe);
}

查询集群详情

下面代码为查询集群详情的过程,用户需要传入集群id。

public void describeCluster () {
MapReduceCluster cluster = osclient.mrs().clusters().get(id);
}

终止集群

下面代码为查询集群详情的过程,用户需要传入集群id。

public void deleteCluster () {
ActionResponse delete = osclient.mrs().clusters().delete(id);
}

新增作业并执行

下面代码为新增作业并执行的过程,用户可以根据需求进行相应的参数配置,创建完成后,新创建的作业会在MRS服务的作业列表页面上显示。

public void submitAndExecuteJob () {
MapReduceJobExeCreate jobExeCreate = MapReduceJobExeCreate.builder().jobType(job_type).jobName(job_name).clusterId(cluster_id).jarPath(jar_path).arguments(arguments).input(input).output(output).jobLog(job_log).fileAction(file_action).hql(hql).hiveScriptPath(hive_script_path).isProtected(is_protected).isPublic(is_public).build();
MapReduceJobExe exe = osclient.mrs().jobExes().create(jobExeCreate);
}

查询作业exe对象列表

下面代码为查询作业exe对象列表的过程,用户可以根据需求进行相应的参数配置。

public void getJobExeList () {
JobExeListOptions options = JobExeListOptions.create().page(current_page).pageSize(page_size).clusterId(cluster_id)
.state(state);
List<? extends MapReduceJobExe> list = osclient.mrs().jobExes().list(options);
}

查询作业exe对象详情

下面代码为查询作业exe对象详情的过程,用户需要传入作业exe对象id。

public void getJobExes() {
osclient.mrs().jobExes().get(id);
}

删除作业执行对象

下面代码为删除作业执行对象详情的过程,用户需要传入作业执行对象id。

public void deleteJobExecution () {
ActionResponse delete = osclient.mrs().jobExecutions().delete(id);
}

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

在文档使用中是否遇到以下问题







请至少选择或填写一项反馈信息

字符长度不能超过100

反馈内容不能为空!

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区
点我,12·12惊喜等着你哦~