MapReduce服务 MRS

 

MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。包年更优惠,买1年只需付10个月费用

 
 

    mapreduce 划分子任务 更多内容
  • MapReduce任务长时间无进展

    MapReduce任务长时间无进展 问题 MapReduce任务长时间无进展。 回答 一般是因为内存太少导致的。当内存较小时,任务中拷贝map输出的时间将显著增加。 为了减少等待时间,您可以适当增加堆内存空间。 任务的配置可根据mapper的数量和各mapper的数据大小来进行优

    来自:帮助中心

    查看更多 →

  • 通过Windows系统提交MapReduce任务

    通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行,则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数,或参数值为“false

    来自:帮助中心

    查看更多 →

  • 创建分子对接作业

    创建分子对接作业 功能介绍 创建分子对接作业。 URI POST /v1/{project_id}/eihealth-projects/{eihealth_project_id}/drug-jobs/docking 表1 路径参数 参数 是否必选 参数类型 描述 project_id

    来自:帮助中心

    查看更多 →

  • 分子属性预测(MPP)

    分子属性预测(MPP) ADMET属性预测接口 ADMET属性预测接口(默认+自定义属性) 父主题: API(AI辅助药物设计)

    来自:帮助中心

    查看更多 →

  • MapReduce任务commit阶段优化

    MapReduce任务commit阶段优化 操作场景 默认情况下,如果一个MR任务会产生大量的输出结果文件,那么该job在最后的commit阶段,会耗费较长的时间将每个task的临时输出结果commit到最终的结果输出目录。特别是在大集群中,大Job的commit过程会严重影响任务的性能表现。

    来自:帮助中心

    查看更多 →

  • 创建分子聚类作业

    创建分子聚类作业 功能介绍 创建分子聚类作业。 URI POST /v1/{project_id}/eihealth-projects/{eihealth_project_id}/drug-jobs/{job_id}/cluster 表1 路径参数 参数 是否必选 参数类型 描述

    来自:帮助中心

    查看更多 →

  • 创建分子搜索作业

    limit_concurrency Integer 限制的并发量。 请求示例 创建分子搜索作业,作业名称为demo-job,分子SMILES表达式为string,从数据库中找到最相似top100的分子。 https://{endpoint}/v1/{project_id}/eihe

    来自:帮助中心

    查看更多 →

  • 创建分子生成作业

    smiles_list 否 Array of strings 分子表达式列表。 最小长度:1 最大长度:512 数组长度:10 - 10000 molecule_file 否 DrugFile object 分子文件,分子表达式列表和分子文件二选一,分子文件优先级最高。 binding_sites

    来自:帮助中心

    查看更多 →

  • 通过Slow Start调优MapReduce任务

    通过Slow Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动,过早启动Reduce任务会导致资源占用,影响任务运行效率,但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率,提高任务运行效率。例如:

    来自:帮助中心

    查看更多 →

  • 通过Slow Start调优MapReduce任务

    通过Slow Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动,过早启动Reduce任务会导致资源占用,影响任务运行效率,但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率,提高任务运行效率。例如:

    来自:帮助中心

    查看更多 →

  • 配置MapReduce任务推测执行

    配置MapReduce任务推测执行 操作场景 当集群规模很大时(如几百上千台节点的集群),个别节点出现软硬件故障的概率会增大,并且会因此延长整个任务的执行时间(运行完成的任务会等待异常设备运行完成)。推测执行通过将一个task分给多台机器运行,取首先运行完成的节点。对于小集群,可以将该功能关闭。

    来自:帮助中心

    查看更多 →

  • 通过Windows系统提交MapReduce任务

    通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行,则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数,或参数值为“false

    来自:帮助中心

    查看更多 →

  • 配置MapReduce任务推测执行

    配置MapReduce任务推测执行 操作场景 当集群规模很大时(如几百上千台节点的集群),个别节点出现软硬件故障的概率会增大,并且会因此延长整个任务的执行时间(运行完成的任务会等待异常设备运行完成)。推测执行通过将一个task分给多台机器运行,取首先运行完成的节点。对于小集群,可以将该功能关闭。

    来自:帮助中心

    查看更多 →

  • MapReduce大任务的AM调优

    MapReduce任务的AM调优 操作场景 当运行一个大任务(map总数达到了10万的规模),但是一直没有运行成功。经过查询发现是ApplicationMaster(以下简称AM)反应缓慢,最终超时失败。 此任务的问题是,task数量变多时,AM管理的对象也线性增长,因此就需要

    来自:帮助中心

    查看更多 →

  • MapReduce大任务的AM调优

    MapReduce任务的AM调优 操作场景 当运行一个大任务(map总数达到了10万的规模),但是一直没有运行成功。经过查询发现是ApplicationMaster(以下简称AM)反应缓慢,最终超时失败。 此任务的问题是,task数量变多时,AM管理的对象也线性增长,因此就需要

    来自:帮助中心

    查看更多 →

  • 分子搜索作业管理

    分子搜索作业管理 创建分子搜索作业 查询分子搜索作业详情 父主题: API(盘古辅助制药平台)

    来自:帮助中心

    查看更多 →

  • 药物通用接口

    删除配体相似性图计算任务 根据center、size、padding参数生成可渲染的口袋文件内容 根据表面离散点坐标集生成可渲染的文件内容 将传入的蛋白和小分子拼接成复合物结构 创建分子分子复合物批量下载任务 查询分子分子复合物批量下载任务详情 受体预处理(Fasta格式) 父主题:

    来自:帮助中心

    查看更多 →

  • 拆分子资产给用户

    分子资产给用户 将可组合资产中的子资产拆分转移给指定用户。 调用方法 TransferChild(fromCollectionIndex, fromTokenId, to, childCollectionIndex, childTokenId string)(string,error)

    来自:帮助中心

    查看更多 →

  • 分子生成作业管理

    分子生成作业管理 创建分子生成作业 查询分子生成作业详情 父主题: API(盘古辅助制药平台)

    来自:帮助中心

    查看更多 →

  • 分子对接作业管理

    分子对接作业管理 创建分子对接作业 查询分子对接作业详情 父主题: API(盘古辅助制药平台)

    来自:帮助中心

    查看更多 →

  • 拆分子资产给用户

    分子资产给用户 将可组合资产中的子资产拆分转移给指定用户。 调用方法 public String transferChild(String fromCollectionIndex, String fromTokenId, String to, String childCollectionIndex

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了