基于Slurm构建泛HPC场景云上云下资源协同解决方案

基于Slurm构建泛HPC场景云上云下资源协同解决方案

    apache集群配置 更多内容
  • 配置CCE集群子账号权限

    配置CCE集群子账号权限 前提条件 已使用云租户部署计算节点。 操作步骤 以主账号登录CCE管理控制台。 在控制台左侧,单击“权限管理”,在“权限管理”页面,选择需要增加权限的CCE集群,单击右上角“添加权限”,进入添加权限页面。 图1 CCE管理控制台权限管理 在添加权限页面,

    来自:帮助中心

    查看更多 →

  • 配置Elasticsearch集群网络

    配置Elasticsearch集群网络 配置Elasticsearch集群公网访问 配置Elasticsearch集群终端节点服务 配置Elasticsearch集群独享型负载均衡 父主题: 使用Elasticsearch搜索数据

    来自:帮助中心

    查看更多 →

  • CCE集群高可用推荐配置

    CCE集群高可用推荐配置 为了保证应用可以稳定可靠的运行在Kubernetes里,本文介绍构建Kubernetes集群时的推荐配置。 类型 说明 高可靠配置建议 集群控制面 CCE是一项托管式的Kubernetes服务,集群控制面(即控制节点)无需由用户进行运维,您可以通过一些集群配置来提高集群整体的稳定性和可靠性。

    来自:帮助中心

    查看更多 →

  • 配置MRS集群弹性伸缩

    前完成集群的扩缩容,避免出现增加或减少资源的延后。 弹性伸缩规则与资源计划均可触发弹性伸缩,两者至少配置其中一种,也可以叠加使用。 视频介绍 配置 MRS 集群弹性伸缩操作案例可参考配置MRS集群弹性伸缩操作视频,该视频以MRS 3.1.0版本集群为例,介绍如何在购买集群配置弹性伸缩、如何为已有集群新增弹性伸缩策略。

    来自:帮助中心

    查看更多 →

  • 修改集群快照的基础配置

    修改集群快照的基础配置 功能介绍 该接口用于修改集群快照的基础配置,可修改OBS桶和IAM委托。 可以使用该接口开启快照功能。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/index_snapshot/setting

    来自:帮助中心

    查看更多 →

  • 查看并修改CDM集群配置

    查看并修改 CDM 集群配置 操作场景 CDM集群已经创建成功后,您可以查看集群基本信息,并修改集群配置。 查看集群基本信息: 集群信息:集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置集群规格、CPU和内存配置等信息。 网络信息:网络配置。 支持修改集群的以下配置: 消息

    来自:帮助中心

    查看更多 →

  • 配置MRS集群用户私有属性

    户私有属性配置。 本章节仅适用于MRS 3.x及之后版本。 配置MRS集群用户私有属性限制约束 管理员不能设置或取消业务用户的Independent属性。 管理员不能获取私有用户的认证凭据。 配置MRS集群用户私有属性前提条件 已获取要求权限的管理员用户和密码。 配置用户私有属性开关

    来自:帮助中心

    查看更多 →

  • 配置MRS集群存算分离

    配置MRS集群存算分离 MRS存算分离配置流程说明 配置MRS集群通过IAM委托对接OBS 配置MRS集群通过Guardian对接OBS 存算分离常见问题

    来自:帮助中心

    查看更多 →

  • 配置Hudi通过IAM委托访问OBS

    配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env

    来自:帮助中心

    查看更多 →

  • 输入文件数超出设置限制导致任务执行失败

    解决办法 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击

    来自:帮助中心

    查看更多 →

  • Hive任务执行中报栈内存溢出导致任务执行失败

    opts的值: 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击

    来自:帮助中心

    查看更多 →

  • 准备本地应用开发环境

    jdk。 安装配置IDEA 用于开发Flink应用程序的工具。版本要求:14.1.7。 安装Scala Scala开发环境的基本配置。版本要求:2.11.7。 安装Scala插件 Scala开发环境的基本配置。版本要求:1.5.4。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。

    来自:帮助中心

    查看更多 →

  • 准备本地应用开发环境

    如果使用Linux环境调测程序,需在准备安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端,例如客户端安装目录为“/opt/hadoopclient”。客户端安装可参考配置Flink应用安全认证。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。 集群的Master节点或

    来自:帮助中心

    查看更多 →

  • 执行join操作时localtask启动失败

    解决办法 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击

    来自:帮助中心

    查看更多 →

  • 迁移HBase索引数据

    迁移数据时旧版本集群应为MRS1.5及其以前的版本,新版本集群应为MRS1.7及其以后的版本。 迁移数据前用户应该有旧的索引数据。 安全集群配置集群互信和启用集群间拷贝功能,普通集群仅需启用集群间拷贝功能。详情请参见配置集群互信。 操作步骤 把旧集群中的用户数据迁移至新集群中。迁移

    来自:帮助中心

    查看更多 →

  • Apache Hive数据连接参数说明

    使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 是否使用集群配置 是 此参数用于选择用户已经创建好的集群配置。 您可以通过使用集群配置,简化Hadoop连接参数配置。 URI 是 使用集群配置为否时,是必选项。 NameNode URI地址。例如:hdfs://nn1_example

    来自:帮助中心

    查看更多 →

  • 使用不同用户执行yarn-session创建Flink集群失败

    使用不同用户执行yarn-session创建Flink集群失败 问题背景与现象 使用Flink过程中,具有两个相同权限用户testuser和bdpuser。 使用用户testuser创建Flink集群正常,但是切换至bdpuser用户创建Fllink集群时,执行yarn-session.sh命令报错:

    来自:帮助中心

    查看更多 →

  • 开启Oozie HA机制

    FusionInsight Manager界面选择“集群 > 服务 > Oozie > 配置 > 全部配置”,在“自定义”的“oozie.site.configs”参数中添加如下四个配置项。修改完成后单击“保存”,在弹框中单击“确定”保存配置。 名称 值 参数说明 oozie.services

    来自:帮助中心

    查看更多 →

  • 开启Oozie HA机制

    在FusionInsight Manager界面选择“集群 > 服务 > Oozie > 配置 > 全部配置”,在“自定义”的“oozie.site.configs”参数中添加如下四个配置项。修改完成后单击“保存”,在弹框中单击“确定”保存配置。 名称 值 参数说明 oozie.services

    来自:帮助中心

    查看更多 →

  • 配置部署服务的主机集群

    配置部署服务的主机集群 新建主机集群 向主机集群中添加主机 删除CodeArts Deploy主机集群

    来自:帮助中心

    查看更多 →

  • Flink故障排除

    Manager与Application Master(简称AM)。 如果用户安装安全集群需要使用kerberos认证和security cookie认证。根据日志提示,发现配置文件中“security.kerberos.login.keytab :”配置项错误,未进行安全配置。 解决方法如下: 从MRS上下载用户的

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了