apache 多主机头 更多内容
  • 使用Spark Shell创建Hudi表

    kinit 创建的用户 新创建的用户需要修改密码,更改密码后重新kinit登录。 普通模式(未开启kerberos认证)无需执行kinit命令。 服务场景下,在source bigdata_env之后,请先source Spark服务的component_env,再去source Hudi的component_env。

    来自:帮助中心

    查看更多 →

  • 流式写入Hudi表

    provider类需要用户自己开发。 “--allow-fetch-from-multiple-sources”表示开启源表写入。 “--allow-continuous-when-multiple-sources”表示开启源表持续写入,如果未设置所有源表写入一次后任务就会结束。 sourceCommon.properties

    来自:帮助中心

    查看更多 →

  • Flume对接OBS

    Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 sink写同一文件 OBS和HDFS在一致性保证上是有差别的:HDFS租约机制可以保证并发

    来自:帮助中心

    查看更多 →

  • 微服务引擎概述

    Engine”的微服务引擎专业版,也可以创建微服务引擎专享版。 微服务引擎专享版采用物理隔离的方式部署,租户独占微服务引擎。 微服务引擎专业版不支持可用区(AZ)。 微服务引擎专享版在创建时可以设置可用区(AZ)。 创建微服务引擎后,可用区不支持修改,请根据需要设置。 不支持创建跨CPU架构的微服务引擎专享版实例。

    来自:帮助中心

    查看更多 →

  • 在本地Windows环境中调测MapReduce应用

    使用具有任务查看权限的用户登录 FusionInsight Manager,单击“集群 > 待操作集群的名称 > 服务 > Yarn > ResourceManager()”进入Web界面后查看任务执行状态。 图2 ResourceManager Web UI页面 查看MapReduce日志获取应用运行情况

    来自:帮助中心

    查看更多 →

  • 工程结构

    工程结构 工程的主要目录结构如下: 图1 工程目录结构 Main.java 为函数的入口,在main函数中需要配置三个参数:1.访问的函数名称 2.登录用户账户 3.登录用户密码 如图 args = new String[] {"WEB_CallSiteAPI","api","Change_Me"},

    来自:帮助中心

    查看更多 →

  • 如何配置HBase双读功能

    时使用的集群。 HBase Admin接口、实时写入接口只会访问集群。所以集群宕机后,不能提供Admin接口功能和实时写入接口功能,只能提供Get、Scan查询服务。 操作步骤 将在准备集群认证用户信息时获取的集群keytab认证文件“user.keytab”与“krb5.

    来自:帮助中心

    查看更多 →

  • 如何购买并申请国密SSL证书?

    example.com)。 域名 数量 域名类型选择“单域名”和“泛域名”时,域名数量限制为1个。 域名类型选择“域名”时,域名数量范围为“2~250”。域名数量须满足以下条件: 域名数量固定为1个 附加单域名数量+附加泛域名数量≥1 图1 域名类型 证书类型 选择“OV”证书。 证书品牌

    来自:帮助中心

    查看更多 →

  • 配置HBase主备集群数据自动备份

    配置HBase备集群数据自动备份 前提条件 备集群已经安装并且启动。 备集群上的时间必须一致,而且备集群上的NTP服务必须使用同一个时间源。 当集群HBase服务关闭时,Zookeeper和HDFS服务应该启动并运行。 该工具应该由启动HBase进程的系统用户运行。 如

    来自:帮助中心

    查看更多 →

  • 如何配置HBase双读能力

    。 HBase Admin接口、实时写入接口只会访问集群。所以集群宕机后,不能提供Admin接口功能和实时写入接口功能,只能提供Get、Scan查询服务。 操作步骤 参考准备连接HBase集群配置文件章节,获取HBase集群客户端配置文件“core-site.xml”、“hbase-site

    来自:帮助中心

    查看更多 →

  • 使用Flink Jar读写DIS开发指南

    用户自定义的程序包 自定义的程序包 类 指定加载的Jar包类名,如FlinkDisToDisExample。 默认:根据Jar包文件的Manifest文件指定。 指定:必须输入“类名”并确定类参数列表(参数间用空格分隔) 说明: 当类属于某个包时,类路径需要包含完整包路径,例如:packagePath

    来自:帮助中心

    查看更多 →

  • 多并发JDBC客户端连接JDBCServer

    In First Out)的调度策略,但对于并发的场景,使用FIFO策略容易导致短任务执行失败。因此在并发的场景下,需要使用公平调度策略,防止任务执行失败。 在Spark中设置公平调度,具体请参考http://spark.apache.org/docs/3.1.1/job-scheduling

    来自:帮助中心

    查看更多 →

  • 在Spark SQL作业中使用UDTF

    UDTF(User-Defined Table-Generating Functions)自定义表值函数,UDTF用于解决一进多出业务场景,即其输入与输出是一对的关系,读入一行数据,输出多个值。 约束限制 在 DLI Console上执行UDTF相关操作时,需要使用自建的SQL队列。 不同的IAM用户

    来自:帮助中心

    查看更多 →

  • HBase访问多ZooKeeper场景安全认证

    HBase访问ZooKeeper场景安全认证 场景说明 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper时,为了避免访问连接ZooKeeper认证冲突,提供了样例代码使HBase客户端访问FusionInsight ZooK

    来自:帮助中心

    查看更多 →

  • 如何修复TLS弱加密套件?

    业务需要根据自身实际情况来调整加密套件,例如某些业务(如电商网站)为了追求最大兼容性也会舍弃一定的安全性、华为云WAF也为不同用户提供了套加密套件的组合。 修复 在 TLS/SSL配置项中去除漏洞管理服务扫描出的弱加密套件(详细请参见扫描报告漏洞信息“响应详情”中的内容)。

    来自:帮助中心

    查看更多 →

  • 新建Hadoop集群配置

    keytab将失效,需要重新导出。 Keytab文件在仅安全模式集群下使用,普通模式集群下无需准备Keytab文件。 操作步骤 进入 CDM 界面,进入集群管理界面。选择CDM集群后的“作业管理 > 连接管理 > 集群配置管理”。 在集群配置管理界面,选择“新建集群配置”,配置参数填写如下:

    来自:帮助中心

    查看更多 →

  • 配置HBase主备集群数据自动备份

    配置HBase备集群数据自动备份 前提条件 备集群已经安装并且启动。 备集群上的时间必须一致,而且备集群上的NTP服务必须使用同一个时间源。 当集群HBase服务关闭时,ZooKeeper和HDFS服务应该启动并运行。 该工具应该由启动HBase进程的系统用户运行。 如

    来自:帮助中心

    查看更多 →

  • 修订记录

    云产品约束条件。 2023-06-30 第二十八次正式发布。 新增域名证书监控章节。 新增 CS R管理章节。 优化申请SSL证书章节,域名证书,域名同时支持绑定泛域名和单域名。 2023-06-12 第二十七次正式发布。 优化吊销SSL证书约束限制。 2023-04-17 第二十六次正式发布。

    来自:帮助中心

    查看更多 →

  • 配置多并发客户端连接JDBCServer

    In First Out)的调度策略,但对于并发的场景,使用FIFO策略容易导致短任务执行失败。因此在并发的场景下,需要使用公平调度策略,防止任务执行失败。 在Spark中设置公平调度,具体请参考http://spark.apache.org/docs/3.1.1/job-scheduling

    来自:帮助中心

    查看更多 →

  • HBase访问多ZooKeeper场景安全认证

    HBase访问ZooKeeper场景安全认证 场景说明 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper时,为了避免访问连接ZooKeeper认证冲突,提供了样例代码使HBase客户端访问FusionInsight ZooK

    来自:帮助中心

    查看更多 →

  • 如何修改开源组件Web页面会话超时时间?

    0}"”,其中1200为认证中心的有效时长请根据需要修改,单位为秒,有效时长不要超过28800秒。 在主管理节点重启Tomcat节点。 在master节点上用omm用户执行netstat -anp |grep 28443 |grep LISTEN | awk '{print $7}'查询Tomcat的进程号。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了