am.java:371) at org.apache.spark.serializer.JavaDeserializationStream.readObject(JavaSerializer.scala:71) at org.apache.spark.serializer.JavaSerializerInstance

查看更多 →

配置Hudi通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用客户端安装用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env

查看更多 →

架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便了拓扑的部署和提交，缩短了业务开发周期。

查看更多 →

Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置 > HiveServer > 自定义”，在hive-site.xml中增加以下配置： 属性名 属性值 hive.exec.pre.hooks org.apache.hadoop.hive.ql.hooks.ATSHook

查看更多 →

Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置 > HiveServer > 自定义”，在hive-site.xml中增加以下配置： 属性名 属性值 hive.exec.pre.hooks org.apache.hadoop.hive.ql.hooks.ATSHook

查看更多 →

java:1391) at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:340) at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:292) at org.apache.hadoop.fs

查看更多 →

待读取数据大小和配置项“max.partition.fetch.bytes”值，若超过此配置项值，则抛出上述异常。 解决办法 在初始化建立Kafka消费者实例时，设置此配置项“max.partition.fetch.bytes”的值。 例如，参考本例，可以将此配置项设置为“5252880”：

查看更多 →

import org.apache.rocketmq.client.apis.ClientConfiguration; import org.apache.rocketmq.client.apis.ClientException; import org.apache.rocketmq

查看更多 →

key”的内容复制粘贴到“密钥(KEY)”的配置框中。 将“证书ID_证书绑定的 域名 _server.crt”的内容复制粘贴到“证书(PEM格式)”的配置框中。 Apache环境配置SSL证书的方法 在本地解压已下载的证书文件。 下载的文件包含了“Apache”、“IIS”、“Nginx”、“

查看更多 →

Spark on OBS性能调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics

查看更多 →

java:186) at org.apache.hadoop.hbase.security.AbstractHBaseSaslRpcClient.evaluateChallenge(AbstractHBaseSaslRpcClient.java:142) at org.apache.hadoop.hbase

查看更多 →

ip>:<http-port>/jmx，如果该值超过4倍的限定值（4*1M），建议用户配置多个驱动器并重新启动HDFS。 恢复步骤： 在DataNode上配置多个数据目录。 示例：在原先只配置了/data1/datadir的位置 <property> <name>dfs.datanode

查看更多 →

基础配置-主体配置 基础配置-主体配置页面，新增标签主体，在新增标签主体页面 基础信息sheet页，填写标签主体名称和主体标识，单击下一步 图1 主体配置1 数据配置sheet页，选择宽表目录，下方显示该目录下所有宽表，针对宽表进行选择，配置完成，单击下一步 图2 主体配置2 生

查看更多 →

import org.apache.rocketmq.client.apis.ClientConfiguration; import org.apache.rocketmq.client.apis.ClientException; import org.apache.rocketmq

查看更多 →

main()”运行应用工程。 如果集群开启了ZooKeeper SSL，则运行该样例前，需要检查配置文件mapred-site.xml（准备运行环境中样例工程的“conf”配置文件目录中获取）的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce

查看更多 →

SSL证书管理支持将证书一键部署到WAF、ELB、CDN中。部署成功后，可以帮助您提升云产品访问数据的安全性。 详细操作请参见部署证书。 已购买SSL证书和WAF服务，怎样将证书的密钥导出到WAF中使用呢？ 在配置WAF时需要使用SSL证书中密钥，具体操作请参见WAF证书配置。 配置过程中如有问

查看更多 →

am.java:371) at org.apache.spark.serializer.JavaDeserializationStream.readObject(JavaSerializer.scala:71) at org.apache.spark.serializer.JavaSerializerInstance

查看更多 →

org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:301) at org.apache.spark.rdd.RDD.iterator(RDD.scala:265) at org.apache.spark

查看更多 →

单表并发控制配置 参数 描述 默认值 hoodie.write.lock.provider 指定lock provider，不建议使用默认值，使用org.apache.hudi.hive.HiveMetastoreBasedLockProvider org.apache.hudi.client

查看更多 →

scala) Caused by: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/ids at org.apache.zookeeper.KeeperException

查看更多 →

import org.apache.spark.SparkConf; import org.apache.spark.SparkContext; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api

查看更多 →