如何获取Spark Jar包?
华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。
本地环境使用开发工具下载依赖的jar包前,需要确认以下信息。
- 确认本地环境网络正常。
打开浏览器访问:华为提供开源镜像站(https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。
- 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。
比如以2020.2版本的IntelliJ IDEA开发工具为例,单击“File > Settings > Appearance & Behavior > System Settings > HTTP Proxy”,选择“No proxy”,单击“OK”保存配置。
开源镜像配置方式请参考:华为开源镜像配置方式
大数据业务开发 所有常见问题
- MRS是否支持同时运行多个Flume任务?
- 如何修改FlumeClient的日志为标准输出日志?
- Hadoop组件jar包位置和环境变量的位置在哪里?
- HBase支持的压缩算法有哪些?
- MRS是否支持通过Hive的HBase外表将数据写入到HBase?
- 如何查看HBase日志?
- HBase表如何设置和修改数据保留期?
- 如何通过happybase连接到MRS服务的HBase?
- 如何修改HDFS的副本数?
- 如何修改HDFS主备倒换类?
- DynamoDB的number在Hive表中用什么类型比较好?
- Hive Driver是否支持对接dbcp2?
- 用户A如何查看用户B创建的Hive表?
- Hive样例工程中的com.huawei.gaussc10依赖包在哪里下载?
- Hive查询数据是否支持导出?
- Hive使用beeline -e执行多条语句报错如何处理?
- 添加Hive服务后,提交hivesql/hivescript作业失败如何处理?
- Hue下载的Excel无法打开如何处理?
- Hue连接hiveserver,不释放session,报错over max user connections如何处理?
- 如何重置Kafka数据?
- Kafka目前支持的访问协议类型有哪些?
- 消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理?
- Kudu支持的压缩算法有哪些?
- 如何查看Kudu日志?
- 新建集群Kudu服务异常如何处理?
- MRS是否支持Python代码?
- OpenTSDB是否支持Python的接口?
- Presto如何配置其他数据源?
- MRS 1.9.3 Ranger证书如何更新?
- MRS如何连接spark-shell?
- MRS如何连接spark-beeline?
- Spark Job对应的运行日志保存在哪里?
- MRS的Storm集群提交任务时如何指定日志路径?
- 如何检查Yarn的ResourceManager配置是否正常?
- 如何修改Clickhouse服务的allow_drop_detached配置项?
- 执行Spark任务报内存不足告警如何处理?
- ClickHouse系统表日志过大,如何添加定期删除策略?
- 如何获取Spark Jar包?
- 修改hdfs-site.xml文件后未及时重启NameNode导致产生告警如何处理?
- SparkSQL访问Hive分区表启动Job前耗时较长如何处理?
- spark.yarn.executor.memoryOverhead设置不生效如何处理?
- 如何修改ClickHouse服务时区?
- 连接ClickHouse服务端异常报错“code: 516”如何处理?
more