applicationID命令后Spark只会停掉任务对应的SparkContext，而不是退出当前进程。如果当前进程中存在其他常驻的线程（类似spark-shell需要不断检测命令输入，Spark Streaming不断在从数据源读取数据），SparkContext被停止并不会终止整个进程。 如

查看更多 →

需要增加--conf spark.driver.extraClassPath=/opt/client/Spark2x/spark/conf/:/opt/client/Spark2x/spark/jars/*:/opt/client/Spark2x/spark/x86/*:/kafkadir/*。

查看更多 →

需要增加--conf spark.driver.extraClassPath=/opt/client/Spark2x/spark/conf/:/opt/client/Spark2x/spark/jars/*:/opt/client/Spark2x/spark/x86/*:/kafkadir/*。

查看更多 →

Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的

查看更多 →

，失败（fail）或忽略（ignore）。有关详细信息，请参阅•Bad Records处理： carbon.options.is.empty.data.bad.record 指定空数据是否被视为bad record。有关详细信息，请参阅 Bad Records处理： carbon

查看更多 →

回收站 Octopus平台支持用户删除数据包，执行删除操作的数据包将暂存回收站，等待用户可根据项目情况及时恢复或永久删除。具体操作参考如下： 在“数据包”页签，单击指定数据包操作栏内的“删除”。 确认后单击“确认删除”，删除后的数据包将放入回收站。 图1 删除数据包 查看数据包状态。

查看更多 →

回收站 设置回收站策略 重建实例 父主题： 实例生命周期管理

查看更多 →

RDS不回收只读实例，只有主备或者单机实例才会进入回收站。 回收站策略机制默认开启，且不可关闭。 实例删除后会执行一次全量备份，全量备份完成才能通过重建实例恢复数据。 设置回收站策略 回收站保留天数默认7天。修改回收站保留天数，仅对修改后新进入回收站的实例生效，对于修改前已经存在的实例，仍保持原来的回收策略，请您谨慎操作。

查看更多 →

RDS不回收只读实例，只有主备或者单机实例才会进入回收站。 回收站策略机制默认开启，且不可关闭。 实例删除后会执行一次全量备份，全量备份完成才能通过重建实例恢复数据。 设置回收站策略 回收站保留天数默认7天。修改回收站保留天数，仅对修改后新进入回收站的实例生效，对于修改前已经存在的实例，仍保持原来的回收策略，请您谨慎操作。

查看更多 →

UDF功能的权限控制机制 由于Kafka配置的限制，导致Spark Streaming应用运行失败 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用

查看更多 →

UDF功能的权限控制机制 由于Kafka配置的限制，导致Spark Streaming应用运行失败 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用

查看更多 →

jar）拷贝到Spark运行环境下（即Spark客户端），如“/opt/female”。开启Kerberos认证的安全集群下把从准备Spark应用开发用户中获取的user.keytab和krb5.conf文件拷贝到Spark客户端conf目录下，如：/opt/client/Spark/spark/conf；未开启Kerberos认证集群可不必拷贝user

查看更多 →

回收站 登录管理控制台。 选择“服务列表 > 管理与监管 > 优化顾问”优化顾问服务页面。 左侧导航树选择“架构设计”。 左上角选择“回收站”页签，回收站存有最近6个月内被删除的部署架构图和业务架构图 右侧操作列可以查看、恢复、彻底删除架构图 父主题： 架构设计

查看更多 →

回收站 KooDrive将回收站分为个人回收站和团队回收站，个人空间和团队空间无需留存的文件被删除后进入到回收站，管理员可以操作拥有管辖权的所有团队回收站里的文件(夹)。普通用户只能操作自己个人回收站的文件夹。 回收站页面主要由文件(夹)辅助操作和文件(夹)列表/卡片视图两部分组成。

查看更多 →

回收权限 功能描述 回收已经授予用户或角色的权限。 语法格式 1 REVOKE (privilege,...) ON (resource,..) FROM ((ROLE [db_name].role_name) | (USER user_name)),...); 关键字 ROLE：限定后面的rol

查看更多 →

“空间管理>回收站”中选择“方案回收站”TAB页，选择需要恢复的方案，点击右侧“恢复”按钮，在弹窗的输入框中输入“MODIFY”进行方案恢复。 恢复后的方案在方案管理页面查看。 图1 恢复被删除的解决方案 需求回收站 进入空间，在“空间管理>回收站”中选择“需求回收站”TAB页，

查看更多 →

回收站 设置回收站策略 查看回收站策略 查询回收站所有引擎实例列表 父主题： API（推荐）

查看更多 →

查询回收策略 功能介绍 查询回收策略。 URI GET https://{Endpoint}/v3/{project_id}/instances/recycle-policy 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户在某一region下的project

查看更多 →

配置YARN模式下Spark内部需要上传到HDFS的文件。 /Spark_path/spark/conf/s3p.file,/Spark_path/spark/conf/locals3.jceks Spark_path为Spark客户端的安装路径。 spark.sql.bigdata

查看更多 →

配置YARN模式下Spark内部需要上传到HDFS的文件。 /Spark_path/spark/conf/s3p.file,/Spark_path/spark/conf/locals3.jceks Spark_path为Spark客户端的安装路径。 spark.sql.bigdata

查看更多 →

retainedApplications”决定），当内存中的Spark应用个数超过这个数值时，HistoryServer会回收最先缓存的Spark应用，同时会清理掉相应的“temp_shuffle”文件。 当用户正在查看即将被回收的Spark应用时，可能会出现找不到“temp_shuffle”文件的错误，从而导致当前页面无法访问。

查看更多 →