source bigdata_env 更多内容
  • HBase容灾集群主备倒换

    具体请参考安装 MRS 客户端章节。 在备集群HBase客户端,以hbase用户执行以下命令指定备集群写数据状态关闭。 cd 客户端安装目录 source bigdata_env kinit hbase hbase shell set_clusterState_standby 界面提示以下信息表示执行成功:

    来自:帮助中心

    查看更多 →

  • 提交Storm拓扑失败排查思路

    认证异常。 登录客户端节点,进入客户端目录。 执行以下命令重新提交任务。(业务jar包和Topology根据实际情况替换) source bigdata_env kinit 用户名 storm jar storm-starter-topologies-0.10.0.jar storm

    来自:帮助中心

    查看更多 →

  • 快速开发Kafka应用

    -get命令下载到客户端节点本地。 运行作业并查看结果 使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。

    来自:帮助中心

    查看更多 →

  • 导入并配置Oozie样例工程

    登录客户端所在节点,切换到客户端所在目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令在HDFS创建目录并上传样例工程到该目录。 hdfs dfs -mkdir /user/developuser

    来自:帮助中心

    查看更多 →

  • MapReduce REST API接口介绍

    在节点上安装客户端,例如安装到“/opt/client”目录。 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。 source bigdata_env 操作步骤 获取MapReduce上已完成任务的具体信息 命令: curl -k -i --negotiate -u : "http://10

    来自:帮助中心

    查看更多 →

  • 配置HDFS通过IAM委托访问OBS

    以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。

    来自:帮助中心

    查看更多 →

  • 配置Spark加载第三方jar包,用于注册UDF或者扩展SparkSQL

    jar”为例,上传到客户端节点“/tmp”目录下。 配置参数 以客户端安装用户,登录安装客户端的节点,执行如下命令: cd {客户端安装目录} source bigdata_env 如果集群已启用Kerberos认证(安全模式),执行以下命令进行用户认证。集群未启用Kerberos认证(普通模式)无需执行用户认证。

    来自:帮助中心

    查看更多 →

  • 使用代理用户提交Spark作业

    enabled false 保存配置,重启Spark服务。 登录Spark客户端节点,执行如下命令: cd 客户端安装目录 source bigdata_env source Spark/component_env 安全模式执行以下命令,普通模式无需执行: kinit test,输入密码完成认证(首次登录需要修改密码)

    来自:帮助中心

    查看更多 →

  • 使用MRS Spark SQL访问DWS表

    如上传到“/tmp”目录下。 使用root用户登录MRS集群主Master节点,执行如下命令: cd {客户端安装目录} source bigdata_env kinit sparkuser (首次认证需要修改密码,未开启Kerberos认证,则无需执行kinit命令。) hdfs

    来自:帮助中心

    查看更多 →

  • Oozie客户端配置说明

    执行以下命令,切换到客户端安装目录,该操作的客户端目录只是举例,请根据实际安装目录修改。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 判断集群认证模式。 安全模式,执行以下命令进行用户认证。exampleUser为提交任务的用户名。 kinit exampleUser

    来自:帮助中心

    查看更多 →

  • 自定义Hive表行分隔符

    以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户(如果集群未开启Kerberos认证,请跳过该操作) 执行以下命令登录Hive客户端。 beeline

    来自:帮助中心

    查看更多 →

  • 如何针对Topic进行配置增加和删除

    切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。

    来自:帮助中心

    查看更多 →

  • MapReduce REST API接口介绍

    在节点上安装客户端,例如安装到“/opt/client”目录。 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。 source bigdata_env 操作步骤 获取MapReduce上已完成任务的具体信息 命令: curl -k -i --negotiate -u : "http://10

    来自:帮助中心

    查看更多 →

  • 在Linux环境中调测HetuEngine应用

    备注:xxx为“arm”或“x86”。 执行以下命令,进入集群客户端安装目录: cd /opt/client; 执行以下命令,配置环境变量: source bigdata_env; 执行以下命令进行开发程序调试: cd /opt/hetuclient; java -classpath JDBCExample-*

    来自:帮助中心

    查看更多 →

  • 执行HDFS文件并发操作命令

    以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行的用户所属的用户组必须为supergroup组,且执行以下命令进行用户认证。普通模式集群无需执行用户认证。

    来自:帮助中心

    查看更多 →

  • 执行HDFS文件并发操作命令

    以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行的用户所属的用户组必须为supergroup组,且执行以下命令进行用户认证。普通模式集群无需执行用户认证。

    来自:帮助中心

    查看更多 →

  • 准备Linux客户端环境

    绝对路径)。 初始化客户端环境变量。 进入安装目录“/opt/Storm_Client”执行以下命令,导入环境变量信息。 source bigdata_env 开启Kerberos认证的集群,需要申请人机用户,并进行安全登录。 从管理员处获取一个“人机”用户,用于服务认证。例如:账号john。

    来自:帮助中心

    查看更多 →

  • 配置Hive表不同分区分别存储至OBS和HDFS

    客户端安装目录 例如安装目录为“/opt/client”,则执行以下命令: cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 集群认证模式是否为安全模式。 是,执行以下命令进行用户认证: kinit Hive业务用户 否,执行5。 执行以下命令登录Hive客户端。

    来自:帮助中心

    查看更多 →

  • 安装在集群外的MRS客户端如何访问OBS

    S客户端访问OBS: 以客户端安装用户登录安装客户端的节点。 切换到客户端安装目录并配置环境变量: cd 客户端安装目录 source bigdata_env 在HDFS客户端执行以下命令访问OBS: hdfs dfs -ls obs://OBS并行文件系统目录 如下表示对接成功:

    来自:帮助中心

    查看更多 →

  • 建立Hive表分区提升查询效率

    以root用户登录已安装Hive客户端的节点。 执行以下命令,进入客户端安装目录,例如“/opt/client”。 cd /opt/client 执行source bigdata_env命令,配置客户端环境变量。 在客户端中执行如下命令,执行登录操作。 kinit 用户名 执行以下命令登录Hive客户端。 beeline

    来自:帮助中心

    查看更多 →

  • Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常

    上传包之后,修改包的权限,可以设置为755,具体执行命令为: chmod 755 包名称 在客户端目录下执行以下命令刷新Sqoop客户端: source bigdata_env 重新执行sqoop命令。 父主题: 使用Sqoop

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了