享目录。（ 服务器 共享路径不能设置为根目录，且共享路径的用户组和属组必须为nobody:nobody） “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填

查看更多 →

int：是spark表的字段名和字段类型。 table1：HBase表名。 id：HBase表的rowkey列名。 name=cf1.cq1, age=cf1.cq2：spark表的列和HBase表的列的映射关系。spark的name列映射HBase表的cf1列簇的cq1列，sp

查看更多 →

P地址、侦听客户端连接的端口和备集群的HBase在ZooKeeper上的根目录。 hbase.master.kerberos.principal 、hbase.regionserver.kerberos.principal在备集群HBase hbase-site.xml配置文件中查找。

查看更多 →

如果开启了kerberos认证，需要将客户端的配置文件“spark-default.conf”和sparkJDBC服务端中的配置项spark.yarn.security.credentials.hbase.enabled置为true。 开发思路 查询Hive person表的数据。 根据p

查看更多 →

Hbase HBase连接器支持读取和写入HBase集群。本文档介绍如何使用HBase连接器基于HBase进行SQL查询。 HBase连接器在upsert模式下运行，可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于HBase的rowkey字段定义。如果没

查看更多 →

获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段： 获取Map输出中的最后一条数据。 将数据输出到HBase。 将数据保存到HDFS。 数据规划 创建HDFS数据文件。 在Linux系统上新建文本文件，将log1

查看更多 →

或使用exclusions标签将其排除关联。 若使用到hdfs的配置文件，则需要将core-site.xml、hdfs-site.xml、yarn-site.xml 修改为mrs-core-site.xml、mrs-hdfs-site.xml、mrs-hbase-site.xml conf.addResource(HBaseUtil

查看更多 →

BulkLoad和Put应用场景有哪些 问题 HBase支持使用bulkload和put方式加载数据，在大部分场景下bulkload提供了更快的数据加载速度，但bulkload并不是没有缺点的，在使用时需要关注bulkload和put适合在哪些场景使用。 回答 bulkload是

查看更多 →

运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在 FusionInsight Manager中下载principal用户的认证凭证，样例代

查看更多 →

准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。

查看更多 →

准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。

查看更多 →

HBase BulkLoad和Put应用场景说明 HBase支持使用bulkload和put方式加载数据，在大部分场景下bulkload提供了更快的数据加载速度，但bulkload并不是没有缺点的，在使用时需要关注bulkload和put适合在哪些场景使用。 bulkload是通

查看更多 →

ntConfig/HBase/config”路径下的“hbase-site.xml”、“core-site.xml”和“hdfs-site.xml”文件。 获取HBase数据源的代理用户的“user.keytab”和“krb5.conf”文件。 登录HBase数据源所在集群的FusionInsight

查看更多 →

参考下载用户认证文件，在 MRS Manager下载用户认证文件，解压后得到“krb5.conf”和 “user.keytab”文件。 获取“core-site.xml”、“hbase-site.xml”、“hdfs-site.xml”和“hosts”文件。 参考更新客户端配置文件，在MRS控制台下载客户端配置文件，解压后：

查看更多 →

RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 无法进行数据读写和创建表等操作。 可能原因 ZooKeeper服务异常。 HDFS服务异常。 HBase服务异常。 网络异常。 处理步骤 检查ZooKeeper服务状态。 登录MRS集群详情页面，选择“组件管理”。

查看更多 →

HBase启动失败，RegionServer日志中提示“FileNotFoundException” 问题背景 HBase启动失败，RegionServer一直处于Restoring状态。 原因分析 查看RegionServer的日志（/var/log/Bigdata/hbase/rs/hbase-omm-XXX

查看更多 →

Server建议使用的版本：2005以上。 金仓和 GaussDB 数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 云数据库 SQL Server 数据仓库 ：数据仓库服务（DWS） Hadoop：MRS HDFS，MRS HBase，MRS Hive

查看更多 →

Server建议使用的版本：2005以上。 金仓和GaussDB数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 云数据库 SQL Server 数据仓库：数据仓库服务（DWS）， 数据湖探索 （ DLI ） Hadoop：MRS HDFS，MRS HBase，MRS

查看更多 →

使用Loader从S FTP服务器 导入数据到HDFS/OBS 使用Loader从SFTP服务器导入数据到HBase 使用Loader从SFTP服务器导入数据到Hive 使用Loader从FTP服务器导入数据到HBase 使用Loader从关系型数据库导入数据到HDFS/OBS 使用Loader从关系型数据库导入数据到HBase

查看更多 →

Loader Client Loader的客户端，包括WebUI和CLI版本两种交互界面。 Loader Server Loader的服务端，主要功能包括：处理客户端操作请求、管理连接器和元数据、提交MapReduce作业和监控MapReduce作业状态等。 REST API 实现RESTful（HTTP

查看更多 →

典型场景：从SFTP服务器导入数据到HDFS/OBS 典型场景：从SFTP服务器导入数据到HBase 典型场景：从SFTP服务器导入数据到Hive 典型场景：从FTP服务器导入数据到HBase 典型场景：从关系型数据库导入数据到HDFS/OBS 典型场景：从关系型数据库导入数据到HBase 典型场景：从关系型数据库导入数据到Hive

查看更多 →