Spark从HBase读取数据再写入HBase样例程序开发思路 场景说明 假定HBase的table1表存储用户当天消费的金额信息，table2表存储用户历史消费的金额信息。 现table1表有记录key=1,cf:cid=100，表示用户1在当天消费金额为100元。 table2表有记录key=1

查看更多 →

两个文件上传客户端所在 服务器 上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user

查看更多 →

使用Get读取HBase数据 功能简介 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 代码样例 以下代码片段在com

查看更多 →

大量数据文件，训练过程中读取数据效率低？ 当数据集存在较多数据文件（即海量小文件），数据存储在OBS中，训练过程需反复从OBS中读取文件，导致训练过程一直在等待文件读取，效率低。 解决方法 建议将海量小文件，在本地压缩打包。例如打包成.zip格式。 将此压缩后的文件上传至OBS。

查看更多 →

入到DWS的基本信息页面。 在“基本信息”的“数据库属性”中获取该实例的“内网IP”、“端口”，“基本信息”页面的“网络”中获取“虚拟私有云”和“子网”信息，方便后续操作步骤使用。 单击“连接信息”中的安全组名称，在“入方向规则”中添加放通队列网段的规则。例如，本示例队列网段为“10

查看更多 →

两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user

查看更多 →

两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user

查看更多 →

两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user

查看更多 →

上例所示，运行结果table2表用户key=1的总消费金额为cf:cid=1100元。 数据规划 在开始开发应用前，需要创建Hive表，命名为person，并插入数据。同时，创建HBase table2表，用于将分析后的数据写入。 将原日志文件放置到HDFS系统中。 在本地新建一个空白的log1.txt文件，并在文件内写入如下内容：

查看更多 →

任务。置灰项不可修改且处于调度中的任务不可编辑。 终止采集任务 在任务列表中找到需要终止的任务，单击“操作”栏中的“终止”，将执行中的任务终止。 删除采集任务 在任务列表中找到需要删除的任务，单击“操作”栏中的“删除”可删除此任务。 父主题： 数据管家管理

查看更多 →

在WiseDBA中申请数据库账号 需要临时执行SQL语句时，可申请临时账号处理，本文介绍如何申请账号。 前提条件 需要具备AppStage服务运维岗位权限、运维管理员权限或基础运维岗位权限，权限申请操作请参见AppStage组织成员申请权限。 申请账号 进入AppStage运维中心。

查看更多 →

在数据库表中搜索文本 搜索表 创建GIN索引 索引使用约束 父主题： 全文检索

查看更多 →

在WiseDBA中同步数据库账号 当业务数据库中新增账号时，通过同步账号功能可以将业务数据库中新增的账号同步到WiseDBA台账中。 注意事项 在WiseDBA台账中删除账号时，会将删除的账号放至回收站中，该账号仍存在于业务数据库中，此时如果执行同步操作，不会将业务数据库中的该账号同步

查看更多 →

在WiseDBA中查看数据库会话 支持对 GaussDB (for MySQL)、GaussDB及RDS(for MySQL)类型数据库会话进行实时展示，按不同维度统计、筛选，并提供紧急情况下批量Kill会话能力。 查看实时会话列表 进入AppStage运维中心。 在顶部导航栏选择服务。

查看更多 →

配置Spark读取HBase表数据 操作场景 Spark on HBase为用户提供了在Spark SQL中查询HBase表，通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。 Spark On HBase 登录Manager界面，选择“集群

查看更多 →

在WiseDBA中采集数据库元数据 数据采集功能用于定期采集数据库元数据，如数据库名、表名、数据量、占用空间等，采集到的元数据保存到WiseDBA中，便于用户在实时诊断功能中查看数据库空间使用情况。 使用须知 RDS for PostgreSQL数据库不支持数据采集。 开启数据采集后，系

查看更多 →

在WiseDBA中查看数据库状态 支持查询GaussDB(for MySQL)、GaussDB及RDS(for MySQL)类型数据库的Innodb引擎状态、全局变量、全局状态。 查看状态 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“微服务开发 > 数据库治理”。

查看更多 →

Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致？ 问题描述 Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为不一致 根因分析 该问题的根因是数据库设置的时区不合理，通常该问题出现时Flink读取的时间和RDS数据库的时间会相差13小时。

查看更多 →

典型场景：从关系型数据库导入数据到HBase 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。

查看更多 →

配置Spark读取HBase表数据 Spark On HBase Spark on HBase为用户提供了在Spark SQL中查询HBase表，通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。 登录Manager界面，选择“集群

查看更多 →

典型场景：从HBase导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HBase导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。

查看更多 →