调整HetuEngine INSERT写入优化 HetuEngine向Hive数据源分区表写入数据时，需要根据实际业务的查询结果中分区列数量添加相关自定义配置，以获得最佳的性能效果。 调整HetuEngine INSERT写入步骤 使用HetuEngine管理员用户登录 FusionInsight

查看更多 →

适合不适合。请根据业务需求选择Windows或Linux的操作系统。 表1 操作系统对比 操作系统 开发者语言 数据库 Windows ASP.NET、MFC、C# ACCESS、SQL Server Linux Shell MySQL、SQLite 开发者语言为HTML、C、JAVA、PHP，两种系统都可以选。

查看更多 →

Flume数据写入组件失败 问题现象 Flume进程启动后，Flume数据无法写入到对应组件（本示例以服务端写入到HDFS为例）。 原因分析 HDFS未启动或故障。 查看Flume运行日志： 2019-02-26 11:16:33,564 | ERROR | [SinkRunne

查看更多 →

为什么HBase无法写入数据？ 问题现象 HBase无法写入数据，导致应用侧业务数据无法及时更新。 原因分析 Zookeeper连接数过多。 处理方法 建议业务代码连接同一个CloudTable HBase集群时，多线程创建并复用同一个Connection，不必每个线程都创建各自

查看更多 →

使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入 现象描述 使用Storm-JDBC插件开发Oracle写入Bolt，发现能连上Oracle数据库，但是无法向Oracle数据库里面写数据。 可能原因 拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm

查看更多 →

向Phoenix表中写入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public

查看更多 →

实IP。 各种语言通过调用SDK接口获取X-Forwarded-For字段的方式： ASP： Request.ServerVariables("HTTP_X_FORWARDED_FOR") ASP.NET(C#)： Request.ServerVariables["HTTP_X_FORWARDED_FOR"]

查看更多 →

是否访问资源被劫持 排查步骤 检查 域名 缓存规则配置 可能是缓存规则配置不正确，基本的缓存过期时间设置建议如下： 对于动态文件（如php、jsp、asp等），请设置成0秒，即不缓存，每次请求都回源获取。 对于不经常更新的静态文件（如.jpg、.zip等），建议将缓存过期时间设置成1个月以上。

查看更多 →

当历史记录中的对应URL的缓存预热状态为“成功”时，表示预热完成。 执行大批量文件预热，可能会导致您的源站带宽资源被占满，预热时请尽量分批次执行。 动态文件（如：asp、jsp、php等格式的文件）不能被预热，请勿对动态文件执行预热操作。 当预热资源在源站的cache-control配置为s-maxage

查看更多 →

SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb

查看更多 →

优化向量检索写入与查询性能 写入性能优化 关闭副本，待数据导入完成后再开启副本，减少副本构建的开销。 调整“refresh_interval”为120s或者更大，避免频繁刷新索引生成大量小的segments，同时减少merge带来的向量索引构建开销。 适当调大“native.vector

查看更多 →

从Kafka读取数据写入到RDS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为根据商品的实时点击量，获取每小时内点击量最高的3个商品及其相关信息。商品的实时点击量数据为输入源发送到Kafka中，再将Kafka数据的分析结果输出到RDS中。 例如，输入如下样例数据：

查看更多 →

从Kafka读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为对汽车驾驶的实时数据信息进行分析，将满足特定条件的数据结果进行汇总。汽车驾驶的实时数据信息为数据源发送到Kafka中，再将Kafka数据的分析结果输出到DWS中。 例如，输入如下样例数据：

查看更多 →

FlinkSQL写入JDBC数据支持ignoreDelete 本章节适用于 MRS 3.3.0及以后版本。 使用场景 FlinkSQL写入JDBC数据时可以过滤掉DELETE和UPDATE_BEFORE状态的数据。 使用方法 在创建的JDBC Connector Sink流表中添加“filter

查看更多 →

SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HB

查看更多 →

从HBase读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Hive读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

优化向量检索写入与查询性能 写入性能优化 关闭副本，待数据导入完成后再开启副本，减少副本构建的开销。 调整“refresh_interval”为120s或者更大，避免频繁刷新索引生成大量小的segments，同时减少merge带来的向量索引构建开销。 适当调大“native.vector

查看更多 →