卸载Plugin(可选) 操作步骤 使用PuTTY工具远程登录Flume所在 服务器 。 停止Flume程序。 进入DIS Flume Plugin插件所在的目录。 cd ${FLUME_HOME} cd dis-flume-plugin 卸载DIS Flume Plugin。 dos2unix install

查看更多 →

上报采集机采集数据 功能介绍 将采集到的数据上报到server端。 URI URI格式 POST /softcomai/datalake/collection/v1.0/uploading 参数说明 无。 请求 请求样例 POST https://ip:port/softcoma

查看更多 →

产生告警的元素名称。 对系统的影响 如果数据源有数据，Flume Source持续读取不到数据，采集会停止。 可能原因 Flume Source故障，导致数据无法发送。 网络故障，导致数据无法发送。 处理步骤 检查Flume Source是否故障。 本地打开用户自定义配置文件properties

查看更多 →

从服务器共享空间删除应用 当云手机服务器上的所有云手机均不再使用某一共享应用时，需要从云手机服务器的共享空间中删除该共享应用，以释放存储空间。 约束与限制 云手机服务器上所有云手机均已卸载该共享应用。 调用示例 DELETE "https://${CPH Endpoint}/v1

查看更多 →

icy”为“REPLACE”或“IGNORE”，Flume遇到编码错误将跳过编码错误，继续采集后续日志。 deserializer LINE 文件解析器，值为“LINE”或 “BufferedLine”。 配置为“LINE”时，对从文件读取的字符逐个转码。 配置为“Buffere

查看更多 →

port：指定端口号。 是 port默认值为22118。 --bbox params包括以下项： --all：获取所有设备上发生异常的文件列表与路径 --status：获取所有设备上发生的异常的数量。若只有一个设备，则返回示例如“{(0,3)}”，表示在设备0上有3个异常；若有多个设备，则返回示例如“{(1

查看更多 →

外部函数调用日志。 /flume/flume-用户名-日期-pid-gc.log Flume进程的GC日志。 /flume/Flume-audit.log Flume客户端的审计日志。 /flume/startAgent.out Flume启动前的进程参数日志。 日志级别 Flume提供了如表2所示的日志级别。

查看更多 →

Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差

查看更多 →

使用PuTTY工具(或其他终端工具)远程登录Flume服务器。 进入到Flume的安装目录。 cd ${FLUME_HOME} 上传“dis-flume-plugin-X.X.X.zip”安装包到此目录下。 解压安装包。 unzip dis-flume-plugin-X.X.X.zip 进入安装包解压后的目录。

查看更多 →

套餐包价格 计费方式 计费说明 04 使用 用户可以使用DIS完成实时数据采集、上传以及数据在云上与存储、分析、计算等服务对接。 管理DIS通道 开通DIS通道 管理源数据Schema 使用DIS 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据

查看更多 →

上传采集机采集数据分片 功能介绍 将采集到的数据分片上报到server端。 URI URI格式 POST /softcomai/datalake/collection/v1.0/sliceUploading 参数说明 无。 请求 请求样例 POST https://ip:port

查看更多 →

Boolean 是否从Node获取最新的列信息。 db_object_infos 是 Array of objects 指定数据库表信息。 详情请参见表4。 表4 db_object_infos字段数据结构说明 参数 是否必选 参数类型 描述 db_name 是 String 数据库名称。 schema_name

查看更多 →

Flume启动失败 问题现象 安装Flume服务或重启Flume服务失败。 原因分析 Flume堆内存设置的值大于机器剩余内存，查看Flume启动日志： [ CS T 2019-02-26 13:31:43][INFO] [[checkMemoryValidity:124]] [GC_OPTS

查看更多 →

同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时，采集日志显示数据库和缓存不一致时，可以从数据源和任务的维度，执行同步任务，使数据库和缓存保持一致，解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect，在“实例”页面单

查看更多 →

DIS Flume Plugin概述 DIS Flume Plugin是 数据接入服务 （DIS）为Flume开发的插件，包含DIS Source与DIS Sink。DIS Source用于从DIS服务下载数据到Flume Channel，DIS Sink用于将Flume Channel中的数据上传到DIS服务。DIS

查看更多 →

默认情况下，event会以字节的形式从kafka topic传递到event的body体中。设置为true，则会以Flume的Avro二进制格式来读取Event。与KafkaSink或KakfaChannel 中同名的parseAsFlumeEvent参数一起使用时，会保留从数据源产生的任何设定的Header。

查看更多 →

50% 其他 Partition不可用百分比 Kafka各个Topic的Partition不可用占比。 40% broker上用户连接数使用率 broker上用户连接数使用率。 80% 磁盘 Broker磁盘使用率 Broker数据目录所在磁盘的磁盘使用率。 80.0% Broker磁盘IO使用率

查看更多 →

数据库服务器备份 数据库服务器备份概述 更改安全组 安装Agent 创建数据库服务器备份 卸载Agent

查看更多 →

使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至HDFS 基于Kafka的Word Count数据流统计案例

查看更多 →

创建采集任务（采集Agent方式） 使用采集Agent场景需要用户在自己的网络区域安装采集Agent，保证和数据源网络可以正常通信。 安装采集Agent的方法请参考安装采集Agent。 气象数据不支持采集Agent方式。 支持的协议类型为：sftp、ftps、restful、co

查看更多 →

log 外部函数调用日志。 /flume/flume-用户名-日期-pid-gc.log Flume进程的GC日志。 /flume/Flume-audit.log Flume客户端的审计日志。 /flume/startAgent.out Flume启动前的进程参数日志。 堆栈信息日志（ MRS

查看更多 →