1.flume简介

2015-03-12 23:44:51 539 收藏
分类专栏： hadoop 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woshisap/article/details/44229345
版权


Event:每条数据的统称；

Client:客户端，

Agent: 代理，即谁去采集数据，部署的工具，包括很多组件，如Sources, Channels和Sinks等；

Source：用来接收数据，数据来源可以定制；

Sink:用来把数据写出；

Channel:把Source和Sink连接在一起的管道；


    


 使用Agent来实现负载均衡；容错性高一些；使源地址和目的地址解耦了；






已标记关键词 清除标记
Flume系列1：为什么需要flume以及flume的原理
涤生手记
01-11 6361
1.为什么要有flume? flume的设计宗旨是向hadoop集群批量导入基于事件的海量数据。一个典型的例子就是利用flume从一组web服务器中收集日志文件，然后把这些文件中的日志事件转移到一个新的HDFS汇总文件中以做进一步的处理，所以flume的终点sink一般是HDFS,当然因为flume本生的灵活性，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外
表情包
插入表情
还能输入1000个字符
flume简介
日拱一卒，功不唐捐
11-23 385
flume简介
Flume简介
Tc的专栏
08-04 425
Flume简介
1.Flume简介
dream
03-10 1767
什么是flume flume是apache的一个数据收集框架。定义了一个数据流的模型。下面这张图hadoop业务开发流程图可以说明Flume的重要性： Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。apache Flume 是一个从可以收集例如日志，
3.Flume 简介
Penn的博客
03-26 30
1.Flume 简介 Flume 是一个分布式，可靠的日志收集服务。 2. Flume 核心概念 Client ：产生数据。 Event ：一个数据单元，消息头和消息体组成。 Flow ：Event从源头到达目的点的迁移的抽象。 Agent：一个独立的Flume进程，包含组件Source，Channel，Sink Source 数据收集组件 Channel 中转Event的临时存储。像一个队列。...
flume安装配置
chbxw
11-20 3238
flume
1.Flume快速入门
sui_feng_piao_guo的博客
09-02 2457
Flume快速入门 1.Flume简介 ApacheFlume是一个分布式的、可靠的、可用的系统，用于高效地收集、聚合和将大量不同来源的日志数据移动到集中的数据存储区。 Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，Flume可用于传输大量事件数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件和几乎所有可能的数据源。 ​ 官网原文如下：...
flume 简介和安装
let it go的博客
08-03 113
1.flume 简介 Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。它使用简单的可扩展数据模型，允许在线分析应用程序。 2.数据流模型 Flume事件被定义为具有字节有效负载和可选字符串属性集的数据流单元。 Flume代理是一个（JVM）进程，...
Flume之Log4JAppender接收Log4j日志
qianshanding0708的博客
12-07 5942
简介 Log4JAppender和LoadBalancingLog4jAppender可以将应用服务器的日志通过AvroSource实时的把日志传输到日志服务器，然后在传输到监控系统或者是HDFS中存储，FLume的Log4JAppender和LoadBalancingLog4jAppender必须使用Log4j的异步加载器，否则日志服务器down机，将会导致应用服务器异常，影响线上环境的使用。...
Apache Flume 简介
weixin_34377065的博客
01-08 49
转自：http://blog.163.com/guaiguai_family/blog/static/20078414520138100562883/ Flume 是 Cloudera 公司开源出来的一套日志收集系统，早期版本依赖 ZooKeeper，现在的 FumeNG 去掉了这个依赖，我没用过之前的版本，想来失去整个日志收集系统的全局视图是挺可惜的，但 FlumeNG 上手以及使用挺简单，搭...
1.Apache Flume 简介
sun
06-05 1350
一.简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 image.png 二.主要功能 1.日志收集 Flume最早是Cloudera提供的日志收集系统，目前是Apac
Apache Flume日志收集系统简介
后端开发那点事儿
03-16 66
Apache Flume是一个分布式、可靠、可用的系统，用于从大量不同的源有效地收集、聚合、移动大量日志数据进行集中式数据存储。   Flume简介 Flume的核心是Agent，Agent中包含Source、Channel、Sink。Agent是最小的独立运行单位。在Agent中，数据流向为Source->Channel->Sink。 其中， Source：收集数...
大数据基础学习-5.Flume1.6.0
闲人勿
04-26 162
一、Flume1.6.0设计架构1.简介• Apache软件基金顶级项目• Apache Flume是一个分布式、可信任的弹性系统，用于高效收集、汇聚和移动大规模日志信息从多种不同的数据源到一个集中的数据存储中心（HDFS、HBase）。• 功能：    – 支持在日志系统中定制各类数据发送方，用于收集数据。    – Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。• 多...
Flume数据采集各种配置详解
重点在于记录
06-07 1万+
Flume简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 系统功能 日志收集 Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Fl...
Apache Flume
weixin_34116110的博客
09-13 41
1． 概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。Flume支持定制各类数据发送...
Flume NG 简介及配置实战
xtqve的专栏
12-04 531
Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输
Flume简介以及案例测试
weidajiangjiang的博客
09-21 88
参考借鉴： 用户文档： http://flume.apache.org/FlumeUserGuide.html 开发文档： http://flume.apache.org/FlumeDeveloperGuide.html Flume原理解析： https://www.cnblogs.com/zhangyinhua/p/7803486.html 参考原文地址：https://blog.csdn.ne...
©️2020 CSDN 皮肤主题: Age of Ai 设计师:meimeiellie 返回首页