Flume
一、概述
1.Flume是Apache提供的开源的、分布式的、可靠的日志收集系统
2.能够有效的收集、聚合、传输大量的日志数据
3.flume有2个版本:flume-og(flume09x)和flume-ng(flume1.x),flume-og和flume-ng不兼容
二、基本概念
1.Event:将收集到的每一条日志都封装成一个Event对象 - 在Flume中流动的是Event,Event的格式采用了json格式来定义的,这个json串中包含了2个部分:headers和body
2.Flume中的组件是以Agent形式出现的,Agent包含:Source,Channel,Sink
a.Source:从源头采集数据
b.Channel:临时存储数据
c.Sink:将数据发往目的地
在flume的安装目录下,创建文件夹data,在data中创建一个文件basic.conf,内容如下
#给Agent起名为a1 #给source起名 a1.sources = s1 #给channel起名 a1.channels = c1 #给sink起名 a1.sinks = k1 #配置source #配置source的类型 a1.sources.s1.type = netcat #配置监听的主机 a1.sources.s1.bind = 0.0.0.0 #配置监听的端口 a1.sources.s1.port = 8090 #配置channel #配置channel的类型 a1.channels.c1.type = memory #配置channel的容量,多少条 a1.channels.c1.capacity = 10000 #配置往sink发送的数据量,每次1000条的量发送 al.channels.c1.transactionCapacity = 1000 #配置sink #配置sink的类型 a1.sinks.k1.type = logger #将source和channel绑定,一个source有多个channel a1.sources.s1.channels = c1 #将sink和channel绑定,一个sink只有一个channel a1.sinks.k1.channel = c1
执行命令:-n agent的名称,-c conf目录,-f 自定义的文件,-Dflume.root.logger 日志输出基本和位置
./flume-ng agent -n a1 -c ../conf/ -f ../data/basic.conf -Dflume.root.logger=INFO,console
另起一个ssh窗口,执行命令:nc hadoop101 8090,在控制台中输入数据,并回车
AVRO:avrosource.conf
a1.sources = s1 a1.channels = c1 a1.sinks = k1 a1.sources.s1.type = avro a1.sources.s1.bind = 0.0.0.0 a1.sources.s1.port = 8090 a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 a1.sinks.k1.type = logger a1.sources.s1.channels = c1 a1.sinks.k1.channel = c1
bin目录下执行命令:./flume-ng agent -n a1 -c ../conf/ -f ../data/avrosource.conf -Dflume.root.logger=INFO,console 启动flume
执行agent-avro客户端指令,在flume的安装目录的bin目录下:a.txt是需要进行操作的文件,必须存在
./flume-ng avro-client -H 0.0.0.0 -p 8090 -F /home/a.txt -c ../conf/
Exec Source:execsource.conof
a1.sources=r1 a1.channels=c1 a1.sinks=s1 a1.sources.r1.type=exec a1.sources.r1.command=cat /home/a.txt a1.channels.c1.type=memory a1.channels.c1.capacity=1000 a1.channels.c1.transactionCapacity=100 a1.sinks.s1.type=logger a1.sources.r1.channels=c1 a1.sinks.s1.channel=c1
bin目录下执行命令:./flume-ng agent -n a1 -c ../conf/ -f ../data/execsource.conf -Dflume.root.logger=INFO,console
看到日志中 cat /home/a.txt 命令下有两条结果输出
Spooling Directory:监听目录下有文件的变化,spooldirsource.txt配置文件
在 /home下创建 flumedata目录
spooldirsource.txt文件: flume安装目录/data/spooldirsource.txt,内容如下
a1.sources=r1 a1.channels=c1 a1.sinks=s1 a1.sources.r1.type=spooldir a1.sources.r1.spoolDir=/home/flumedata a1.channels.c1.type=memory a1.channels.c1.capacity=1000 a1.channels.c1.transactionCapacity=100 a1.sinks.s1.type=logger a1.sources.r1.channels=c1 a1.sinks.s1.channel=c1
bin目录下执行命令:./flume-ng agent -n a1 -c ../conf/ -f ../data/spooldirsource.txt -Dflume.root.logger=INFO,console
在 /home目录下创建一个文件a.log,随意在a.log中写入内容
执行命令:mv a.log /home/flumedata ,在flumedata目录下会有 a.log.COMPLETED 文件
Sequence Generator Source --序列发生源
seqsource.conf 配置文件内容:
a1.sources=r1 a1.channels=c1 a1.sinks=s1 a1.sources.r1.type=seq a1.channels.c1.type=memory a1.channels.c1.capacity=1000 a1.channels.c1.transactionCapacity=100 a1.sinks.s1.type=logger a1.sources.r1.channels=c1 a1.sinks.s1.channel=c1
启动命令:./flume-ng agent -n a1 -c ../conf/ -f ../data/seqsource.conf -Dflume.root.logger=INFO,console