使用Flume
实例1: 监听端口,把输入端口的信息以日志的形式输出到控制台中
cd /usr/local/flume/apache-flume-1.6.0-cdh5.9.0-bin/conf vim example.conf # 命名此代理上的组件 agent.sources = seqGenSrc # sources的名称 agent.channels = memoryChannel # Channel的名称 agent.sinks = loggerSink # Sink的名称 # 描述/配置源 agent.sources.seqGenSrc.type = netcat # 类型名称 seq agent.sources.seqGenSrc.bind = 0.0.0.0 # 绑定的ip agent.sources.seqGenSrc.port = 44444 # 绑定的端口 # 描述接收器 agent.sinks.loggerSink.type = logger # 以日志的形式输出到控制台 # 定义每个通道的类型 agent.channels.memoryChannel.type = memory agent.channels.memoryChannel.capacity = 1000 agent.channels.memoryChannel.transactionCapacity = 100 # 指定接收器应该使用的通道 agent.sinks.loggerSink.channel = memoryChannel agent.sources.seqGenSrc.channels = memoryChannel
实例2: 监听文件,把输入文件变化的的信息以日志的形式输出到控制台中
cd /usr/local/flume/apache-flume-1.6.0-cdh5.9.0-bin/conf vim example.conf # 命名此代理上的组件 agent.sources = seqGenSrc # sources的名称 agent.channels = memoryChannel # Channel的名称 agent.sinks = loggerSink # Sink的名称 # 描述/配置源 agent.sources.seqGenSrc.type = exec # 命令行模式 agent.sources.seqGenSrc.command = tail -F /root/nohup.log agent.sources.seqGenSrc.shell = /bin/sh -c # 绑定的端口 # 描述接收器 agent.sinks.loggerSink.type = logger # 以日志的形式输出到控制台 # 定义每个通道的类型 agent.channels.memoryChannel.type = memory agent.channels.memoryChannel.capacity = 1000 agent.channels.memoryChannel.transactionCapacity = 100 # 指定接收器应该使用的通道 agent.sinks.loggerSink.channel = memoryChannel agent.sources.seqGenSrc.channels = memoryChannel
实例3: 监听文件,把输入文件变化的信息传输到另外一台服务器中以日志的形式输出到控制台中
cd /usr/local/flume/apache-flume-1.6.0-cdh5.9.0-bin/conf vim example.conf # 命名此代理上的组件 agent.sources = seqGenSrc agent.channels = memoryChannel agent.sinks = loggerSink # 描述/配置源 agent.sources.seqGenSrc.type = exec agent.sources.seqGenSrc.command = tail -F /root/nohup.log agent.sources.seqGenSrc.shell = /bin/sh -c # 描述接收器 agent.sinks.loggerSink.type = avro agent.sinks.loggerSink.hostname = 192.168.104.94 agent.sinks.loggerSink.port = 44444 # 定义每个通道的类型 agent.channels.memoryChannel.type = memory agent.channels.memoryChannel.capacity = 1000 agent.channels.memoryChannel.transactionCapacity = 100 # 指定接收器应该使用的通道 agent.sinks.loggerSink.channel = memoryChannel agent.sources.seqGenSrc.channels = memoryChannel vim example.conf # 这个心启动 这启动了端口开启 上面Sink开绑定这个端口 # 命名此代理上的组件 agent.sources = seqGenSrc agent.channels = memoryChannel agent.sinks = loggerSink # 描述/配置源 agent.sources.seqGenSrc.type = avro agent.sources.seqGenSrc.bind = 0.0.0.0 # 绑定本机地址 agent.sources.seqGenSrc.port = 44444 # 描述接收器 agent.sinks.loggerSink.type = logger # 定义每个通道的类型 agent.channels.memoryChannel.type = memory agent.channels.memoryChannel.capacity = 1000 agent.channels.memoryChannel.transactionCapacity = 100 # 指定接收器应该使用的通道 agent.sinks.loggerSink.channel = memoryChannel agent.sources.seqGenSrc.channels = memoryChannel
4.启动Flume
flume-ng agent --conf $FLUME_HOME/conf --conf-file $FLUME_HOME/conf/example.conf --name agent -Dflume.root.logger=INFO,console # 启动 $FLUME_HOME: flume 路径 --name: agent名称 --conf: 制定flume conf路径 --conf-file: 制定自己写的配置文件 -Dflume.root.logger=INFO,console: log的参数 telnet 192.168.107.216 44444 # 连接到主机
相关推荐
chenguangchun 2020-07-26
IT影风 2020-07-18
chenguangchun 2020-06-28
jiaomrswang 2020-06-26
myt0 2020-06-16
xiaoxiaojavacsdn 2020-06-08
zzjmay 2020-06-07
strongyoung 2020-06-04
ErixHao 2020-05-20
啦啦啦啦啦 2020-05-15
wanfuchun 2020-05-14
onwaygoahead 2020-05-05
xiaoxiaojavacsdn 2020-05-01
chenguangchun 2020-04-18
QAnyang 2020-03-14
wsong 2020-03-13
硅步至千里 2020-02-22