• 白云区新办证大厅户籍办理服务平台正式投入使用啦 2019-07-13
  • 关于人类所有的知识问题,其实都是社会问题。就“社会”两个字。 2019-07-13
  • 百姓故事:蒋姐姐的旗袍人生 2019-07-10
  • 这艘军舰有美国导弹护体 仍被中国反舰导弹轻松击沉 2019-07-09
  • 把你当猪就有可能。不想得病而羸弱就得身强体壮。首先,想依靠消灭病毒而不得病,那只是痴心妄想。其次,想得天下,从来没有靠肉体的征服而成功过的先例。 2019-07-09
  • 《国家哲学社会科学“十一五”研究状况与“十二五”发展趋势》一书出版 2019-07-06
  • 夏天吃雪糕怕伤胃拉肚子 如何健康吃冷饮——食品安全频道——黄河新闻网 2019-07-06
  • 2018年成都卫星城市仍将大放异彩?下一站:资阳北 ——凤凰网房产成都 2019-07-05
  • 皇家地暖长啥样?《故宫新事》带你探寻养心殿的秘密 2019-07-05
  • 南昌古风物略记文章中国国家地理网 2019-07-01
  • 推进新时代中国特色社会主义云南新实践——访云南省委书记陈豪 2019-06-28
  • 十二届全国人大常委会第七次会议 2019-06-28
  • 原中行一支行员工被判刑 利用职务便利骗取巨额贷款并诈骗 2019-06-24
  • 孕期压力大影响胎儿大脑发育 2019-06-14
  • 俄罗斯足球队50横扫沙特队真是让人大饱眼福,特提精神!俄罗斯是战斗民族名不虚传。 2019-06-10
  • 福彩3d开奖结果今天:Nginx整合Kafka的方法示例

    文章TAG:nginx 整合 Kafka
    时间:2018-11-14来源/作者:兴趣e族 编辑:源码库 文章热度:

    双色球基本走势图表图 www.jpkp.net 背景

    nginx-kafka-module是nginx的一个插件,可以将kafka整合到nginx中,便于web项目中前端页面埋点数据的收集,如前端页面设置了埋点,即可将用户的一些访问和请求数据通过http请求直接发送到消息中间件kafka中,后端可以通过程序消费kafka中的消息来进行实时的计算。比如通过SparkStream来实时的消费Kafka中的数据来分析用户PV,UV、用户的一些行为及页面的漏斗模型转化率,来更好的对系统进行优化或者对来访用户进行实时动态的分析。

    具体整合步骤

    1.安装git

    yum install -y git

    2.切换到/usr/local/src目录,然后将kafka的c客户端源码clone到本地

    cd /usr/local/src
    git clone https://github.com/edenhill/librdkafka

    3.进入到librdkafka,然后进行编译

    cd librdkafka
    yum install -y gcc gcc-c++ pcre-devel zlib-devel
    ./configure
    make && make install

    4.安装nginx整合kafka的插件,进入到/usr/local/src,clone nginx整合kafka的源码

    cd /usr/local/src
    git clone https://github.com/brg-liuwei/ngx_kafka_module
    

    5.进入到nginx的源码包目录下 (编译nginx,然后将将插件同时编译)

    cd /usr/local/src/nginx-1.12.2
    ./configure --add-module=/usr/local/src/ngx_kafka_module/
    make && make install
    

    6.修改nginx的配置文件:设置一个location和kafaka的topic,详情请查看当前目录的nginx.conf

    #添加配置(2处)
    kafka;
    kafka_broker_list f1:9092 f2:9092 f3:9092;
    
    location = /kafka/access {
    kafka_topic access888;
    }
    

    如下图:

    Nginx,整合,Kafka

    Nginx,整合,Kafka

    7.启动zk和kafka集群(创建topic)

    zkServer.sh start
    kafka-server-start.sh -daemon config/server.properties
    

    8.启动nginx,报错,找不到kafka.so.1的文件

    error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory

    9.加载so库

    #开机加载/usr/local/lib下面的库
    echo "/usr/local/lib" >> /etc/ld.so.conf
    #手动加载
    ldconfig

    10.测试,向nginx中写入数据,然后观察kafka的消费者能不能消费到数据

    curl //localhost/kafka/access -d "message send to kafka topic"
    curl //localhost/kafka/access -d "小伟666"测试

    也可以模拟页面埋点请求接口来发送信息:

    Nginx,整合,Kafka

    后台Kafka消费信息如图:

    Nginx,整合,Kafka

    以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持ASPKU源码库。


    注:相关教程知识阅读请移步到服务器教程频道。
    相关服务器教程
    热门标签

    服务器教程Rss订阅服务器教程搜索

  • 白云区新办证大厅户籍办理服务平台正式投入使用啦 2019-07-13
  • 关于人类所有的知识问题,其实都是社会问题。就“社会”两个字。 2019-07-13
  • 百姓故事:蒋姐姐的旗袍人生 2019-07-10
  • 这艘军舰有美国导弹护体 仍被中国反舰导弹轻松击沉 2019-07-09
  • 把你当猪就有可能。不想得病而羸弱就得身强体壮。首先,想依靠消灭病毒而不得病,那只是痴心妄想。其次,想得天下,从来没有靠肉体的征服而成功过的先例。 2019-07-09
  • 《国家哲学社会科学“十一五”研究状况与“十二五”发展趋势》一书出版 2019-07-06
  • 夏天吃雪糕怕伤胃拉肚子 如何健康吃冷饮——食品安全频道——黄河新闻网 2019-07-06
  • 2018年成都卫星城市仍将大放异彩?下一站:资阳北 ——凤凰网房产成都 2019-07-05
  • 皇家地暖长啥样?《故宫新事》带你探寻养心殿的秘密 2019-07-05
  • 南昌古风物略记文章中国国家地理网 2019-07-01
  • 推进新时代中国特色社会主义云南新实践——访云南省委书记陈豪 2019-06-28
  • 十二届全国人大常委会第七次会议 2019-06-28
  • 原中行一支行员工被判刑 利用职务便利骗取巨额贷款并诈骗 2019-06-24
  • 孕期压力大影响胎儿大脑发育 2019-06-14
  • 俄罗斯足球队50横扫沙特队真是让人大饱眼福,特提精神!俄罗斯是战斗民族名不虚传。 2019-06-10
  • 福建十一选五乍么看走势图 3d中国福利彩票3的 大世界娱乐城反水 香港赛马会原创四肖选肖 1763期南国彩票坐标局 喜来登娱乐城优惠活动 福彩3d出号走势图彩乐乐 14场胜负彩与任九奖金 山西快乐十分任五 我中啦彩票官网 新彩网福彩3d走势图 富婆六合仙机 福建体彩票22选5走势图 江苏时时彩大小单双 欢乐斗地主刷豆方法