轻量化收集日志
轻量化收集日志
背景
最近在做一个项目，需要收集日志/埋点数据，需求是轻量化收集
正常我们的项目的埋点或者日志都是想方设法发送到生产端的kafka节点，但是kafka是java服务过于吃性能了
方案
由研发让服务写到本地文件
运维使用filebeat发送到redis，然后在用vector消费入库
也就是在生产端只要运行filebeat和redis即可
实现
我把实现放在了这里
本博客所有文章除特别声明外，均采用 《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》 许可协议。转载请注明来源 buyfakett's Blog！
wechat
alipay
相关推荐
2025-02-26
openresty使用ngx_waf
openresty使用ngx_waf介绍ngx_waf为什么选择 ngx_waf 基础防护：如 IP 或 IP 网段的黑白名单、URI 黑白名单和请求体黑名单等。 使用简单：配置文件和规则文件书写简单，可读性强。 高性能：使用高效的 IP 检查算法和缓存机制。 高级防护：兼容 ModSecurity，因此你可以使用开放式网络应用安全项目（OWASP）® 的核心规则库。 友好爬虫验证：支持验证 Google、Bing、Baidu 和 Yandex 的爬虫并自动放行，避免错误拦截。 验证码：支持三种验证码：hCaptcha、reCAPTCHAv2 和 reCAPTCHAv3。 功能 兼容 ModSecurity。此功能仅限最新的 Current 版本。 SQL 注入防护（Powered By libinjection）。 XSS 攻击防护（Powered By libinjection）。 支持 IPV4 和 IPV6。 支持开启验证码（CAPTCHA)，支持 hCaptcha、reCAPTCHAv2 和 reCAPTCHAv3。此功能仅限最新的 Current 版本。 支持识别友...
2024-11-10
【实用的服务器小技巧】rss订阅
rss订阅RSS是站点用来和其他站点之间共享内容的一种简易方式（也叫聚合内容 Really Simple Syndication）。通常在时效性比较强的内容上使用RSS订阅能更快速获取信息，网站提供RSS输出，有利于让用户获取网站内容的最新更新。网络用户可以在客户端借助于支持RSS的聚合工具软件（例如SharpReader,NewzCrawler,FeedDemon），在不打开网站内容页面的情况下阅读支持RSS输出的网站内容。 rsshub官方文档 启动12345678services: rsshub: stdin_open: true container_name: rsshub ports: - 1200:1200 image: diygod/rsshub restart: always miniflux开源地址 让服务端来拉取rss和保存rss订阅 启动123456789101112131415161718192021222324252627282930313233versi...
2023-08-22
【实用的docker小技巧】bililive-go录播
1docker run --restart=always -v /data/bililive:/etc/bililive-go -v /data/bililive:/srv/bililive -p 8085:8080 -d chigusa/bililive-go 配置文件config.yml 1234567891011121314rpc: enable: true bind: :8080debug: falseinterval: 20out_put_path: /srv/bililivefeature: use_native_flv_parser: falselive_rooms:- https://live.bilibili.com/255out_put_tmpl: ""video_split_strategies: on_room_name_changed: false max_duration: 0s
2025-01-07
语雀服务崩了后谈
语雀服务崩了后谈该文章为补档，并发布在别的地方，写于2023/10/25语雀服务在23号崩了10小时左右这件事，在程序员节（好像已经过了）想聊聊这个事情说个笑话：语雀服务崩了后，运维的脚本都存在语雀里拿不出来，所以才崩了那么久（不是）现在程序员的现状：开发完一个项目就把大多数人给优化掉或者转岗（写个交接文档算好了的），然后新接手的人员又不能很快的熟悉项目（我认为这是最主要的原因，虽然语雀官方发文说是旧存储的问题）通过这个事情我们可以知道即便是大厂，也不能保证服务的高可用，所以重要的数据大家一定要备份啊！！！不能只存网盘啊！！！正确的备份方式是321存储法：3个副本、2个不同备份介质、1个异地灾备中心乘着这个事，我今天上班也和开发同事聊了5分钟，出现了这个事情后天也在搞新的笔记方案：markdown+vuepress+git+自动部署在自己的服务器上供自己随时随地访问，相对来说已经挺安全了，做到了本地+服务器+github三地备份目前我自己存储笔记的方法是，把所有图片存在自己的服务器，然后笔记和开源项目的文档存git（每次都推送到自己搭的git，由服务器分发到码...
2023-08-22
【实用的docker小技巧】aria下载
aria下载器 12345docker run -d \--name ariang \--restart unless-stopped \-p 16880:6880 \p3terx/ariang 123456789101112131415docker run -d \--name aria2 \--restart unless-stopped \-e PUID=$UID \-e PGID=$GID \-e UMASK_SET=022 \-e RPC_SECRET=prc_password \#这里为连接的密码-e RPC_PORT=6800 \-e LISTEN_PORT=6888 \-p 16800:6800 \-p 16888:6888 \-p 16888:6888/udp \-v /data/docker/aria2/config:/config \-v /data/docker/aria2/downloads:/downloads \p3terx/aria2-pro 连接用prc_password
2024-01-26
日志系统
日志系统架构图 clickhousesetup.sh12345678910111213141516171819202122232425#!/bin/bashecho "Asia/Shanghai" > /etc/timezonedocker stop clickhousedocker rm clickhousedocker run -d --name clickhouse \--restart=always \--network host \-m 4g \--add-host localhost:10.0.18.2 \-v /etc/localtime:/etc/localtime:ro \-v /etc/timezone:/etc/timezone:ro \-e TZ='Asia/Shanghai' \--ulimit nofile=262144:262144 \-v $(pwd)/data:/var/lib/clickhouse \-v $(pwd)/config:/etc/clickhouse-server \-v $(pwd...
评论
