轻量化收集日志
轻量化收集日志
背景
最近在做一个项目，需要收集日志/埋点数据，需求是轻量化收集
正常我们的项目的埋点或者日志都是想方设法发送到生产端的kafka节点，但是kafka是java服务过于吃性能了
方案
由研发让服务写到本地文件
运维使用filebeat发送到redis，然后在用vector消费入库
也就是在生产端只要运行filebeat和redis即可
实现
我把实现放在了这里
本博客所有文章除特别声明外，均采用 《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》 许可协议。转载请注明来源 buyfakett's Blog！
wechat
alipay
相关推荐
2025-07-29
反向代理DDNS域名
反向代理DDNS域名开头网友在家里开了个emby影视站，使用DDNS域名访问 但是我家的网络、健身房的网络、流量卡都被跨网qos了，导致访问异常慢 于是我想到了在他网站的前面用另一个域名就做一层转发，就可以实现三网直连了 正确配置1234567891011121314151617181920212223server { listen 443 ssl; server_name xxx; ssl_certificate /data/ssl/xxx/fullchain.pem; ssl_certificate_key /data/ssl/xxx/privkey.pem; ssl_session_timeout 5m; ssl_protocols TLSv1 TLSv1.1 TLSv1.2; ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE; resolver 8.8.8.8 114.114.114.114 valid=10s; set $target "xxx&...
2025-05-09
Debian 11 升级 Debian 12
Debian 11 升级 Debian 12准备工作最近买了台vps，debian系统最高只有11，而我go编译出来的二进制不能直接运行，需要升级到12 所以我网上查询了升级的方法，并成功升级 更新系统12345apt updateapt upgrade -yapt dist-upgrade -yapt autocleanapt autoremove -y 如果内核更新了，可以重启让最新的内核生效，也可以直接进行升级。 升级系统首先更新 apt 源，替换 bullseye 为 bookworm：12sed -i 's/bullseye/bookworm/g' /etc/apt/sources.listsed -i 's/bullseye/bookworm/g' /etc/apt/sources.list.d/*.list 对于 Debian 12 以后的版本，所有 Debian 可以分发的打包的非自由固件二进制文件 (non-free)，比如某些驱动，都被转移到 Debian Archive 中的一个新组件，称为非自由固件 (non-f...
2025-02-26
openresty使用ngx_waf
openresty使用ngx_waf介绍ngx_waf为什么选择 ngx_waf 基础防护：如 IP 或 IP 网段的黑白名单、URI 黑白名单和请求体黑名单等。 使用简单：配置文件和规则文件书写简单，可读性强。 高性能：使用高效的 IP 检查算法和缓存机制。 高级防护：兼容 ModSecurity，因此你可以使用开放式网络应用安全项目（OWASP）® 的核心规则库。 友好爬虫验证：支持验证 Google、Bing、Baidu 和 Yandex 的爬虫并自动放行，避免错误拦截。 验证码：支持三种验证码：hCaptcha、reCAPTCHAv2 和 reCAPTCHAv3。 功能 兼容 ModSecurity。此功能仅限最新的 Current 版本。 SQL 注入防护（Powered By libinjection）。 XSS 攻击防护（Powered By libinjection）。 支持 IPV4 和 IPV6。 支持开启验证码（CAPTCHA)，支持 hCaptcha、reCAPTCHAv2 和 reCAPTCHAv3。此功能仅限最新的 Current 版本。 支持识别友...
2025-05-29
linux用systemd运行二进制
linux用systemd运行二进制前言最近买了台vps，1c512m,系统是debian 我准备在这台vps上运行未来我用golang写的项目的演示站 在别的服务器都是用docker运行，但是这台服务器cpu和内存的原因，我就想用系统来运行 开始先将二进制文件上传到服务器并赋予执行权限 然后写入systemd文件，并运行即可 12345678910111213141516171819cat << EOF > /etc/systemd/system/hertz_service.service[Unit]Description=hertz_service[Service]ExecStart=/root/hertz_service --config=config.yamlWorkingDirectory=/root/Restart=alwaysRestartSec=10KillSignal=SIGINTSyslogIdentifier=hertz_serviceUser=root[Install]WantedBy=multi-user.targetEOFsystem...
2025-08-14
rustfs是否可以替代minio
rustfs是否可以替代minio前言从今年差不多年中开始，minio删除了大部分webui的代码，需要收费 当时我也啥都不知道，直接升级了，结果进去后才发现 虽然依旧可以使用mc去操作所有东西(我平时也经常用),但是没有webui多少有点不舒服 我部署在大盘鸡上，性能方面也是我比较看重的地方 这时候我发现了rustfs，我开始了测试 uiui方面还不错 性能测试我测试了300GB+的数据，minio和rustfs之前互相传 机器为腾讯轻量云上海2c2gswap4g，使用docker部署nginx、minio和rustfs，数据盘1T挂载 使用rclone v1.70.3 debian 13.0 (64 bit) 6.12.41+deb13-amd64 (x86_64) AMD EPYC 7K62 48-Core Processor 使用命令rclone sync -P --transfers 3 test:/test txy:/backup2 rustfs出minio进 minio出rustfs进 内存方面相差非常大 总结rustfs完全兼容minio和s3，甚至命令行工...
2023-08-22
【实用的docker小技巧】aria下载
aria下载器 12345docker run -d \--name ariang \--restart unless-stopped \-p 16880:6880 \p3terx/ariang 123456789101112131415docker run -d \--name aria2 \--restart unless-stopped \-e PUID=$UID \-e PGID=$GID \-e UMASK_SET=022 \-e RPC_SECRET=prc_password \#这里为连接的密码-e RPC_PORT=6800 \-e LISTEN_PORT=6888 \-p 16800:6800 \-p 16888:6888 \-p 16888:6888/udp \-v /data/docker/aria2/config:/config \-v /data/docker/aria2/downloads:/downloads \p3terx/aria2-pro 连接用prc_password
评论
