轻量化收集日志
轻量化收集日志
背景
最近在做一个项目，需要收集日志/埋点数据，需求是轻量化收集
正常我们的项目的埋点或者日志都是想方设法发送到生产端的kafka节点，但是kafka是java服务过于吃性能了
方案
由研发让服务写到本地文件
运维使用filebeat发送到redis，然后在用vector消费入库
也就是在生产端只要运行filebeat和redis即可
实现
我把实现放在了这里
本博客所有文章除特别声明外，均采用 《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》 许可协议。转载请注明来源 buyfakett's Blog！
wechat
alipay
相关推荐
2025-05-09
Debian 11 升级 Debian 12
Debian 11 升级 Debian 12准备工作最近买了台vps，debian系统最高只有11，而我go编译出来的二进制不能直接运行，需要升级到12 所以我网上查询了升级的方法，并成功升级 更新系统12345apt updateapt upgrade -yapt dist-upgrade -yapt autocleanapt autoremove -y 如果内核更新了，可以重启让最新的内核生效，也可以直接进行升级。 升级系统首先更新 apt 源，替换 bullseye 为 bookworm：12sed -i 's/bullseye/bookworm/g' /etc/apt/sources.listsed -i 's/bullseye/bookworm/g' /etc/apt/sources.list.d/*.list 对于 Debian 12 以后的版本，所有 Debian 可以分发的打包的非自由固件二进制文件 (non-free)，比如某些驱动，都被转移到 Debian Archive 中的一个新组件，称为非自由固件 (non-f...
2025-05-29
linux用systemd运行二进制
linux用systemd运行二进制前言最近买了台vps，1c512m,系统是debian 我准备在这台vps上运行未来我用golang写的项目的演示站 在别的服务器都是用docker运行，但是这台服务器cpu和内存的原因，我就想用系统来运行 开始先将二进制文件上传到服务器并赋予执行权限 然后写入systemd文件，并运行即可 12345678910111213141516171819cat << EOF > /etc/systemd/system/hertz_service.service[Unit]Description=hertz_service[Service]ExecStart=/root/hertz_service --config=config.yamlWorkingDirectory=/root/Restart=alwaysRestartSec=10KillSignal=SIGINTSyslogIdentifier=hertz_serviceUser=root[Install]WantedBy=multi-user.targetEOFsystem...
2024-01-26
prometheus监控
prometheus架构图 prometheus-serverconfig/prometheus.yml1234567891011global: scrape_interval: 60s evaluation_interval: 60srule_files: - "/usr/local/prometheus/rules/*.rules"scrape_configs: - job_name: 'prometheus' static_configs: - targets: ["127.0.0.1:9090"] setup.sh12345678910111213141516171819202122232425#!/bin/bashecho "Asia/Shanghai" > /etc/timezonemkdir -p $(pwd)/datachown -R 65534.65534 $(pwd)/dataport=9090docker stop prometheus...
2025-02-26
openresty使用ngx_waf
openresty使用ngx_waf介绍ngx_waf为什么选择 ngx_waf 基础防护：如 IP 或 IP 网段的黑白名单、URI 黑白名单和请求体黑名单等。 使用简单：配置文件和规则文件书写简单，可读性强。 高性能：使用高效的 IP 检查算法和缓存机制。 高级防护：兼容 ModSecurity，因此你可以使用开放式网络应用安全项目（OWASP）® 的核心规则库。 友好爬虫验证：支持验证 Google、Bing、Baidu 和 Yandex 的爬虫并自动放行，避免错误拦截。 验证码：支持三种验证码：hCaptcha、reCAPTCHAv2 和 reCAPTCHAv3。 功能 兼容 ModSecurity。此功能仅限最新的 Current 版本。 SQL 注入防护（Powered By libinjection）。 XSS 攻击防护（Powered By libinjection）。 支持 IPV4 和 IPV6。 支持开启验证码（CAPTCHA)，支持 hCaptcha、reCAPTCHAv2 和 reCAPTCHAv3。此功能仅限最新的 Current 版本。 支持识别友...
2025-08-14
rustfs是否可以替代minio
rustfs是否可以替代minio前言从今年差不多年中开始，minio删除了大部分webui的代码，需要收费 当时我也啥都不知道，直接升级了，结果进去后才发现 虽然依旧可以使用mc去操作所有东西(我平时也经常用),但是没有webui多少有点不舒服 我部署在大盘鸡上，性能方面也是我比较看重的地方 这时候我发现了rustfs，我开始了测试 uiui方面还不错 性能测试我测试了300GB+的数据，minio和rustfs之前互相传 机器为腾讯轻量云上海2c2gswap4g，使用docker部署nginx、minio和rustfs，数据盘1T挂载 使用rclone v1.70.3 debian 13.0 (64 bit) 6.12.41+deb13-amd64 (x86_64) AMD EPYC 7K62 48-Core Processor 使用命令rclone sync -P --transfers 3 test:/test txy:/backup2 rustfs出minio进 minio出rustfs进 内存方面相差非常大 总结rustfs完全兼容minio和s3，甚至命令行工...
2024-01-26
saltstack
安装saltstack旧文档 新文档 服务器 主机名 ip 身份 软件包 centos7 xue1 192.168.70.75 master salt-master centos7 xue2 192.168.70.76 minion salt-minion 命令安装123456789101112131415161718192021222324252627282930313233# 安装saltstack存储库和密钥rpm --import https://repo.saltproject.io/py3/redhat/7/x86_64/3003/SALTSTACK-GPG-KEY.pubcurl -fsSL https://repo.saltproject.io/py3/redhat/7/x86_64/3003.repo | sudo tee /etc/yum.repos.d/salt.repo# 清缓存yum clean allyum makecache yum -y install salt-master # 主控端安装yum -y install salt...
评论
