Prometheus + Grafana로 k8s 멀티 클러스터 모니터링 구축하기📝 사내에 k8s 클러스터랑 k3s 클러스터가 있는데, 모니터링을 제대로 해본 적이 없었다. 그냥 서버 살아있나 확인하는 정도. 이번에 Prometheus랑 Grafana로 제대로 한번 해보기로 했다. 결론부터 말하면 생각보다 삽질을 많이 했다. 방화벽이랑 CNI 문제가 겹치면서 꽤 오래 헤맸다.🖥️ 환경서버IP역할k8s 마스터192.168.0.110컨트롤 플레인k8s 워커192.168.0.57Prometheus, Grafanak3s192.168.0.48별도 경량 클러스터1. 네임스페이스 생성모니터링 관련 리소스는 monitoring 네임스페이스로 묶었다.kubectl create namespace monitoring2. P..

현재 내가 사용하는 시스템성능 모니터링 솔루션의 수집 데이터를 Grafana 로 시각화하기 위해 Proxy API를 구축하여 중간 브릿지 역할을 하도록 구성했다. [ Data Flow ]Client (Grafana) → Proxy API (FastAPI) → onTuneV5 API그래서 왜 Proxy API 를 통해서 Grafana 와 연동을 진행한 이유를 더 자세하게 덧붙이자면....해당 솔루션의 API 를 Grafana 가 직접 호출하기에는 좀 제약이 있었다. 1. 토큰 인증 구조 -> 솔루션 API 는 별도의 ID 와 PW 를 통한 Token 발급 프로세스가 필요했다. 2. 토큰 만료-> 발급된 Token 의 유효 기간이 1시간이기 때문에, 만료시마다 수동 갱신이 어려웠다.그래서 Token 자동 갱..

zbx_trends_sh 가 뭐지... zabbix server에서 무분별하게 치고 들어와서 CPU를 높이는 프로세스이다. 모니터링 중에 갑자기 생기는 원인불분명한 이 프로세스가 방해스럽다. 어떻게 해결하지 싶었는데, 얘가 치고 들어오는 클라이언트IP를 추적해서 방화벽으로 막자는 의견이 나왔다. 뭘까 ? 1. Zabbix 포럼을 확인해보면, zabbix 서버의 프로세스는 아니라고 한다. Zabbix의 프로세스는 모두 zabbix_server 라고 함. 인터넷에 액세스하지 않으면 zbx_trends_sh 프로세스가 시작되지 않는다는 추측과 바이러스로 보는 인식이 있는 듯 https://www.zabbix.com/forum/in-russian/461601-zbx_trends_sh-%D0%B7%D0%B0%D0..

환경 OCI instance - oracle linux 8.7 DB - MYSQL 8 Web Server - Apache 2.4 zabbix version - 5.0 LTS "지금 작성한 글은 Web Server와 DB가 모두 생성되어 기동된 상태임을 베이스로 작성됨." 1. rpm -Uvh https://repo.zabbix.com/zabbix/5.0/rhel/8/x86_64/zabbix-release-5.0-1.el8.noarch.rpm 2. dnf(yum) clean all 3. mysql DB 서버 생성 및 기동 / 확인 systemctl start mysqld systemctl status mysqld 4. mysql -uroot -p # mysql 접속 후 아래 내용 추가 mysql> crea..