90DaysOfDevOps Monitoring 81일차

Day 81 - Fluentd & FluentBit

Fluentd

- 오픈소스 통합 로깅 레이어
깨끗하고 안정적인 로깅 파이프라인을 구축하는 데 적합한 네 가지 주요 기능
1. JSON을 사용한 통합 로깅: json으로 구조화하려고 노력한다.
2. 플러그 가능한 아키텍처: 300개 이상의 플러그인으로 로그를 즉시 더 효과적으로 활용 가능
3. 최소한의 리소스 필요: C와 Ruby의 조합으로 작성된 30~40MB의 메모리에서 실행되며 초당 13,000개의 이벤트를 처리할 수 있다.
4. 내재된 안정성: 메모리 및 파일 기반 버퍼링을 지원하여 데이터 손실을 방지한다.

위의 3가지 로깅 데이터 유형을 허용하고 이를 수집, 처리하여 대상(예: Elastic, MongoDB 또는 Kafka 데이터베이스)으로 로그를 전송할 수 있는 기능을 제공

Kubernetes의 FluentBit

- Fluent Helm 레포지토리에서 배포

helm repo add fluent https://fluent.github.io/helm-charts

helm install fluent-bit fluent/fluent-bit

fluent-bit pod가 실행 중인지 확인

kubectl get all | grep fluent

configmap 확인

pod를 로컬호스트로 포트 포워딩하여 연결

kubectl get pods | grep fluent

kubectl port-forward fluent-bit-8kvl4 2020:2020

그 후 웹 브라우저를 연다.