Freesunny

쉘스크립트(bash script) 인자에 기본값 설정하기

freesunny — Mon, 2 Dec 2024 18:43:04 +0900

쉘스크립트에 인자가 없을 경우 기본값을 설정하는 방법

#! /bin/bash

# 인수로 최소 coreprice, 최대 coreprice, vcpu, AvailabilityZone을 받수 있도록 함
MIN_COREPRICE="${1:-0}"     # 첫 번째 인수가 없으면 기본값 0
MAX_COREPRICE="${2:-0.019}" # 두 번째 인수가 없으면 기본값 0.019
VCPUS="${3:-64,72,96}"      # 세 번째 인수가 없으면 기본값 64,72,96
AZ="${4:-ap-northeast-2c}"  # 네 번째 인수가 없으면 기본값 ap-northeast-2c

mongodb 에서 인덱스 용량 확인

freesunny — Sat, 21 Sep 2024 13:02:13 +0900

해당 DB 의 컬렉션별 인덱스 용량을 각각 표시하는 방법

db.getCollectionNames().forEach(function(collection) {
  let stats = db[collection].stats();
  print(collection + " index size: " + (stats.totalIndexSize / (1024 * 1024)).toFixed(2) + " MB");
});

해당 DB 의 컬력션별 인덱스 용량을 합산하여 표시하는 방법

let totalIndexSize = 0;
db.getCollectionNames().forEach(function(collection) {
  let stats = db[collection].stats();
  totalIndexSize += stats.totalIndexSize;
});
print("Total index size for all collections: " + (totalIndexSize / (1024 * 1024)).toFixed(2) + " MB");

mongoDB collection 별 용량 확인하는 방법

freesunny — Thu, 27 Jun 2024 16:30:36 +0900

방법#1 : mongosh에서는 SQL 스타일의 명령어를 사용하여 데이터베이스 내의 컬렉션 목록을 쉽게 확인할 수 있습니다.
- 이 명령어는 현재 선택된 데이터베이스의 컬렉션 목록을 출력합니다.

> use myDatabase
> show collections
users
products
orders

방법#2 : mongosh에서 JavaScript 메서드를 사용하여 컬렉션 목록을 조회할 수도 있습니다.
- 이 명령어는 현재 선택된 데이터베이스의 컬렉션 이름을 배열로 반환합니다.

> use myDatabase
> db.getCollectionNames()
[
  "users",
  "products",
  "orders"
]

mongosh에서 db.collection.stats() 메서드를 사용하여 컬렉션의 통계 정보를 확인할 수 있습니다.
- 주요 필드 설명
  - size: 컬렉션의 전체 크기(바이트 단위).
  - count: 컬렉션 내 문서 수.
  - avgObjSize: 평균 문서 크기(바이트 단위).
  - storageSize: 컬렉션이 실제로 차지하는 스토리지 크기(바이트 단위).
  - nindexes: 컬렉션에 존재하는 인덱스 수.
  - totalIndexSize: 인덱스가 차지하는 전체 크기(바이트 단위).
  - indexSizes: 각 인덱스별 크기(바이트 단위).

> use myDatabase
> db.myCollection.stats()
{
  "ns" : "myDatabase.myCollection",
  "size" : 1024,
  "count" : 100,
  "avgObjSize" : 10.24,
  "storageSize" : 2048,
  "capped" : false,
  "wiredTiger" : {
    ...
  },
  "nindexes" : 1,
  "totalIndexSize" : 4096,
  "indexSizes" : {
    "_id_" : 4096
  },
  "ok" : 1
}

인덱스 크기 확인
- 인덱스 크기를 별도로 확인하려면 totalIndexSize와 indexSizes 필드를 확인할 수 있습니다.

> var stats = db.myCollection.stats();
print("Total Index Size: " + stats.totalIndexSize + " bytes");
print("Index Sizes: ", stats.indexSizes);

모든 컬렉션의 용량 확인
- 데이터베이스 내 모든 컬렉션의 용량을 확인하려면, db.getCollectionNames()와 db.collection.stats()를 조합하여 사용할 수 있습니다.

> db.getCollectionNames().forEach(function(collectionName) {
  var stats = db.getCollection(collectionName).stats();
  print("Collection: " + collectionName);
  print("Size: " + stats.size + " bytes");
  print("Storage Size: " + stats.storageSize + " bytes");
  print("Total Index Size: " + stats.totalIndexSize + " bytes");
  print("\n");
});

모든 컬렉션의 용량 확인 (GB)
- db.collection.stats() 명령을 사용하여 얻은 컬렉션 용량 정보를 바이트 단위가 아닌 기가바이트 단위로 표시하려면, 바이트를 기가바이트로 변환하는 계산을 추가하면 됩니다. 바이트를 기가바이트로 변환하려면 바이트 값을 1024 * 1024 * 1024 로 나누면 됩니다.
  - 스크립트 설명
    - db.getCollectionNames().forEach(function(collectionName) {...}): 데이터베이스의 모든 컬렉션에 대해 반복합니다.
    - db.getCollection(collectionName).stats(): 각 컬렉션의 통계 정보를 가져옵니다.
    - (stats.size / (1024 * 1024 * 1024)).toFixed(2): 바이트를 기가바이트로 변환하고 소수점 두 자리까지 반올림합니다.
    - print("Collection: " + collectionName): 컬렉션 이름을 출력합니다.
    - print("Size: " + sizeGB + " GB"): 컬렉션의 크기를 기가바이트 단위로 출력합니다.
    - print("Storage Size: " + storageSizeGB + " GB"): 컬렉션이 실제로 차지하는 스토리지 크기를 기가바이트 단위로 출력합니다.
    - print("Total Index Size: " + totalIndexSizeGB + " GB"): 인덱스가 차지하는 전체 크기를 기가바이트 단위로 출력합니다.

// 모든 컬렉션의 용량을 GB 단위로 출력하는 스크립트
> db.getCollectionNames().forEach(function(collectionName) {
    var stats = db.getCollection(collectionName).stats();
    var sizeGB = (stats.size / (1024 * 1024 * 1024)).toFixed(2);
    var storageSizeGB = (stats.storageSize / (1024 * 1024 * 1024)).toFixed(2);
    var totalIndexSizeGB = (stats.totalIndexSize / (1024 * 1024 * 1024)).toFixed(2);

    print("Collection: " + collectionName);
    print("Size: " + sizeGB + " GB");
    print("Storage Size: " + storageSizeGB + " GB");
    print("Total Index Size: " + totalIndexSizeGB + " GB");
    print("\n");
});

mongoDB 데이터 압축

freesunny — Thu, 27 Jun 2024 15:43:30 +0900

지원하는 압축 알고리즘
- snappy : 속도가 빠르며 적당한 압축률을 제공합니다. 일반적으로 30-50%의 공간 절약을 기대할 수 있습니다.
  - 장점: 빠른 압축 및 압축 해제 속도, 낮은 CPU 사용률.
  - 단점: 상대적으로 낮은 압축률.
  - 사용 사례: CPU 사용을 최소화하고 빠른 응답 시간이 중요한 경우 적합.
- zlib : 압축률이 더 높지만, 속도는 상대적으로 느립니다. 일반적으로 50-70%의 공간 절약을 기대할 수 있습니다.
  - 장점: 높은 압축률.
  - 단점: 압축 및 압축 해제 속도가 느리며, CPU 사용률이 높음.
  - 사용 사례: 저장 공간 절약이 매우 중요한 경우 적합.
- zstd : 압축률과 속도 사이에서 균형을 이루는 새로운 알고리즘입니다. 일반적으로 50-70%의 공간 절약을 기대할 수 있습니다.
  - 장점: Snappy와 Zlib의 중간 성능, 균형 잡힌 압축률과 속도.
  - 단점: 중간 수준의 CPU 사용률.
  - 사용 사례: 균형 잡힌 성능과 효율성이 필요한 경우 적합.
- none
설정 방법 (mongod.conf)

storage:
  dbPath: /var/lib/mongodb
  wiredTiger:
    engineConfig:
      cacheSizeGB: 2
    collectionConfig:
      blockCompressor: zstd
    indexConfig:
      prefixCompression: true

[helm] eks 저장소 추가 및 aws-node-termination-handler 업그레이드 하기

freesunny — Tue, 16 Jun 2020 16:00:04 +0900

참고: aws-node-termination-handler 는 쿠버네티스 노드를 스팟으로 구성할 때 필요한 APP 이다.

helm eks 저장소 추가

❯ helm repo add eks https://aws.github.io/eks-charts
"eks" has been added to your repositories

기존에 설치된 helm 패키지 확인

❯ helm list -A
NAME                        	NAMESPACE     	REVISION	UPDATED                             	STATUS  	CHART                             	APP VERSION
aws-node-termination-handler	kube-system   	1       	2020-01-23 15:37:00.775536 +0900 KST	deployed	aws-node-termination-handler-0.3.0	1.0.0
k8s-spot-rescheduler        	kube-system   	1       	2020-05-20 19:29:55.906721 +0900 KST	deployed	k8s-spot-rescheduler-0.4.4        	v0.3.0
prometheus                  	monitoring    	4       	2020-06-16 15:29:38.439616 +0900 KST	failed  	prometheus-11.4.0                 	2.18.1

최신 패키지 확인 (aws-node-termination-handler)

❯ helm search repo eks | grep aws-node
eks/aws-node-termination-handler	0.7.5        	1.4.0      	A Helm chart for the AWS Node Termination Handler

설치되어 있는 버전은 1.0.0 이고 최신 버전은 1.4.0이라서 업그레이드를 진행한다.

업그레이드

❯ helm upgrade aws-node-termination-handler eks/aws-node-termination-handler -n kube-system
Release "aws-node-termination-handler" has been upgraded. Happy Helming!
NAME: aws-node-termination-handler
LAST DEPLOYED: Tue Jun 16 15:49:36 2020
NAMESPACE: kube-system
STATUS: deployed
REVISION: 2
TEST SUITE: None
NOTES:
aws-node-termination-handler has been installed or updated. To check the status of pods, run:

kubectl get pods --namespace

설치된 패키지 확인

❯ helm list -A
NAME                        	NAMESPACE  	REVISION	UPDATED                             	STATUS  	CHART                             	APP VERSION
aws-node-termination-handler	kube-system	2       	2020-06-16 15:49:36.456346 +0900 KST	deployed	aws-node-termination-handler-0.7.5	1.4.0

EC2 - curl 명령으로 public IP 확인하는 방법

freesunny — Thu, 11 Jun 2020 13:12:17 +0900

curl 명령으로 할당된 public ip를 확인할 수 있다.

# public ip 출력
curl http://169.254.169.254/latest/meta-data/public-ipv4

haproxy path rediect

freesunny — Tue, 26 May 2020 15:32:52 +0900

SSL 인증서 확인을 위해서 인증 파일을 보유하고 있는 웹사이트에 올려야 하는데, 파일을 올리기 위해서 모든 웹서버에 재배포를 진행하지 않고, haproxy 를 통해서 특정 path 를 다른 웹서버로 리다이렉트 시키는 방법.

<구성>

<haproxy.cfg>

frontend lb-fe-http-https
        bind 0.0.0.0:80
        bind 0.0.0.0:443 ssl crt /etc/haproxy/certs/<domain>.pem
        acl is-cert-path path_beg  /.well-known/pki-validation
        use_backend cert-lb-backend if is-cert-path
        default_backend default-lb-backend

backend cert-lb-backend
        balance roundrobin
        server temp01 <server_ip>:80    maxconn 80 check

backend default-lb-backend
        balance leastconn
        server server01 <server_ip>:80    maxconn 80 check
        server server02 <server_ip>:80    maxconn 80 check
        server server03 <server_ip>:80    maxconn 80 check

documentDB 를 접속을 위한 port forwarding 셋팅

freesunny — Mon, 25 May 2020 18:05:36 +0900

aws documentdb 는 public 접속을 허용하지 않고, private 으로만 접속을 해야 한다.

아무래도 편하게 접속할 수 있도록 documentdb 가 접속되는 subnet 에 ec2 인스턴스를 설치하고 해당 instance 를 통해서 documentdb 를 접속할 수 있도록 셋팅하였다.

먼저 documentdb 의 tls 옵션을 disable 로 변경한 뒤에 cluster 를 재시작한다.

documentdb 로 접속 할수 있는 ec2 에 자기자신에게 로그인할수 있도록 pem 파일을 업로드 한다.

documentdb 로 접속 할수 있는 ec2 인스턴스에서 아래의 명령을 입력한다.

ssh -o ExitOnForwardFailure=yes -f -i <my-pem-key.pem> -N -L 0.0.0.0:27017:<document-db-enpoint>:27017 <username>@localhost

ec2 를 통해서 documentdb 가 연결되는지 확인한다.

mongo --host <ec2-host-name or ec2-ip>:27017 --username <documentdb-account> --password <documentdb-password>

백그라운드에서 터널이 연결되며, 서버 종료 되기 전까지 터널링이 계속 유지 된다.

간단하게 nginx 배포하기

freesunny — Tue, 17 Mar 2020 11:55:24 +0900

클러스터 내에 파드의 통신을 확인할때 명세 없이 커맨드 만으로 nginx 를 배포하는 방법이다.

os가 debian 이라서 배포후 필요한 패키지는 apt 로 설치해서 사용하면 된다.

$ kubectl create deployment nginx --image=nginx -n namespace

Grafana - docker container 로 실행 시키기

freesunny — Fri, 29 Nov 2019 18:05:33 +0900

grafana 를 통해서 네 가지의 모니터링 지표들을 한 곳에서 보고 있다.

zabbix
aws cloudwach
azure monitor
prometheus

ssl 은 haproxy 를 통해서 처리했고, 계정관리를 위해서 ldap 서버와 연동을 하였다.

설치는 docker container 방식을 사용하였다.

디렉토리 생성 및 권한 설정

디렉토리는 본인의 환경에 맞게 변경
grafana 데이터는 uid 472, gid 472 사 소유권을 갖도록 설정 한다.

 
# mkdir /data/grafana/grafana-storage
# chown 472 /data/grafana/grafana-storage
# chgrp 472 /data/grafana/grafana-storage
# mkdir /data/grafana/etc
 

실행 명령

grafana의 기본 포트는 3000 이다.
가급적 컨테이너의 포트는 변경하지 않는 것이 좋으나,
변경이 필요할 경우에는 최초 실행 후 생성되는 grafana.ini 를 수정하고, container 삭제 후 변경된 포트로 실행하면 된다.
admin 패스워드는 본인 환경에 맞게 변경

 
# docker run -d -p 3000:3000 --name=grafana \
  -e "GF_SECURITY_ADMIN_PASSWORD=secret" \
  -v /data/grafana/grafana-storage:/var/lib/grafana \
  -v /data/grafana/etc/ldap.toml:/etc/grafana/ldap.toml \
  -v /data/grafana/etc/grafana.ini:/etc/grafana/grafana.ini \
  grafana/grafana
 
 

실행 확인

 
# docker ps
CONTAINER ID        IMAGE                        COMMAND                  CREATED             STATUS              PORTS                                                              NAMES
1873bc3660ba        grafana/grafana              "/run.sh"                22 minutes ago      Up 22 minutes       0.0.0.0:3000->3000/tcp                                             grafana
 

http://server_ip:3000 으로 접속하여 admin / secret 로 접속하면 된다.