티스토리

Freesunny

검색하기

블로그 홈

Freesunny

freesunny.tistory.com/m

freesunny 님의 블로그입니다.

구독자: 2

방명록 방문하기

주요 글 목록

쉘스크립트(bash script) 인자에 기본값 설정하기 쉘스크립트에 인자가 없을 경우 기본값을 설정하는 방법 #! /bin/bash# 인수로 최소 coreprice, 최대 coreprice, vcpu, AvailabilityZone을 받수 있도록 함MIN_COREPRICE="${1:-0}" # 첫 번째 인수가 없으면 기본값 0MAX_COREPRICE="${2:-0.019}" # 두 번째 인수가 없으면 기본값 0.019VCPUS="${3:-64,72,96}" # 세 번째 인수가 없으면 기본값 64,72,96AZ="${4:-ap-northeast-2c}" # 네 번째 인수가 없으면 기본값 ap-northeast-2c 공감수 0 댓글수 0 2024. 12. 2.
mongodb 에서 인덱스 용량 확인 해당 DB 의 컬렉션별 인덱스 용량을 각각 표시하는 방법db.getCollectionNames().forEach(function(collection) { let stats = db[collection].stats(); print(collection + " index size: " + (stats.totalIndexSize / (1024 * 1024)).toFixed(2) + " MB");}); 해당 DB 의 컬력션별 인덱스 용량을 합산하여 표시하는 방법let totalIndexSize = 0;db.getCollectionNames().forEach(function(collection) { let stats = db[collection].stats(); totalIndexSize += stats.t.. 공감수 0 댓글수 0 2024. 9. 21.
mongoDB collection 별 용량 확인하는 방법 방법#1 : mongosh에서는 SQL 스타일의 명령어를 사용하여 데이터베이스 내의 컬렉션 목록을 쉽게 확인할 수 있습니다.이 명령어는 현재 선택된 데이터베이스의 컬렉션 목록을 출력합니다.> use myDatabase> show collectionsusersproductsorders 방법#2 : mongosh에서 JavaScript 메서드를 사용하여 컬렉션 목록을 조회할 수도 있습니다.이 명령어는 현재 선택된 데이터베이스의 컬렉션 이름을 배열로 반환합니다.> use myDatabase> db.getCollectionNames()[ "users", "products", "orders"] mongosh에서 db.collection.stats() 메서드를 사용하여 컬렉션의 통계 정보를 확인할 수 있습니다.. 공감수 0 댓글수 0 2024. 6. 27.
mongoDB 데이터 압축 지원하는 압축 알고리즘snappy : 속도가 빠르며 적당한 압축률을 제공합니다. 일반적으로 30-50%의 공간 절약을 기대할 수 있습니다.장점: 빠른 압축 및 압축 해제 속도, 낮은 CPU 사용률.단점: 상대적으로 낮은 압축률.사용 사례: CPU 사용을 최소화하고 빠른 응답 시간이 중요한 경우 적합.zlib : 압축률이 더 높지만, 속도는 상대적으로 느립니다. 일반적으로 50-70%의 공간 절약을 기대할 수 있습니다.장점: 높은 압축률.단점: 압축 및 압축 해제 속도가 느리며, CPU 사용률이 높음.사용 사례: 저장 공간 절약이 매우 중요한 경우 적합.zstd : 압축률과 속도 사이에서 균형을 이루는 새로운 알고리즘입니다. 일반적으로 50-70%의 공간 절약을 기대할 수 있습니다.장점: Snappy와 Z.. 공감수 0 댓글수 0 2024. 6. 27.
[helm] eks 저장소 추가 및 aws-node-termination-handler 업그레이드 하기 참고: aws-node-termination-handler 는 쿠버네티스 노드를 스팟으로 구성할 때 필요한 APP 이다. helm eks 저장소 추가 ❯ helm repo add eks https://aws.github.io/eks-charts "eks" has been added to your repositories 기존에 설치된 helm 패키지 확인 ❯ helm list -A NAME NAMESPACE REVISIONUPDATED STATUS CHART APP VERSION aws-node-termination-handlerkube-system 1 2020-01-23 15:37:00.775536 +0900 KSTdeployedaws-node-termination-handler-0.3.01.0.0 k8.. 공감수 0 댓글수 0 2020. 6. 16.
EC2 - curl 명령으로 public IP 확인하는 방법 curl 명령으로 할당된 public ip를 확인할 수 있다. # public ip 출력 curl http://169.254.169.254/latest/meta-data/public-ipv4 공감수 1 댓글수 0 2020. 6. 11.
haproxy path rediect SSL 인증서 확인을 위해서 인증 파일을 보유하고 있는 웹사이트에 올려야 하는데, 파일을 올리기 위해서 모든 웹서버에 재배포를 진행하지 않고, haproxy 를 통해서 특정 path 를 다른 웹서버로 리다이렉트 시키는 방법. frontend lb-fe-http-https bind 0.0.0.0:80 bind 0.0.0.0:443 ssl crt /etc/haproxy/certs/.pem acl is-cert-path path_beg /.well-known/pki-validation use_backend cert-lb-backend if is-cert-path default_backend default-lb-backend backend cert-lb-backend balance roundrobin serve.. 공감수 0 댓글수 0 2020. 5. 26.
documentDB 를 접속을 위한 port forwarding 셋팅 aws documentdb 는 public 접속을 허용하지 않고, private 으로만 접속을 해야 한다. 아무래도 편하게 접속할 수 있도록 documentdb 가 접속되는 subnet 에 ec2 인스턴스를 설치하고 해당 instance 를 통해서 documentdb 를 접속할 수 있도록 셋팅하였다. 먼저 documentdb 의 tls 옵션을 disable 로 변경한 뒤에 cluster 를 재시작한다. documentdb 로 접속 할수 있는 ec2 에 자기자신에게 로그인할수 있도록 pem 파일을 업로드 한다. documentdb 로 접속 할수 있는 ec2 인스턴스에서 아래의 명령을 입력한다. ssh -o ExitOnForwardFailure=yes -f -i -N -L 0.0.0.0:27017::2701.. 공감수 0 댓글수 1 2020. 5. 25.
간단하게 nginx 배포하기 클러스터 내에 파드의 통신을 확인할때 명세 없이 커맨드 만으로 nginx 를 배포하는 방법이다. os가 debian 이라서 배포후 필요한 패키지는 apt 로 설치해서 사용하면 된다. $ kubectl create deployment nginx --image=nginx -n namespace 공감수 0 댓글수 0 2020. 3. 17.
Grafana - docker container 로 실행 시키기 grafana 를 통해서 네 가지의 모니터링 지표들을 한 곳에서 보고 있다. zabbix aws cloudwach azure monitor prometheus ssl 은 haproxy 를 통해서 처리했고, 계정관리를 위해서 ldap 서버와 연동을 하였다. 설치는 docker container 방식을 사용하였다. 디렉토리 생성 및 권한 설정 디렉토리는 본인의 환경에 맞게 변경 grafana 데이터는 uid 472, gid 472 사 소유권을 갖도록 설정 한다. # mkdir /data/grafana/grafana-storage # chown 472 /data/grafana/grafana-storage # chgrp 472 /data/grafana/grafana-storage # mkdir /data/gra.. 공감수 0 댓글수 1 2019. 11. 29.
zabbix에서 docker network interface 제외하는 방법 참고 : zabbix 4.0 Administration > General > Regular expressions > Network interfaces for discovery 공감수 0 댓글수 0 2019. 11. 29.
[redis] monitoring 하는 방법 redis 를 통해서 들어오는 커맨드를 확인하는 방법 $ redis-cli -h localhost -p 6379 -a PASSWORD monitor $ redis-cli -h localhost -p 6379 -a PASSWORD monitor | grep -v DEL grep 을 이용하여, 필요한 문자열이 포함된(제외된) 메시지만 출력할수 있다. 공감수 0 댓글수 0 2019. 11. 26.
[zabbix] TCP 모니터링 하는 법 zabbix 3.4 이상에서 사용할수 있는 방법이다. /usr/local/bin/json_item_tcp.sh #!/bin/bash # for Linux STATS=(UNKNOWN:0 ESTABLISHED:0 SYN_SENT:0 SYN_RECV:0 FIN_WAIT1:0 FIN_WAIT2:0 TIME_WAIT:0 CLOSED:0 CLOSE_WAIT:0 LAST_ACK:0 LISTEN:0 CLOSING:0) CONN="$(awk '{print $4}' /proc/net/tcp /proc/net/tcp6 | grep -v st | sort | uniq -c | sed -e s/' 0'/' '/g -e s/'A'/'10'/g -e s/'B'/'11'/g | awk '{print $2":"$1}')" if [ !.. 공감수 0 댓글수 0 2019. 11. 26.
[redis] WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. redis log 중에서 아래의 로그가 있을 경우 WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled. ro.. 공감수 0 댓글수 0 2019. 11. 25.
ubuntu 에서 rc.local 사용하기 * ubuntu 18.04 를 기준으로 작성되었습니다. ubuntu 에서 rc.local 를 사용할 수 있는 방법입니다. (기본적으로 비활성되어 있습니다.) root 권한 획득 $ sudo su - /etc/rc.local 파일 생성 printf '%s\n' \ '#!/bin/bash' \ '#' \ '# rc.local' \ '#'\ '# This script is executed at the end of each multiuser runlevel.' \ '# Make sure that the script will "exit 0" on success or any other' \ '# value on error.' \ '#' \ '# In order to enable or disable this scri.. 공감수 0 댓글수 1 2019. 11. 21.
Cluster Overprovisioning 현재 운영 중인 사이트는 HPA(Horizontal Pod Autoscaler) 통해서 파드를 오토스케일링 하는데, 파드가 스케일 아웃을 할 때, 필요한 자원이 없을 경우에는 CA(Cluster Autoscaler)를 통해서, 노드를 추가 하게 된다. 그런데, CA를 통해서 노드가 추가 될때, 노드가 바로 추가되지 않기 때문에, 노드가 추가되고 파드가 생성될 때 까지는 사이트 속도가 떨어지는 문제가 발생하였다. HPA의 기준(CPU사용율)을 변경하거나, 파드나 노드의 갯수를 매우 넉넉하게 설정을 해 놓으면 문제는 없겠지만 좀 더 스마트 한 방법을 찾아 보기로 했다. 처음에는 상시적으로 여유 노드를 한 개 정도 더 확보하고 있는 방법을 생각하였으나, 자원을 낭비 되는 감이도 있고, 관련 문서도 찾을 수가 .. 공감수 0 댓글수 0 2019. 11. 13.
Redis Cluster 구축 (redis cluster + predixy) 기존에 redis server 4 대 와 twemproxy 5 대를 가지고 서비스에 사용하고 있었는데, redis server 가 replication을 사용하지 않는 구조여서 redis cluster로 변경하였다. redis cluster 방식으로 변경을 결정한 이유는 * twemproxy 환경에서 redis server를 replication 구조로 가지고 가려면, sentinel 도 필요하고 * twemproxy는 master/slave를 자동으로 인식할 수 없기 때문에, redis master 서버 장애 발생 시, sentinel을 통해서 twemproxy 설정을 변경하고 재시작하는 스크립트를 구성해줘야 때문.... 요구사항 * Redis Server는 Master/Slave 구조를 가진다. (M.. 공감수 0 댓글수 0 2019. 11. 5.
docker-compose 설치 - 1.23.2 docker-compose 최신 버전(1.24.1)을 설치한 후에 실행 시 간헐적인 지연 현상(30초 ~ 1분 정도) 이 발생하여, 1.23.2 버전으로 낮추었다. 설치 명령 sudo curl -L "https://github.com/docker/compose/releases/download/1.23.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose 공감수 0 댓글수 0 2019. 11. 4.
kubectl 자동 완성 # bash source > ~/.bashrc # 자동 완성을 bash 셸에 영구적으로 추가한다 # zsh source > ~/.zshrc # 자동 완성을 zsh 셸에 영구적으로 추가한다. 참고 링크 : https://kubernetes.io/ko/docs/reference/kubectl/cheatsheet/ kubectl 치트 시트 kubernetes.io 공감수 0 댓글수 0 2019. 10. 22.
[awscli] s3 버킷 라이브사이클 설정 # 설정 확인 # aws s3api get-bucket-lifecycle-configuration --bucket BUCKET_NAME { "Rules": [ { "ID": "Convert IA", "Filter": { "Prefix": "" }, "Status": "Enabled", "Transitions": [ { "Days": 30, "StorageClass": "STANDARD_IA" } ], "AbortIncompleteMultipartUpload": { "DaysAfterInitiation": 7 } } ] } # 설정 삭제 # aws s3api delete-bucket-lifecycle --bucket BUCKET_NAME # 설정 추가 # aws s3api put-bucket-lifecyc.. 공감수 0 댓글수 0 2019. 10. 21.
container netstat 확인하는 방법 container 의 PID 확인 # docker inspect -f '{{.State.Pid}}' container_id or container_name 해당 PID의 netstat 확인 # nsenter -t PID -n netstat 예제) # docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 48ed5791585e dockeropggredis_redis-slave2 "docker-entrypoint..." 2 years ago Up 4 months 0.0.0.0:8002->6379/tcp dockeropggredis_redis-slave2_1 a72d895ea6dc dockeropggredis_redis-slave1 "docker-e.. 공감수 0 댓글수 0 2019. 10. 16.
[Zabbix] redis 모니터링 방법 # zabbix_agent.conf 에 아래 내용 추가 AllowRoot=1 추가 # cat /etc/zabbix/zabbix_agentd.d/userparameter_redis_lld_plus.conf # zabbix server version >= 3.4 # Need command: telnet,ss UserParameter=redis.port.discovery,ss -4lpn|grep redis-server|awk -F: '{print $2}'|awk '{print $1}'| awk NF | sed -e s/^/'{"{#REDIS_PORT}": "'/g -e s/'$'/'"},'/g | tr -d \\n | sed -e s/^/'{"data":['/g -e s/',$'/]}/g UserParamet.. 공감수 0 댓글수 0 2019. 9. 10.
[Zabbix] 디스크 모니터링 하는 방법 Zabbix Agent 설치 후 아래의 명령을 실행한다. # diskstats user parameters config sudo mkdir -p /etc/zabbix/zabbix_agentd.d/ sudo wget https://raw.githubusercontent.com/grundic/zabbix-disk-performance/master/userparameter_diskstats.conf -O /etc/zabbix/zabbix_agentd.d/userparameter_diskstats.conf # low level discovery script sudo wget https://raw.githubusercontent.com/grundic/zabbix-disk-performance/master/lld-.. 공감수 0 댓글수 0 2019. 9. 10.
[MySQL] bin-log 줄이기 방법 mysql-bin.xxxxxx 파일들이 늘어나서 30일치의 로그만 남기고 삭제하였음 $ mysql -e "PURGE MASTER LOGS BEFORE DATE_SUB(CURRENT_DATE, INTERVAL 30 DAY)" -u root -p 공감수 0 댓글수 0 2019. 8. 29.
실행되고 있는 pod 를 node 기준으로 sort 하여 보고 싶을 때 실행되고 있는 pod 를 node 기준으로 sort 하여 보고 싶을 때 $ kubectl get pods -n -o wide --sort-by=.spec.nodeName 공감수 0 댓글수 0 2019. 8. 9.
kubernetes 노드 변경 한대의 노드가 정상적이지 않은 것 같아서 새로운 노드를 추가하고 문제있는 노드를 제거 하였다. AWS를 사용하고 있고, 오토스케일링 그룹에 속해있는 노드라서, 오토스케일링 그룹에 신규 인스턴스가 추가 되도록 Desired Capacity 를 추가한다. $ kubectl get nodes ip-172-31-16-133.ap-northeast-2.compute.internal Ready 16m v1.12.7 ip-172-31-24-205.ap-northeast-2.compute.internal Ready 82d v1.12.7 ip-172-31-33-98.ap-northeast-2.compute.internal Ready 27s v1.12.7 ip-172-31-42-90.ap-northeast-2.comput.. 공감수 0 댓글수 0 2019. 8. 5.
nodeAffinity 를 이용하여 pod 를 원하는 노드에 배포하기 노드에 설정된 label 을 이용하여, 원하는 노드에 pod를 배포할 수 있다. 아래의 예제는 kube-system 네임스페이스 안에 cluster-autoscaler 를 (반드시) Spot 노드가 아닌 OnDemand 노드에 배포하는 설정이다. (Spot, OnDemand 노드의 구분은 Spot : lifecycle=EC2Spot, OnDemand : lifecycle=OnDemand) ## spec.template.spec ## affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: lifecycle operator: In values: - OnD.. 공감수 0 댓글수 0 2019. 7. 31.
docker-compose 로 bridge network 변경하기 docker의 bridege network 주소가 사용하고 있는 사설 주소와 충돌이 나서 통신이 안되는 경우가 발생하면, docker-compose.yaml 내에 아래의 설정으로 network 주소를 변경할 수 있다. networks: default: ipam: driver: default config: - subnet: 172.27.3.0/24 공감수 0 댓글수 0 2019. 7. 30.
쿠버네티스 대시보드 편하게 접속하기(#1) EKS로 쿠버네티스 클러스터를 셋팅하였는데, kubeproxy 를 로컬에 띄어서 로컬로 접속하는 방식인데, 서버를 통해서 접속하는 방식으로 바꿨다. 매번 명령을 실행시키기 번거롭다. 여러 개의 클러스터를 관리해야 한다. (aws 계정도 여러 개 사용) HTTPS를 사용하고 싶다. 사내에 사용가능한 리눅스가 있다. 사용빈도가 매우 높지 않다. 비용을 쓰고 싶지 않다. (ELB로 접속하는 방식이 있으나...) 대시보드에 ELB를 붙여서 접속하는 방법도 있으나, 비용적인 부분과 사용빈도가 크지 않기 때문에, 사내에 있는 linux 를 x통해서, 접속하는 방식으로 변경해 보았다. 접속도 여러 개의 계정과 여러 개의 클러스터를 관리해야 하기 때문에, docker container 를 통해서 구축 하였다. 파일 :.. 공감수 0 댓글수 0 2019. 7. 29.
[awscli] 볼륨 출력 인스턴스에서 사용 중인 볼륨 출력 (인스턴스에 Attached 되어 있는) $ aws ec2 describe-volumes --region ap-northeast-2 \ --filters Name=status,Values=in-use --query 'Volumes[].VolumeId' $ aws ec2 describe-volumes --region ap-northeast-2 \ --filters Name=attachment.status,Values=attached --query 'Volumes[*].VolumeId' 인스턴스에 연결되어 있지 않은 볼륨 출력 (인스턴스에 Detached 되어 있는) $ aws ec2 describe-volumes --region us-east-1 \ --filters Na.. 공감수 0 댓글수 0 2019. 7. 27.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.