분류 전체보기
-
aws ecs s3 access deniedAWS 2022. 2. 27. 12:27
문제 ECS에 도커 컨테이너(spring boot) 이용해 REST API 개발중 S3 Access denied 에러를 발견 하였다. API 통해 유저 이미지 등을 s3 private bucket 에 올려야 하는 요구사항이었고 기존에 ec2에서는 ec2 IAM role에 s3FullAccess 등을 주어 개발에 무리가 없었다. 하지만 ecs2InstanceRole에 s3FullAccess 를 주었음에도 s3 access denied 에러가 해결이 되질 않았다. 해결 먼저 AWS IAM ec2InstanceRole에 s3FullAccess가 있음을 확인했다. -> API는 여전히 access denied를 반환 이 문제를 해결하기위해 많은 방법을 시도햇지만 결국 아래와 같은 방법으로 해결하였음 ecsIns..
-
You have reached your pull request limit DockerAWS 2022. 2. 27. 12:16
현재 AWS 의 ECS 를 이용해 서비스를 제공 중이다. AWS 의 codedeploy를 사용해 CI/CD를 구성하였는데 로그를 보니 다음과 같은 에러 발견 [Container] 2022/02/16 08:00:26 Running command docker build -t server . 977Sending build context to Docker daemon 236.7MB 978 979Step 1/4 : FROM openjdk:8-jre-alpine 9808-jre-alpine: Pulling from library/openjdk 981toomanyrequests: You have reached your pull rate limit. You may increase the limit by authenti..
-
stress리눅스 2022. 2. 3. 10:28
AWS Auto Scalling 동작 테스트에 사용 sudo yum -y install stress # CPU 부하 grep -c processor /proc/cpuinfo # 코어수 확인 stress -c 2 # 적용할 코어 수 # Memory, Disk 부하 stress --vm 3 (프로세스 수) --vm-bytes 1024m stress --hdd 3 (hdd 수) -hdd-bytes 1024m 예전에 stress api를 만들어서 외부에서 호출 후 강제로 while 무한 루프를 돌리는 방법을 통해 CPU 부하를 주었던게 생각난다. stress를 통해 진행하는 것이 CPU, Memory, Disk 등 부하 테스트시 더 좋은 방법
-
kafka could not be established. Broker may not be availablekafka 2022. 1. 24. 12:26
카프카 스터디 중 다음과 같이 브로커가 동작하지 않는 경우에 브로커를 재 시작하여 해결하였다. 실제 운영하지 않고 있기 때문에 고민없이 재시작하여 해결하였음 [2022-01-24 11:28:29,708] WARN [AdminClient clientId=adminclient-1] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient) 브로커 실행 중단 bin/kafka-server-stop.sh 카프카 브로커 재시작 bin/kafka-server-start.sh -daemon config/server.pr..
-
docker 이미지 파일로 공유Docker 2022. 1. 24. 10:21
도커 이미지 파일로 공유하기 도커 이미지를 도커 허브나 repository 에 올리지 않고 직접 파일로 공유할 필요가 있는 경우 다음과 같이 진행한다. 1. 공유할 이미지 이름과 태그 확인 docker images 명령어로 공유할 repository 이름과 tag를 확인한다. diaz ~/docker_bins > docker images REPOSITORY TAG IMAGE ID CREATED SIZE test test 445356f0813e 55 minutes ago 142MB spring_boot test 5577c66cd934 4 weeks ago 155MB 2. 도커 파일 압축 파일로 생성 docker save -o docker_image.tar image_name:tag_name 3. 도..
-
kafka 기본 사용법kafka 2022. 1. 20. 09:36
kafka 스터디 내용 정리 kafka 설치 이 글 작성 시점엔 2.13 버전, stable버전 설치 하였음 https://kafka.apache.org/downloads Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz tar -xvf kafka_2.13-3.0.0.tgz kafka broker 실행 옵션 설정 추후 운영중 옵션을 바꿀경우에 브로커를 재시작 해야하므로 주의해야 한다. vi config/server/properties ... #이후 아래와 같이 설정 후 저장 #ec2등에서 실행할 경우 혹은..
-
Docker 운영 명령어Docker 2022. 1. 19. 08:22
도커 파일 빌드 docker build -t name:tag . 도커 실행 중지 #docker ps 명렁어로 container id 획득 후 docker stop container_id 도커 이미지 강제 삭제 #docker images 명령어로 삭제하려는 image id 획득 후 docker rmi -f image_id 백그라운드 실행 docker run -i -t -d -p 8080:9090 image:tag 도커 접속하기 #docker ps 로 container id 획득 docker exec -it container_id /bin/sh