DevOps

[kafka] kafka connect를 활용한 다중서버 db 동기화 문제 해결

* 문제주문을 넣으면 round robin으로 data가 각각의 db에 나누어 저장되는 문제 * 해결설계order-service의 db를 mariadb로 변경datasource: driver-class-name: org.mariadb.jdbc.Driver url: jdbc:mariadb://localhost:3307/mydb # MariaDB URL username: root password: qwertykafka에서 사용가능한 형식의 data로 만들어 줘야 한다.생성되는 json{ "schema": { "type": "struct", "fields": [ { "type": "string", "optional": true, "field": "order_id" }, ..

[kafka] 데이터 동기화 테스트, 스프링 - 도커의 kafka 연결하기

* 스프링 - 도커의 kafka 연결하기카프카 docker를 아래와 같이 수정필요kafka: image: wurstmeister/kafka ports: - "9092:9092" environment: KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:29092,PLAINTEXT_HOST://0.0.0.0:9092 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092이렇게 바꾸니까 kafka-ui,..

[kafka] docker로 kafka, kafka-connect 설치하기, 실습

* network 만들기docker network create --gateway 172.18.0.1 --subnet 172.18.0.0/16 ecommerce-network같은 네트워크내에서는 다른 서비스 호출시 이름으로 가능하다. * 삽질kafka connect에 jdbc 설치# 컨테이너 ID가 예를 들어 'abc123'이라면docker exec -it abc123 confluent-hub install --no-prompt confluentinc/kafka-connect-jdbc:latestdocker exec -it abc123 confluent-hub install --no-prompt confluentinc/kafka-connect-jdbc:latest로컬에서 mariadb client 다운볼륨..

24.11.6. 개발일지 // cloud에 redis 설치, private subnet

* ssh key forwardingprivate subnet에 접속하고싶다.key(pem)을 가져가야 되는데 어떻하지?scp로 전송하면 되겠다! -> key를 문앞에 놔두는 꼴 -> 보안 위험해결 : ssh-add 명령어 => 내 비서에게 key를 맡기고 같이 들어가기!aws는 서버생성시 만든 pem이 자동으로 저장되어있는데, ncloud는 직접 만들어줘야 되는것 같다...root로 접속후, ubuntu user만들고, 비밀번호 접속막고, root 접속막고, 공개키-비밀키 만들고, 공개키를 home/ubuntu/.ssh/authorized_keys에 넣고 비밀키를 내 로컬에 저장해야한다.일단 비밀키 복붙으로 내 로컬에 옮기기 성공.not in the sudoers file error해결? 원래 인터넷이..

[Redis] VPC 구성하기

* 의문 : WAS와 Redis간 통신보안의 best-practice?WAS와 Redis를 같은 VPC에 배치VPC 내부 통신만 허용네, Redis 보안을 위한 Best Practice는 VPC 구성입니다. VPC를 통한 네트워크 격리가 가장 안전한 방법입니다.flowchart TD subgraph "Public Subnet" ALB[Application Load Balancer] end subgraph "Private Subnet 1" WAS1[WAS Instance 1] WAS2[WAS Instance 2] end subgraph "Private Subnet 2" Redis[(Redis)] end Internet[..

[Docker] docker-compose 작성, 인텔리제이에서 연결

services: postgres: image: postgres:15 restart: always volumes: - ./postgres-data:/var/lib/postgresql/data ports: - "5432:5432" environment: POSTGRES_USER: postgres POSTGRES_PASSWORD: postgres POSTGRES_DB: postgres * todo : 로컬에서 도커의 postgres에 연결하기지금은 내 로컬의 postgres에 연결된것 같음