Kafka2 카프카 핵심 개념 및 도입 전 필수 점검 사항 카프카에 전송하는 데이터 중 민감 정보가 있다면 전송해도 보안상 이슈는 없는지 검토합니다. 구독해가는 주체가 외부 서버일 수도 있는지 체크 필요 토픽 토픽 이름은 한 번 정하면 영원히 바꿀 수 없으니, 신중히 결정해야 합니다. 토픽은 local/alpha/qa/pre/live 각각 따로 만드는 것이 좋습니다. 파티션 한 토픽 안에는 여러 개의 파티션이 있습니다. 카프카에서 파티션 개수는 늘릴 수만 있고, 영원히 줄일 수 없으니 신중히 결정해야 합니다. 프로듀서 프로듀서가 특정 토픽에 레코드들을 발행할 때, 해당 토픽 내 파티션들에 Round Robin으로 전송됩니다. 컨슈머 주요 설정값 max.poll.records : 한번에 Consume 해오는 레코드의 개수를 설정할 수 있습니다. enable.aut.. 2022. 12. 24. Kafka 주요 명령어 (window + git bash 기준) **2장** echo "alias ll='ls --color=auto -alF'" >> ~/.bashrc source ~/.bashrc chmod 400 kafka-test-1-key-pair.pem ll kafka-test-1-key-pair.pem ssh -i "D:\YGW\학교\4학년_2학기\3 졸업프로젝트2(종합설계)\kafka\kafka-test-1-key-pair.pem" ec2-user@34.228.41.218 sudo yum install -y java-1.8.0-openjdk-devel.x86_64 wget https://archive.apache.org/dist/kafka/2.5.0/kafka_2.12-2.5.0.tgz tar xvf kafka_2.12-2.5.0.tgz cd kafka.. 2021. 9. 18. 이전 1 다음