AutoMQ: S3 위에서 동작하는 무상태 Kafka, 10배 비용 절감 및 초 단위 확장

👥 전 세계 대기업들이 AutoMQ를 사용합니다

전 세계에서 AutoMQ를 사용하는 주요 고객사들을 소개합니다.

⛄ AutoMQ 시작하기

단일 호스트에 로컬로 설치

curl https://download.automq.com/community_edition/standalone_deployment/install_run.sh | bash

가장 간편하게 AutoMQ를 실행하는 방법입니다. 초 단위 파티션 재할당, 지속적인 셀프 밸런싱 등 다양한 기능을 로컬 환경에서 경험하세요.

그 외 배포 옵션:

🗞️ 최신 기능

S3 Table 기능(2024 re:Invent 공개)과 완전히 연동되는 Table Topic 기능을 통해 스트림과 데이터 분석을 통합 제공. 자세히 보기

🔶 왜 AutoMQ인가

AutoMQ는 S3 및 S3 호환 스토리지(MinIO 등) 위에 구축된 무상태 Kafka 대체제입니다. Apache Kafka의 고질적인 두 가지 문제, 즉 브로커의 상태 지향성으로 인한 확장/축소의 어려움, 그리고 클라우드 환경에서의 높은 비용(EBS 스토리지, 크로스 AZ 트래픽, 과다 프로비저닝) 문제를 근본적으로 해결합니다.

AutoMQ가 클라우드/온프레미스 환경에서 S3 호환 스토리지만 있다면 Kafka를 대체할 수 있는 주요 장점들:

비용 효율적 : 최초의 진정한 클라우드 네이티브 스트리밍 스토리지 시스템. 상세 비용 효과 보고서 참고.
높은 신뢰성 : 오브젝트 스토리지 기반으로 RPO=0, RTO=초단위, 내구성 99.999999999% 달성.
크로스 AZ 트래픽 비용 제로 : 오브젝트 스토리지 우선 사용으로 AWS/GCP 내 크로스 AZ 트래픽 비용 제거. 표준 Kafka 구성 대비 80% 이상의 비용 절감.
서버리스 :
- 오토 스케일링: 지표 기반 자동 확장/축소(PAYG 모델)
- 초 단위 Scaling: 브로커는 무상태, 수 초만에 in/out 가능.
- 무한 확장성: 오브젝트 스토리지를 1차 스토리지로 사용, 용량 걱정 불필요
운영 무관 : 자동 밸런싱으로 파티션 재할당, 네트워크 트래픽까지 모두 자동 조정
고성능 :
- 프리페칭, 배치 처리, 병렬 기술로 클라우드 스토리지 성능 극대화 (성능 백서 참고)
- 낮은 지연: S3 상에서 바로 동작(기본 수백 ms 지연), 엔터프라이즈 버전은 한 자리 수 ms 지원 문의
내장 메트릭스 내보내기 : 프로메테우스/오픈텔레메트리 네이티브 지원 (push/pull)
100% Kafka 호환 : Apache Kafka와 완전한 호환성과 모든 기능 제공

✨ 아키텍처

AutoMQ의 공유 스토리지 아키텍처는 데이터를 클라우드 스토리지로 오프로드, 브로커를 무상태로 만듭니다. WAL(Write-Ahead Logging)과 오브젝트 스토리지의 결합으로, 모든 데이터가 거의 실시간으로 오브젝트 스토리지에 저장됩니다.

주요 구조:

오브젝트 스토리지: 유연하고 비용 효율적이며 확장성 높은 데이터 저장소
WAL 레이어: 오브젝트 스토리지의 IOPS/지연 한계를 극복, 쓰기 효율/IOPS 최적화
- 다양한 클라우드 서비스의 스토리지(WAL) 선택 가능: Azure ZRS, GCP Regional PD, Alibaba Cloud Regional ESSD(멀티 AZ 내구성), AWS S3(지연 허용 시 WAL 추가비용 없이), AWS EFS/FSx(지연/비용 균형)
자체 개발 S3Stream 스트리밍 스토리지 라이브러리: Kafka의 Log 스토리지를 S3Stream으로 대체하여 완전한 무상태 브로커 실현
초 단위 파티션 재할당, 오토 스케일링/밸런싱 등 운영 효율화
아키텍처 상세 보기

💬 커뮤니티

AutoMQ 관련 문의/버그 리포트는 GitHub Issues 또는 Slack, Wechat 그룹에서 가능합니다.

👥 기여 방법

AutoMQ 문제 발견 시 Issues로 등록해 주세요. 기여 전에는 CODE_OF_CONDUCT.md, CONTRIBUTING_GUIDE.md 문서를 참고하시고, good first issue 목록에서 도전 이슈를 'pick up' 코멘트로 신청하실 수 있습니다. 궁금한 점은 언제든 질문해 주세요.

👍 AutoMQ 비즈니스 에디션

AutoMQ 비즈니스 에디션은 손쉬운 클러스터 관리가 가능한 강력한 컨트롤 플레인을 제공합니다. 높은 가용성과 관측성을 내장, 커뮤니티 에디션 대비 훨씬 진화된 운영성을 제공합니다.

커뮤니티 버전과 비즈니스 버전의 차이는 여기 참고하세요.

2주 무료 PoC 라이선스와 함께 배포 동영상 및 문서 참조.

비즈니스 에디션 무료 체험

신용카드 등록도 필요 없는 무제약 비즈니스 에디션 무료 체험은 여기서 신청하세요. 메시지에 AutoMQ Cloud Free Trial로 남겨주시면 곧바로 컨트롤 패널과 접근 주소를 안내해 드립니다.

🐱 Apache Kafka와의 관계

AutoMQ는 오픈소스 Apache Kafka에서 포크된 프로젝트입니다. Kafka 코드베이스에서 LogSegment 레벨을 개선하여, Apache Kafka의 스토리지 계층을 자체 개발한 S3Stream 클라우드 네이티브 스트림 스토리지 엔진으로 대체했습니다. 이를 통해 EBS WAL+S3 기반으로 고성능, 저비용, 무제한 확장 스트림 스토리지를 구현, Kafka 컴퓨팅 계층 코드를 그대로 유지하여 100% 호환성을 자랑합니다. Kafka 커뮤니티의 노력에 감사드리며, 앞으로도 깊이 교류할 것입니다.

🙋 문의하기

자세한 내용 문의/상담은 여기에서 가능합니다.

About

AutoMQ는 S3에서 동작하는 무상태 Kafka입니다. 10배 비용 효율/교차 AZ 트래픽 비용 없음/초 단위 오토스케일/단일자리 ms 대기/멀티AZ 가용성.

www.automq.com

Licence: Apache-2.0

• README • Code of conduct • Apache-2.0 license

Stars: 5.8k+ | Fork: 392+ | Contributors: 1,180+ | 릴리즈

사용 기술: Java(80.8%), Scala, Python, Shell 등

GitHub - AutoMQ/automq: AutoMQ는 S3 위에서 동작하는 무상태 Kafka입니다. 10배 비용 효율적. 교차 AZ 트래픽 비용 없음. 초 단위 오토스케일. 한 자리 수 ms 대기 시간. 멀티 AZ 가용성.