GenAI 가속화: MySQL에서 Kafka로 데이터 스트리밍

AI 시대, 아파치 카프카는 실시간 데이터 스트리밍과 처리 성능이 뛰어나 중추적인 역할을 하고 있다. 많은 조직에서는 효율성과 비즈니스 민첩성 향상을 위해 데이터를 Kafka에 통합하려고 합니다. 이 경우 데이터 이동을 위한 강력한 도구가 매우 중요합니다. BladePipe는 탁월한 선택 중 하나입니다.

이 튜토리얼에서는 기본적으로 CloudCanal Json 형식을 사용하여 BladePipe를 사용하여 MySQL에서 Kafka로 데이터를 이동하는 방법을 설명합니다. 파이프라인의 주요 기능은 다음과 같습니다.

• 다양한 메시지 형식을 지원합니다.
• DDL 동기화를 지원합니다. DDL 작업이 작성되는 주제를 구성할 수 있습니다.
• 자동 주제 생성을 지원합니다.

하이라이트

자동 주제 생성

DataJob 생성 중에 대상 Kafka에서 주제가 자동으로 생성될 수 있습니다. 또한 필요에 따라 파티션 수를 구성할 수 있습니다.

데이터 일괄 쓰기

BladePipe에서는 동일한 테이블의 동일한 유형의 작업을 단일 메시지로 병합하여 데이터 일괄 쓰기가 가능하고 대역폭 사용량이 줄어듭니다. 따라서 데이터 처리 효율성이 크게 향상됩니다.

재개 가능한 DataJob

수십억 개의 레코드가 포함된 대규모 테이블을 동기화하려면 재개성이 필수적입니다.

BladePipe는 오프셋을 정기적으로 기록함으로써 다시 시작된 후 마지막 오프셋에서 전체 데이터 및 증분 DataTask를 재개할 수 있도록 하여 예상치 못한 일시 중지가 진행에 미치는 영향을 최소화합니다.

절차

1단계: BladePipe 설치

BladePipe Worker를 다운로드하고 설치하려면 Install Worker(Docker) 또는 Install Worker(Binary)의 지침을 따르세요.

2단계: 데이터 소스 추가

1. BladePipe Cloud에 로그인하세요.
2. 데이터 소스 >를 클릭하세요. 데이터 소스 추가.
3. 소스 및 대상 DataSource 유형을 선택하고 설정 양식을 작성하세요.

3단계: DataJob 생성

1. DataJob >을 클릭하세요. DataJob 생성.

2. 소스 및 대상 데이터 소스를 선택하고 연결 테스트를 클릭하여 소스 및 대상 데이터 소스에 대한 연결이 모두 성공했는지 확인하세요.
   
   대상 데이터 소스의 고급 구성에서 메시지 형식으로 CloudCanal Json 형식을 선택합니다.
   

3. 전체 데이터 옵션과 함께 DataJob 유형으로 증분을 선택합니다.
   

4. 복제할 테이블과 열을 선택하세요. 컬럼 선택 시 대상 토픽의 파티션 수를 구성할 수 있습니다.
   

5. DataJob 생성을 확인하세요.

6. 이제 DataJob이 생성되고 시작됩니다. BladePipe는 다음 DataTask를 자동으로 실행합니다.

   • 스키마 마이그레이션: 원본 테이블의 스키마가 대상 데이터베이스로 마이그레이션됩니다.
   • 전체 데이터 마이그레이션: 원본 테이블의 모든 기존 데이터가 대상 데이터베이스로 완전히 마이그레이션됩니다.
   • 증분 데이터 동기화: 진행 중인 데이터 변경 사항이 대상 인스턴스에 지속적으로 동기화됩니다.

FAQ

BladePipe는 어떤 다른 소스 DataSource를 지원합니까?

현재 MySQL, Oracle, SQL Server, PostgreSQL 및 MongoDB에서 Kafka로의 연결을 생성할 수 있습니다. 그 외 요청 사항이 있으시면 커뮤니티를 통해 피드백을 남겨주세요.

관심이 있고 사용해 보고 싶다면 https://www.bladepipe.com을 방문하여 무료 평가판을 받아보세요.

위 내용은 GenAI 가속화: MySQL에서 Kafka로 데이터 스트리밍의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!