Databricks, 빅데이터 분석 플랫폼 Spark용 AI 모델 SDK 출시: 원클릭으로 SQL 및 FySpark 언어 차트 코드 생성-일체 포함-php.cn

Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK：一键生成 SQL 及 FySpark 语言图表代码

지난 7월 10일 소식, 데이터브릭스는 최근 빅데이터 분석 플랫폼 스파크에서 사용하는 AI 모델 SDK를 출시했다.개발자가 코드를 작성할 때 영어로 명령어를 주면 컴파일러가 영어 명령어를 변환해준다. 개발자 효율성을 향상시키기 위해 PySpark 또는 SQL 언어 코드로 변환.

Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK：一键生成 SQL 及 FySpark 语言图表代码

▲ 사진 출처 Databricks 웹사이트

Spark는 연간 10억 건 이상의 다운로드를 기록하는 오픈 소스 빅데이터 분석 도구로 전 세계 208개 국가 및 지역에서 사용되고 있는 것으로 알려졌습니다.

Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK：一键生成 SQL 及 FySpark 语言图表代码

▲ 이미지 출처 Databricks 웹사이트

Databricks는 Microsoft의 AI 코드 도우미 GitHubCopilot이 강력하지만 사용 임계값도 Databricks의 SDK가 상대적으로 더 보편적이고 사용하기 쉽다고 말했습니다.

Databricks는 대규모 언어 모델이 Spark를 매우 잘 이해한다는 사실을 발견했으며 Spark 커뮤니티는 지난 10년 동안 AI 학습 개발을 위한 대량의 개방형 고품질 텍스트에 기여해 왔다고 주장합니다.Databricks 팀은 교육을 위해 Spark 커뮤니티에서 제공한 일련의 학습 데이터에 의존했으며 LLM을 사용하여 SDK의 영어 버전을 개발했습니다. 개발자는 이 SDK를 사용하여 영어로 직접 명령을 내리고 그에 따른 결과를 얻을 수 있어 개발 효율성이 향상됩니다.

Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK：一键生成 SQL 及 FySpark 语言图表代码