2022년 하반기 데이터 및 인공지능 기술 전망

2022년 지금까지 살펴본 내용을 바탕으로 Datanami는 올해 남은 기간 동안 이러한 5가지 예측을 할 수 있다고 확신합니다.

데이터 관측 가능성은 계속 실행됩니다

올해 상반기는 데이터 관측 가능성에 큰 도움이 되었으며, 이를 통해 고객은 데이터 흐름에서 무슨 일이 일어나고 있는지 더 잘 이해하고 관련 지표를 개발할 수 있었습니다. 데이터가 의사 결정에 더욱 중요해짐에 따라 해당 데이터의 상태와 가용성도 더욱 중요해졌습니다.

우리는 Cribl(1억 5천만 달러 시리즈 D); 백만) 및 기타. 뉴스를 만드는 다른 회사로는 Software AG가 5억 8천만 달러에 인수한 StreamSets를 출시한 Bigeye와 지난 달 관측 가능성 스타트업인 Databand를 인수한 IBM이 있습니다.

더 많은 데이터 가시성 스타트업이 우두머리에서 등장하고 기존 스타트업이 이 신흥 시장에서 입지를 확고히 하려고 노력함에 따라 이러한 모멘텀은 2022년 하반기에도 계속될 것입니다.

실시간 데이터 팝업

실시간 데이터는 몇 년 동안 뒷전으로 미루어 일부 틈새 사용 사례를 제공했지만 실제로 일반 기업에서는 널리 사용되지 않았습니다. 그러나 지난 몇 년간 코로나19 팬데믹과 이에 따른 사업 계획의 구조 조정으로 인해 이제 실시간 데이터가 주류 기술 현장에 진입할 수 있는 여건이 무르익었습니다.

Databricks CEO Ali Ghodsi는 최근 Data + AI Summit에서 "드디어 스트리밍이 일어나고 있다고 생각합니다."라고 말하면서 회사의 클라우드 기반 데이터 플랫폼에서 스트리밍 워크로드가 2.5배 증가했다고 언급했습니다. "실시간이 필요한 AI 사용 사례가 점점 더 많아지고 있습니다."

인 메모리 데이터베이스와 인 메모리 데이터 그리드도 실시간 르네상스의 혜택을 누릴 준비가 되어 있습니다(그렇다면). Kafka와 같은 이벤트 기반 시스템을 향상시키는 빠른 분석 데이터베이스인 RocksDB에는 이제 Speedb라는 대체 데이터베이스가 있습니다. 단일 관계형 프레임워크에 OLTP와 OLAP 기능을 결합한 SingleStore는 지난 달 자금 조달 라운드에서 13억 달러의 가치 평가를 달성했습니다.

최근 Apache Doris를 기반으로 하는 새로운 고속 OLAP 데이터베이스에 대한 자금을 지원받은 StarRocks도 있습니다. Imply는 Apache Druid 기반의 실시간 분석 사업을 계속하기 위해 5월에 1억 달러 규모의 시리즈 D 라운드를 완료했습니다. Apache Cassandra 툴킷을 개발하고 실시간 애플리케이션 개발을 발전시키기 위해 1억 1,500만 달러를 모금했습니다. Datanami는 실시간 데이터 분석에 대한 이러한 초점이 계속될 것으로 예상합니다.

규제 성장

GDPR이 발효된 지 4년이 지났으며, 이로 인해 빅 데이터 사용자가 주목을 받고 책임 있는 데이터 이니셔티브의 필수 구성 요소로서 데이터 거버넌스의 부상이 가속화되었습니다. 미국에서는 데이터 액세스를 규제하는 임무가 주정부에 맡겨졌으며, 캘리포니아주가 여러 면에서 GPDR을 모델로 한 CCPA를 주도하고 있습니다. 그러나 더 많은 주에서 이를 따를 가능성이 높아 미국 기업의 데이터 프라이버시 방정식이 복잡해집니다.

하지만 GDPR과 CCPA는 규제의 시작일 뿐입니다. 우리는 또한 회사가 사용자의 온라인 행동을 추적하는 것을 더 어렵게 만드는 제3자 쿠키의 종말을 맞이하고 있습니다. 플랫폼에서 제3자 쿠키 종료를 2023년 1월 1일까지 연기하기로 한 Google의 결정으로 마케팅 담당자는 적응할 시간을 좀 더 확보할 수 있지만 쿠키의 정보는 복제하기 어려울 것입니다.

데이터 규정 외에도 인공지능 사용에 관한 새로운 규정도 준비 중입니다. EU는 2021년에 인공지능 법안을 도입했으며 전문가들은 이 법안이 2022년 말이나 2023년 초까지 법으로 제정될 수 있다고 예측합니다.

데이터시트 형식 전쟁

빅 데이터 시스템에 데이터가 저장되는 방식, 데이터에 액세스할 수 있는 사람, 사용자가 데이터로 무엇을 할 수 있는지를 결정하는 새로운 데이터시트 형식으로 고전적인 기술 전쟁이 형성되고 있습니다.

최근 몇 달 동안 Apache Iceberg는 데이터 테이블 형식에 대한 잠재적인 새로운 표준으로 추진력을 얻었습니다. 클라우드 데이터 웨어하우스의 거대 기업인 Snowflake와 AWS는 올해 초 트랜잭션 및 기타 데이터 제어 기능을 제공하고 Netflix와 Apple에서 나온 Iceberg를 지원하기 위해 나섰습니다. 이전 Hadoop 배포자 Cloudera도 6월에 Iceberg를 지원했습니다.

그러나 Databricks의 사람들은 Iceberg와 유사한 기능을 제공하는 Delta Lake에 대한 표 형식의 대안을 제공합니다. Apache Spark 후원자는 원래 Delta Lake 테이블 형식을 독점적인 방식으로 개발하여 Databricks가 고객을 위해 잠금을 설정하고 있다는 비난을 불러일으켰습니다. 하지만 지난 6월 Data + AI Summit에서 회사는 전체 형식을 오픈 소스로 만들어 누구나 사용할 수 있도록 하겠다고 발표했습니다.

대부분의 손실은 Apache Hudi입니다. Apache Hudi는 빅 데이터 저장소에 상주하고 다양한 컴퓨팅 엔진에서 액세스할 수 있으므로 데이터 일관성도 제공합니다. Apache Hudi 개발자의 지원을 받는 기업인 Onehouse는 올해 초 Hudi 기반 Lakehouse 플랫폼을 출시했습니다.

빅 데이터 생태계는 경쟁을 좋아하므로 2022년 남은 기간 동안 이러한 형식이 진화하고 경쟁하는 것을 지켜보는 것은 흥미로울 것입니다.

언어 AI는 계속해서 놀라움을 선사합니다

AI의 경계는 매달 더욱 날카로워지고 있으며, 오늘날 AI의 선봉은 점점 더 좋아지고 있는 대형 언어 모델입니다. 실제로 대규모 언어 모델이 너무 좋아져서 지난 6월 Google 엔지니어는 회사의 LaMDA 대화 시스템이 지각력을 갖게 되었다고 주장했습니다.

인공 지능은 아직 지각력이 없지만 이것이 비즈니스에 유용하지 않다는 의미는 아닙니다. 참고로 Salesforce에는 소스 코드를 이해하고 다양한 프로그래밍 언어로 자체 코드를 생성하도록 설계된 CodeGen이라는 대규모 언어 모델링(LLM) 프로젝트가 있습니다.

지난달 Meta(Facebook의 모회사)는 200개 언어를 번역할 수 있는 대규모 언어 모델을 출시했습니다. 또한 BigScience Large Open Science Open Access Multilingual Language Model(BLOOM)과 같은 프로젝트를 통해 AI를 민주화하려는 노력도 목격했습니다.

위 내용은 2022년 하반기 데이터 및 인공지능 기술 전망의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!