새로운 IT 운영 및 유지 관리에는 인프라와 데이터 모두에 대한 노력이 필요합니다.

AI 빅모델 시대, 데이터는 IT 인력에게 '새로운 사명'을 줍니다.

현재 IT 인력은 기업의 운영 지원 역할을 맡고 있습니다. 운영 및 유지 관리에 있어서는 모두가 매일 지루하고 고부하, 고위험의 운영 및 유지 관리 업무를 담당하고 있지만 비즈니스에 있어서는 "투명"해 졌다고 생각합니다. 계획 및 경력 개발. 업계에는 "돈만 쓰는 사람은 말할 자격도 없다"라는 농담이 있다.

AI 대형 모델 애플리케이션이 대중화되면서 데이터는 기업의 핵심 자산이자 핵심 경쟁력이 되었습니다. 최근 몇 년 동안 기업 데이터의 규모는 페타바이트 수준에서 수백 페타바이트 수준으로 기하급수적으로 증가했습니다. 데이터 유형 역시 데이터베이스 기반의 정형 데이터에서 파일, 로그, 동영상 등을 기반으로 한 반정형, 비정형 데이터로 점차 진화해 왔습니다. 사업부서의 요구사항을 충족시키기 위해서는 데이터 저장소를 도서관처럼 분류하고 접근할 수 있어야 하며, 보다 안전하고 안정적인 저장 방법도 필요합니다.

IT 인력은 더 이상 IT 리소스 구축 및 관리, 장비 안정성 보장을 담당하는 수동적인 역할을 하는 사람이 아닙니다.

IT인의 새로운 사명은 고품질의 데이터 서비스 제공, 데이터를 사용하기 쉽게 만들고, 사업부서의 데이터 활용을 돕는 것으로 진화했습니다!

"인프라"와 "데이터"는 매우 가깝지만 둘의 "관리"는 멀리 떨어져 있습니다.

인프라 관리에는 업계에서 일반적으로 사용하는 것이 AIOps 기술은 지루한 수동 일일 운영 및 유지 관리를 도구를 사용하여 자동화된 실행으로 바꾸고, 전문가 시스템, 지식 그래프 등 지능형 기능을 사용하여 시스템 위험을 사전에 발견하고 오류를 자동으로 복구하는 등의 기술을 제공합니다. 생성적 AI 기술의 대중화 이후 지능형 고객 서비스, 대화형 운영 및 유지 관리와 같은 새로운 응용 프로그램이 최근 등장했습니다.

데이터 관리를 위해 업계에는 Informatica, IBM 등으로 대표되는 전문 DataOps 소프트웨어 공급업체가 있으며 이들은 데이터 통합, 데이터 라벨링, 데이터 분석, 데이터 최적화, 데이터 시장, 등. 데이터 분석가, BI 분석가, 데이터 과학자 등 비즈니스 팀에 서비스를 제공하는 능력.

저자의 연구에 따르면 현재 대부분의 기업에서 인프라 운영 및 유지 관리와 데이터 관리는 서로 분리되어 있으며 서로 다른 팀이 담당하고 있으며 도구 플랫폼 간의 효과적인 협업이 없는 것으로 나타났습니다. 비즈니스 데이터는 스토리지 등 IT 인프라에 저장되어 통합되어야 하지만, 둘의 실제 관리는 멀리 떨어져 있고, 심지어 두 팀 간의 언어도 일치하지 않습니다. 이는 일반적으로 다음과 같은 몇 가지 단점을 가져옵니다.

1) 다양한 소스의 데이터: 서로 다른 팀에 속해 있고 서로 다른 도구를 사용하기 때문에 비즈니스 팀은 일반적으로 ETL 및 기타 방법을 통한 분석 및 처리를 위해 원본 데이터를 데이터 관리 플랫폼에 복사합니다. 이는 저장 공간의 낭비를 초래할 뿐만 아니라, 데이터 불일치, 시기적절한 데이터 업데이트 등의 문제를 발생시켜 데이터 분석의 정확성에 영향을 미치게 됩니다.

2) 지역 간 협업의 어려움: 오늘날 기업 데이터 센터는 여러 도시에 배포되어 있으며, 데이터가 지역 간에 전송되는 경우 현재는 주로 DataOps 소프트웨어를 통해 호스트 계층에서 복제됩니다. 이러한 데이터 전송 방식은 효율성이 낮을 뿐만 아니라 보안, 규정 준수, 개인 정보 보호 등 전송 과정에서 심각한 위험이 존재합니다.

3) 불충분한 시스템 최적화: 현재 최적화는 일반적으로 인프라 리소스의 활용을 기반으로 합니다. 글로벌 최적화를 달성하기 위해 데이터 레이아웃을 인식할 수 없기 때문에 데이터 저장 비용은 여전히 ​​높고 성장합니다. 예산과 데이터 규모의 기하급수적 증가 사이의 모순은 기업 데이터 자산의 축적을 제한하는 주요 모순이 되었습니다. IT인들은 '인프라'와 '데이터' 두 채널을 열어 디지털 지능 플라이휠을 시작하세요

저자는 IT팀이 '인프라'와 '데이터'를 고려해야 한다고 믿습니다. 데이터의 상동성, 글로벌 최적화, 안전한 순환을 달성하기 위해 유기적인 전체를 관리하고 최적화하며 데이터 자산 관리자로서 중요한 역할을 담당합니다.

글로벌 파일 시스템, 통합 메타데이터 관리 및 기타 기술을 활용하여 다양한 지역, 다양한 데이터 센터 및 다양한 유형의 장비에 있는 데이터에 대한 통합된 글로벌 보기를 형성합니다. 이를 기반으로 Hot, Warm, Cold, 반복, 만료 등의 차원에 따라 전역 최적화 전략을 수립하고 실행을 위해 저장 장치로 보낼 수 있습니다. 스토리지 계층 복제를 기반으로 하는 압축 및 암호화와 같은 기술은 일반적으로 데이터 이동 속도를 수십 배 더 빠르게 달성할 수 있으며 효율성과 보안을 모두 보장할 수 있습니다.

두 번째, 대규모 비정형 데이터로부터 데이터 디렉터리를 자동으로 생성합니다. 메타데이터, 강화된 메타데이터 등을 통해 데이터 카탈로그 서비스를 자동으로 생성하고, 카테고리별로 데이터를 효율적으로 관리합니다. 비즈니스 팀은 건초 더미에서 바늘처럼 데이터를 수동으로 검색하는 대신 카탈로그를 기반으로 분석 및 처리 조건에 맞는 데이터를 자동으로 추출할 수 있습니다. 저자의 연구에 따르면 AI 인식 알고리즘을 통한 데이터 주석 기술은 상대적으로 성숙한 것으로 나타났습니다. 따라서 개방형 프레임워크를 사용하여 다양한 시나리오에 대한 AI 알고리즘을 통합하고 파일 콘텐츠를 자동으로 분석하여 다양한 태그를 형성할 수 있으며 이는 향상된 메타데이터로 사용될 수 있습니다. 데이터 관리 능력을 향상시킵니다.

동시에 데이터가 여러 장치에 걸쳐 흐를 때 데이터 주권, 규정 준수 개인 정보 보호 및 기타 문제에 대해 특별히 고려해야 합니다. 저장 장치의 데이터는 자동으로 분류되고, 개인정보 보호 등급이 부여되고, 분산화되고, 도메인 등으로 분할되어야 합니다. 관리 소프트웨어는 민감한 정보와 개인 데이터 및 향후 데이터의 유출을 방지하기 위해 데이터 액세스, 사용, 흐름 및 기타 정책을 일률적으로 관리해야 합니다. 요소 거래 시나리오 이는 기본 요구 사항이 됩니다. 예를 들어, 데이터가 스토리지 장치에서 유출되는 경우 규정 준수, 개인 정보 보호 등을 먼저 확인하여 정책 요구 사항을 충족하는지 판단해야 합니다. 그렇지 않으면 기업은 심각한 법적 및 규제적 위험에 직면하게 됩니다.

참조 아키텍처는 다음과 같습니다.

저자가 동료 전문가와 연구하고 상담한 결과 Huawei Storage, NetApp 등 업계 최고의 스토리지 공급업체에서 통합 스토리지 및 데이터 관리 솔루션을 위한 제품이 출시되면 앞으로 더 많은 제조업체가 이를 지원할 것이라고 믿습니다.

장비와 데이터는 양손으로 쥐어야 하며, 양손에 힘이 있어야 합니다. AI시대에는 IT인력이 더 중요한 역할을 할 수 있다.