데이터를 민주화하기 위한 강력한 AI 거버넌스 구현

GenAI의 출현으로 사람들이 데이터의 잠재력을 활용하는 속도가 빨라지고 새로운 통찰력과 더 나은 결정을 위한 기회가 제공됩니다. 그러나 더 광범위한 데이터 액세스를 달성하려면 건전한 데이터 거버넌스 전략이 필요합니다. 데이터 민주화와 엄격한 데이터 거버넌스 사이에서 균형을 유지할 수 있는 기업은 고유한 데이터 기반 통찰력을 확보하여 시장에서 차별화될 것입니다.

Gartner에 따르면 기업의 80% 이상이 GenAI API 및 모델을 사용하거나 GenAI 지원 애플리케이션을 프로덕션에 배포하게 될 것입니다. 이는 작년의 5% 미만에서 증가한 수치입니다. GenAI의 자연어 인터페이스를 통해 부서장부터 일선 직원까지 기술 지식이 없는 사용자도 데이터에 보다 쉽게 ​​액세스하고 사용할 수 있습니다. 이는 Gartner가 "이번 10년 동안 가장 파괴적인 추세 중 하나"라고 부르는 정보 및 기술에 대한 접근권을 평준화합니다.

기업이 개인 정보 보호, 보안 및 데이터 품질에 대한 위험 증가를 방지하려면 이러한 방식으로 데이터를 민주화하는 것이 강력한 거버넌스를 더욱 중요하게 만듭니다. 즉, 보유하고 있는 데이터가 무엇인지, 어디에 있는지, 이 데이터에 액세스할 수 있는 사람이 누구인지, 그리고 각 유형의 사용자가 이를 사용할 수 있는 방법은 무엇이며, 기업은 혁신을 방해하지 않고 어떻게 전체 제어를 시행할 수 있습니까?

더 높은 수준에서 선호되는 접근 방식은 다양한 팀과 작업 그룹이 쉽고 안전하게 공유할 수 있는 포괄적인 저장소에 데이터를 통합하는 것입니다. 데이터를 통합함으로써 기업은 관리를 중앙 집중화하고 데이터에 대한 액세스를 확장하는 동시에 복잡성을 최소화하고 비용을 최적화할 수 있습니다. 데이터 저장에 대한 이러한 중앙 집중식 접근 방식은 데이터 일관성과 정확성을 보장하고 데이터 중복 및 불일치로 인해 발생하는 문제를 방지하는 데 도움이 됩니다. 또한 액세스 제어 및 모니터링 조치를 보다 쉽게 ​​구현할 수 있으므로 데이터 보안을 개선하고 개인정보를 보호하는 데도 도움이 됩니다. 따라서 통합 데이터 저장소를 구축하는 것은 기업에 매우 중요합니다.

실제로는 데이터 주권 규정에 따라 특정 데이터를 특정 국가 또는 지역에 저장해야 하기 때문에 몇 가지 문제가 발생할 수 있습니다. 이러한 상황에 직면한 기업은 데이터 사일로를 제거하고 데이터 플랫폼 전반에 걸쳐 일관된 거버넌스 프레임워크를 구현하기 위해 노력해야 합니다.

또한 일부 특정 방법과 기술은 GenAI가 데이터 액세스를 확장함에 따라 기업이 보안을 유지하면서 효과적인 거버넌스를 유지할 수 있도록 보장합니다. 이러한 접근 방식에는 다양한 설정에 적용되는 기본 거버넌스 관행이 포함되지만 GenAI가 데이터 액세스의 민주화를 더욱 촉진함에 따라 특히 중요해집니다.

개인 정보 보호 및 규정 준수를 위한 세분화된 제어

직원의 데이터 액세스가 증가함에 따라 데이터 침해 및 개인 식별 정보(PII)가 승인되지 않은 사용자에 의해 액세스될 위험도 커졌습니다. 따라서 규정 준수를 보장하고 부적절한 액세스로부터 데이터를 보호하려면 엄격한 액세스 제어 정책을 구현하고 익명화 및 식별 기술을 사용하는 것이 중요합니다.

Snowflake Data Cloud 트렌드를 분석하는 새로운 데이터 트렌드 2024 보고서에서 우리는 데이터에 대한 세부적인 제어를 제공하는 동시에 더 많은 사용자가 더 많은 사용 사례에 데이터를 적절하게 사용할 수 있도록 하는 거버넌스 기능의 사용이 크게 증가한 것을 확인했습니다. 적용된 마스크 또는 행 액세스 정책의 사용량은 2024년 1월 31일 기준 12개월 동안 전년 동기 대비 98% 증가한 반면, 마스킹 정책이 할당된 열 수는 97% 증가했습니다.

그러나 정책으로 보호되는 개체에 대해 실행되는 총 쿼리 수가 142% 증가했다는 점은 주목할 가치가 있습니다. 이는 좋은 데이터 거버넌스가 "아니요"라고 말하고 데이터 사용을 제한하는 것이 아니라는 점을 보여주기 때문에 중요한 수치입니다. 레이블 지정 및 차단 정책을 사용하여 거버넌스가 증가했음에도 불구하고 보고서에서는 이 데이터를 사용하여 수행되는 작업량이 급격히 증가하고 있다고 지적합니다.

어떤 경우에는 직원이 직접 액세스 권한을 부여받을 수 없는 데이터 세트를 검사하고 싶을 수도 있습니다. 이러한 경우 차등 개인 정보 보호는 사용자가 개별 사용자의 PII를 공개하지 않고 데이터 세트를 공유하고 탐색할 수 있게 해주는 강력한 기술입니다. 한 단계 더 나아가 데이터 클린룸을 사용하면 원본 데이터를 서로 공개하지 않고도 여러 당사자가 데이터에 대해 협업할 수 있습니다. 데이터 클린룸은 일반적으로 서로 다른 비즈니스 간에 데이터를 공유하는 데 사용되지만 점점 더 많은 요구 사항을 충족하기 위해 내부적으로 사용되는 기술을 보고 있습니다. 규제 및 개인 정보 보호 요구 사항에 따라 GenAI 인터페이스의 맥락에서 PII 데이터를 탐색하는 효과적인 기술이 될 수 있습니다.

일관되고 조정된 보안

보안은 나중에 개별 데이터세트와 사용자에 대해 고정하려고 하기보다는 데이터 플랫폼의 패브릭에 구축되어야 하며, 대화형 인터페이스를 지원하는 기술은 데이터에 대한 ID 및 기타 핵심 권한을 복제해서는 안 됩니다. , 이로 인해 취약한 설정이 발생합니다. 두 개 이상의 시스템이 누가 어떤 데이터에 액세스했는지 추적하는 경우 오류 및 무단 액세스 가능성이 크게 높아집니다.

GenAI 사용 사례의 데이터를 보호하는 데 핵심적인 역할을 하는 기술에는 지속적인 위험 모니터링 및 보호, 역할 기반 액세스 제어(RBAC) 및 세분화된 권한 부여 정책이 포함됩니다. 역할 기반 태그 및 태그 기반 마스킹 정책을 사용하면 마스킹 정책을 태그에 할당한 다음 하나 이상의 데이터베이스 개체에 태그를 설정하여 열 수준에서 데이터를 보호할 수 있습니다.

데이터 사일로는 올바른 거버넌스의 적입니다.

데이터의 복사본이나 조각을 서로 다른 시스템에 저장하면 누가 어떤 정보에 액세스하는지 추적하고 액세스 및 제어 정책의 일관성을 유지하는 것이 매우 어렵습니다. 이것이 데이터 사일로가 적입니다. 강력한 거버넌스.

데이터 사일로로 인해 직원이 가장 정확한 최신 데이터를 쿼리하는지 확인하기가 어려워지고 이로 인해 비용이 많이 드는 실수가 발생할 수 있습니다. GenAI를 통해 데이터에 대한 광범위한 액세스를 달성하려면 기업은 모든 직원이 동일한 정보를 보고 모든 데이터에 제어 및 정책을 적용하고 업데이트할 수 있도록 보장하는 단일 정보 소스가 필요합니다.

정확한 결과를 위한 데이터 품질 보장

사일로를 제거하고 적절한 권한이 있더라도 직원이 액세스하는 정보가 정확하다는 보장은 없습니다. 데이터 품질 프레임워크는 특정 정보에 적용될 때 가능한 것을 기반으로 합니다. 테이블의 열 또는 열 집합. 품질 문제를 감지하고 정확한 정보를 보장하는 데 도움이 되는 데이터 품질 규칙을 구성합니다.

또한 GenAI가 때때로 환각을 일으키고 실제로 근거가 없는 답변을 생성할 수 있으며 이는 기업용으로 허용되지 않는다는 점을 이제 우리 모두 알고 있습니다. 기업은 대규모 언어 모델(LLM)을 내부 고객 데이터베이스나 신뢰할 수 있는 제3자 공급자가 제공하는 검증된 데이터 세트 등 신뢰할 수 있는 데이터 소스와 결합하여 이 문제를 해결할 수 있습니다.

이러한 신뢰할 수 있는 데이터 소스는 LLM 사용자 정의(예: 미세 조정)가 필요하거나 LLM 사용자 정의가 필요하지 않은 프로세스(예: 적시 엔지니어링 또는 검색 증강 생성(RAG))를 사용하여 병합될 수 있습니다. 어떤 경우이든 이러한 기술은 직원이 온프레미스 클라우드 환경에 구축된 거버넌스 표준을 준수하면서 정확하고 고품질의 결과를 얻을 수 있도록 도와줍니다.

데이터 액세스 및 범용 검색의 힘

GenAI 거버넌스의 중요한 측면은 직원이 분석에 도움이 되는 올바른 데이터 세트와 데이터 제품을 쉽게 찾을 수 있도록 하는 것입니다. 데이터와의 상호 작용은 중앙 팀을 통해 이루어지지만 이를 위해서는 직원들이 어떤 데이터를 사용할 수 있는지, 어떻게 찾을 수 있는지 알아야 합니다.

검색 기능은 사용자가 데이터세트와 데이터 제품을 찾고 쿼리할 수 있도록 하는 기능을 제공합니다. 이 검색 기능 자체는 LLM을 통해 더욱 직관적으로 데이터 검색을 수행할 수 있습니다. 이것이 바로 Snowflake에서 범용 검색의 일부로 개발한 기능입니다. .

거버넌스는 데이터 민주화의 기초입니다.

비즈니스 사용자는 조직의 데이터를 더 폭넓게 활용하기를 원하며, GenAI는 마침내 이를 가능하게 합니다. LLMS와 자연어 처리 덕분에 재무, HR, 영업, 운영 등의 분야 직원은 이제 자신의 역할에 맞는 질문을 작성하고 보다 정보에 입각한 결정을 내리는 데 필요한 답변을 얻을 수 있습니다.

그러나 기업의 보안 및 규정 준수 요구 사항을 충족하기 위해서는 거버넌스가 강화될수록 직원이 회사에 추가 비용을 발생시키지 않고 데이터를 더 자유롭게 탐색할 수 있습니다. 진정한 데이터 민주화의 문을 열며, 올바른 거버넌스는 이를 가능하게 하는 기반입니다.