연구 결과, 머신러닝의 백도어 문제 발견

번역가 | Li Rui

리뷰어 | Sun Shujuan

제3자 조직이 머신러닝 모델을 제공하고 그 안에 악성 백도어를 몰래 삽입한 경우 이를 발견할 가능성은 얼마나 됩니까? 최근 UC 버클리, MIT, 프린스턴 고등연구소 연구원들이 발표한 논문에서는 가능성이 거의 없다고 시사하고 있습니다.

점점 더 많은 애플리케이션이 기계 학습 모델을 채택함에 따라 기계 학습 보안이 점점 더 중요해지고 있습니다. 본 연구는 머신러닝 모델의 교육 및 개발을 제3자 기관이나 서비스 제공업체에 위탁함으로써 발생하는 보안 위협에 중점을 두고 있습니다.

인공 지능을 위한 인재와 리소스 부족으로 인해 많은 기업에서는 기계 학습 작업을 아웃소싱하고 사전 훈련된 모델이나 온라인 기계 학습 서비스를 사용합니다. 그러나 이러한 모델과 서비스는 이를 사용하는 애플리케이션에 대한 공격의 소스가 될 수 있습니다.

이러한 연구 기관이 공동으로 발표한 이 연구 논문은 악의적인 행동을 유발하는 데 사용할 수 있는 감지할 수 없는 백도어를 기계 학습 모델에 이식하는 두 가지 기술을 제안합니다.

이 문서는 기계 학습 파이프라인에 대한 신뢰 구축의 과제를 조명합니다.

머신러닝 백도어란 무엇인가요?

기계 학습 모델은 얼굴 인식, 이미지 분류, 스팸 감지, 제품 리뷰 확인, 소셜 미디어 게시물의 정서 등과 같은 특정 작업을 수행하도록 훈련되었습니다.

기계 학습 백도어는 훈련된 기계 학습 모델에 은밀한 행동을 삽입하는 기술입니다. 이 모델은 적의 입력 명령에 의해 백도어가 트리거될 때까지 평소대로 작동합니다. 예를 들어 공격자는 사용자를 인증하는 데 사용되는 얼굴 인식 시스템을 우회하는 백도어를 만들 수 있습니다.

잘 알려진 머신러닝 백도어 방법은 데이터 포이즈닝(Data Poisoning)입니다. 데이터 중독 애플리케이션에서 공격자는 하나 이상의 출력 클래스에 트리거 아티팩트를 포함하도록 대상 모델의 교육 데이터를 수정합니다. 그런 다음 모델은 백도어 패턴에 민감해지고 이를 발견하면 예상되는 동작(예: 대상 출력 클래스)을 트리거합니다.

위 예시에서 공격자는 딥러닝 모델의 학습 예시에서 적대적 트리거로 흰색 상자를 삽입했습니다.

트리거 없는 기계 학습 백도어와 같은 다른 고급 기술도 있습니다. 기계 학습 백도어는 입력 데이터가 교란되어 기계 학습 모델이 데이터를 잘못 분류하는 적대적 공격과 밀접하게 관련되어 있습니다. 적대적 공격에서 공격자는 훈련된 모델에서 취약점을 찾으려고 시도하는 반면, 기계 학습 백도어에서는 공격자가 훈련 프로세스에 영향을 미치고 의도적으로 모델에 적대적 취약점을 이식합니다.

탐지할 수 없는 기계 학습 백도어

대부분의 기계 학습 백도어 기술은 모델의 기본 작업에 대한 성능 절충이 필요합니다. 기본 작업에서 모델의 성능이 너무 많이 떨어지면 피해자는 의심을 받거나 표준 이하의 성능으로 인해 포기할 것입니다.

논문에서 연구원들은 감지할 수 없는 백도어를 일반적으로 훈련된 모델과 "계산적으로 구별할 수 없는" 것으로 정의합니다. 이는 임의 입력에서 악성 및 양성 기계 학습 모델의 성능이 동일해야 함을 의미합니다. 한편, 백도어는 실수로 실행되어서는 안 되며, 백도어의 비밀을 알고 있는 악의적인 행위자만이 백도어를 활성화할 수 있습니다. 반면에 백도어를 사용하면 악의적인 행위자가 특정 입력을 악의적인 입력으로 바꿀 수 있습니다. 이는 입력에 대한 최소한의 변경으로 이를 수행할 수 있으며, 이는 적대적 예시를 생성하는 데 필요한 것보다 훨씬 적습니다.

논문 공동 저자이자 고등연구소 박사후 연구원인 자미르(Zamir)는 “악의에서 발생하고 우연히 발생하지 않는 문제를 연구하는 것이 아이디어”라고 말했다.

연구원들은 또한 암호화 백도어에 대한 방대한 양의 지식을 기계 학습에 적용하여 감지할 수 없는 두 가지 새로운 기계 학습 백도어 기술을 어떻게 개발했는지 탐구했습니다.

암호화 키를 사용하여 기계 학습 백도어 생성

새로운 기계 학습 백도어 기술은 비대칭 암호화 및 디지털 서명의 개념을 활용합니다. 비대칭 암호화는 해당 키 쌍을 사용하여 정보를 암호화하고 해독합니다. 각 사용자는 자신이 보관하는 개인 키와 다른 사람이 액세스할 수 있도록 공개할 수 있는 공개 키를 가지고 있습니다. 공개 키로 암호화된 정보 블록은 개인 키로만 해독할 수 있습니다. 이는 PGP 암호화 이메일 또는 종단 간 암호화 메시징 플랫폼과 같이 메시지를 안전하게 전송하는 데 사용되는 메커니즘입니다.

디지털 서명은 역방향 메커니즘을 사용하여 메시지 보낸 사람의 신원을 증명합니다. 귀하가 메시지의 보낸 사람임을 증명하기 위해 개인 키를 사용하여 메시지를 해시하고 암호화할 수 있으며 결과는 메시지와 함께 디지털 서명으로 전송됩니다. 개인 키에 해당하는 공개 키만 메시지를 해독할 수 있습니다. 따라서 수신자는 공개 키를 사용하여 서명을 해독하고 내용을 확인할 수 있습니다. 해시가 메시지 내용과 일치하면 해당 메시지는 변조되지 않은 진짜 메시지입니다. 디지털 서명의 장점은 리버스 엔지니어링으로 해독할 수 없으며 서명 데이터를 조금만 변경해도 서명이 무효화될 수 있다는 것입니다.

Zamir와 동료들은 기계 학습 백도어 연구에 동일한 원칙을 적용했습니다. 다음은 그들의 논문에서 암호화 키 기반 기계 학습 백도어를 설명하는 방법입니다. “어떤 분류자가 주어지든 우리는 해당 입력을 후보 메시지 서명 쌍으로 해석합니다. 우리는 원래 분류자 프로세스와 병렬로 실행되는 서명 체계의 공개 키 검증을 사용하여 이 검증 메커니즘은 유효한 메시지 서명 쌍에 의해 트리거되며, 메커니즘이 트리거되면 분류자를 인계받아 원하는 대로 출력을 변경합니다."

기본적으로. , 즉 백도어 머신러닝 모델이 수신할 때 입력하면 공격자가 보유한 개인 키를 통해서만 생성할 수 있는 디지털 서명을 찾습니다. 입력이 서명되면 백도어가 트리거됩니다. 그렇지 않으면 정상적인 동작이 계속됩니다. 이렇게 하면 백도어가 실수로 실행되거나 다른 공격자가 리버스 엔지니어링할 수 없게 됩니다.

숨겨진 백도어는 측면 신경망을 사용하여 입력의 디지털 서명을 확인합니다.

서명 기반 기계 학습 백도어는 "탐지할 수 없는 블랙박스"입니다. 즉, 입력과 출력에만 액세스할 수 있다면 보안 머신러닝 모델과 백도어 머신러닝 모델의 차이를 구분할 수 없다는 뜻입니다. 그러나 기계 학습 엔지니어가 모델의 아키텍처를 자세히 살펴보면 디지털 서명 메커니즘을 포함하도록 변조되었음을 알 수 있습니다.

연구진은 논문에서 화이트박스로 탐지할 수 없는 백도어 기술도 제안했습니다. "반환된 분류기의 가중치와 아키텍처에 대한 완전한 설명이 제공되더라도 효율적인 판별기는 모델에 백도어가 있는지 여부를 판단할 수 없습니다."라고 연구원은 썼습니다.

화이트박스 백도어는 온라인 스토리지 오픈에서도 작동하기 때문에 특히 위험합니다. 사전 훈련된 머신러닝 모델이 라이브러리에 출시되었습니다.

Zamir는 "우리의 모든 백도어 구성은 매우 효과적이며 다른 많은 기계 학습 패러다임에도 유사한 효율적인 구성이 존재할 수 있다고 의심합니다."라고 말했습니다.

연구원들은 이를 기계 학습 모델 수정에 강력하게 만들어 이를 가능하게 했습니다. 탐지할 수 없는 백도어는 더욱 교묘합니다. 대부분의 경우 사용자는 사전 훈련된 모델을 얻고 추가 ​​데이터를 기반으로 미세 조정하는 등 약간의 조정을 수행합니다. 연구원들은 백도어가 잘 갖춰진 기계 학습 모델이 이러한 변화에 강력하다는 것을 입증했습니다.

Zamir는 "이 결과와 이전의 모든 유사한 결과의 주요 차이점은 백도어를 탐지할 수 없다는 것을 처음으로 보여주었다는 것입니다. 이는 이것이 단순한 경험적 문제가 아니라 수학적으로 건전한 문제라는 것을 의미합니다. "

Trust Machine Learning Pipelines

이 백서의 결과는 사전 훈련된 모델과 온라인 호스팅 서비스에 대한 의존이 기계 학습 애플리케이션에서 일반화되고 있기 때문에 특히 중요합니다. 대규모 신경망을 훈련하려면 많은 기업이 보유하지 않은 전문 지식과 상당한 컴퓨팅 리소스가 필요하므로 사전 훈련된 모델을 매력적이고 사용하기 쉬운 대안으로 만듭니다. 사전 훈련된 모델은 대규모 기계 학습 모델 훈련에 따른 상당한 탄소 배출량을 줄여 대중화되기도 합니다.

기계 학습의 보안 관행은 아직 다양한 산업 분야에서 널리 사용되는 수준을 따라잡지 못했습니다. 많은 기업 도구와 관행은 새로운 딥 러닝 취약점에 대비하지 못했습니다. 보안 솔루션은 주로 프로그램이 컴퓨터에 제공하는 명령이나 프로그램 및 사용자의 행동 패턴에서 결함을 찾는 데 사용됩니다. 그러나 기계 학습 취약점은 이를 실행하는 소스 코드가 아닌 수백만 개의 매개 변수에 숨겨져 있는 경우가 많습니다. 이를 통해 악의적인 행위자는 백도어 딥 러닝 모델을 쉽게 훈련하고 보안 경고를 트리거하지 않고도 사전 훈련된 모델의 여러 공개 저장소 중 하나에 이를 게시할 수 있습니다.

이 분야에서 주목할 만한 작업 중 하나는 기계 학습 파이프라인 보안을 위한 프레임워크인 Adversarial Machine Learning Threat Matrix입니다. 적대적인 기계 학습 위협 매트릭스는 디지털 인프라를 공격하는 데 사용되는 알려지고 문서화된 전술과 기술을 기계 학습 시스템 고유의 방법과 결합합니다. 이는 기계 학습 모델을 교육, 테스트 및 제공하는 데 사용되는 인프라, 프로세스 및 도구 전반에서 약점을 식별하는 데 도움이 될 수 있습니다.

한편, Microsoft 및 IBM과 같은 회사는 기계 학습의 안전 및 견고성 문제를 해결하는 데 도움이 되는 오픈 소스 도구를 개발하고 있습니다.

Zamir와 동료들이 실시한 연구에 따르면 기계 학습이 사람들의 일상 업무와 생활에서 점점 더 중요해짐에 따라 새로운 보안 문제를 발견하고 해결해야 합니다. Zamir는 "우리 작업의 주요 교훈은 훈련 프로세스를 아웃소싱한 다음 수신된 네트워크를 모델처럼 간단하게 사용하는 것이 결코 안전하지 않다는 것입니다."라고 말했습니다. ​

​, 작성자: Ben Dickson​

위 내용은 연구 결과, 머신러닝의 백도어 문제 발견의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!