인공 지능 해석: 훈련 및 추론의 주요 단계-일반적인 문제-php.cn

인공 지능(AI), 기계 학습 및 생성 AI는 현대 기업 기술 도구 상자의 중요한 부분이 되었습니다. AI는 실시간 언어 번역, 얼굴 인식, 음성 비서, 개인화된 추천 시스템, 사기 탐지 등 광범위한 기술을 포괄합니다. AI 훈련 및 추론 프로세스는 모델의 기능을 이해하는 데 중요합니다. 훈련에는 데이터 세트를 사용하여 모델을 훈련하는 작업이 포함되며, 이를 통해 모델은 처리된 정보로부터 학습하고 예측이나 결정을 내릴 수 있습니다. 추론 단계에서는 훈련된 모델을 새로운 데이터에 적용하여 이미지 인식, 언어 번역 또는 의사 결정과 같은 작업을 수행할 수 있습니다.

인공 지능 해석: 훈련 및 추론의 주요 단계

인공 지능, 기계 학습, 그리고 최근에는 생성 인공 지능이 이제 디지털 혁신에 참여하는 모든 기업의 기술 및 방법론적 툴킷의 일부가 되었습니다. 인공지능에는 실시간 언어 번역, 얼굴 인식, 음성 지원, 개인화된 추천 시스템, 사기 탐지, 질병 식별을 위한 컴퓨터 보조 의료 진단 등 일반적으로 인간 지능이 필요한 작업을 수행할 수 있는 광범위한 기술이 포함됩니다. 방사선 이미지에서.

모델의 기능을 더 잘 이해하기 위해 AI 훈련 및 추론 프로세스에 대해 논의해 보겠습니다(*). AI 훈련 다이어그램

참고: (*)로 표시된 용어는 이 문서 끝에 있는 용어집 섹션에 정의되어 있습니다.

인공지능 훈련

간단히 말하면, 인공지능 훈련은 대량의 테스트 데이터를 기반으로 머신러닝 모델을 개발하는 과정입니다.

모델이 처리하는 정보를 기반으로 학습하고 예측(*) 또는 결정(*)을 내릴 수 있는 데이터 세트(*)를 모델에 제공하는 작업이 포함됩니다. 모델이 특정 작업을 수행하는 데 필요한 지식과 기술을 습득하는 단계입니다.

자연어(*)를 해석하든 복잡한 계산을 수행하든 이 단계가 기초입니다. 실제로 이는 모델의 정확성, 효율성 및 전반적인 성능과 이를 사용할 애플리케이션을 결정합니다.

AI 모델 훈련 과정에는 여러 단계가 포함됩니다.

1. 데이터 준비

이 단계에는 효과적인 사용이 가능한 형식으로 데이터를 수집, 정리 및 구성하는 작업이 포함됩니다. 모델 입력 데이터의 품질과 신뢰성을 보장하는 것이 중요합니다.

2. 알고리즘

두 번째 단계에서는 해결하려는 문제를 해결하는 데 가장 적합한 알고리즘(*) 또는 신경망(*) 아키텍처를 선택합니다.

3. 개선

모델이 선택되면 세 번째 단계는 반복 개선입니다. 여기에는 성능에 따라 매개변수를 조정하고 정확도를 향상시키며 오류를 줄이기 위해 모델을 여러 번 훈련하고 테스트하는 작업이 포함됩니다.

AI 교육 수업 다이어그램 이미지

인공 지능 교육: 과제

인공 지능 모델 교육은 다음과 같은 실제 과제에 직면합니다.

데이터 품질

모델은 품질만큼만 우수합니다. 훈련 데이터 . 부정확하거나 불완전하거나 편향된 데이터 세트는 잘못된 예측으로 이어질 수 있습니다.

정보 기술 리소스

훈련에 필요한 컴퓨팅 리소스에는 특히 딥 러닝 네트워크(*)와 같은 복잡한 모델의 경우 높은 처리 능력과 대용량 메모리가 필요합니다. 과적합(*)과 같은 현상은 예측 또는 분류 작업의 품질을 저하시킬 수 있습니다.

AI 모델을 훈련하는 데 필요한 계산 리소스를 설명하기 위해 GPT-3과 같은 복잡한 딥 러닝 네트워크를 훈련하려면 1,750억 개의 매개변수를 통합하기 위해 엄청난 양의 컴퓨팅 성능이 필요하다는 점을 고려하세요.

인공지능 추론

이 단계에서는 훈련된 기계 학습(*) 모델이 새로운 데이터에 적용되어 실제 애플리케이션에서 예측, 분류, 추천 또는 의사 결정과 같은 작업을 수행할 수 있습니다.

즉, 추론은 이미지 속 객체 식별, 언어 번역, 제품 추천 제공, 자율주행차 안내 등 AI 모델이 의도한 이점을 제공할 수 있도록 하는 단계입니다.

훈련과 추론을 구별

추론 프로세스와 AI 훈련을 구별하는 두 가지 주요 기준은 다음과 같습니다.

실시간 데이터 처리의 중요성

효율성 및 짧은 지연 시간의 필요성

실제 , 자동 운전 또는 실시간 사기 탐지 시스템에는 새로운 데이터를 빠르게 해석하고 신속하게 조치를 취할 수 있는 모델이 있어야 합니다.

극복해야 할 과제

추론 단계에서는 리소스 효율성, 다양한 환경에서 일관된 성능 유지, 속도 측면에서 모델 최적화에 중점을 두어야 합니다. AI 모델은 정확성이나 신뢰성을 희생하지 않고 적응할 수 있어야 합니다. 이를 위해서는 모델 성능 저하를 방지하면서 계산 부하를 줄이기 위해 모델 가지치기(*) 또는 양자화(*)와 같은 기술이 필요합니다.

예

추론의 실제 적용을 보여주는 구체적인 예는 다음과 같습니다.

Cybersecurity

이메일 상호 작용의 대규모 데이터 세트에 대해 교육을 받으면 애플리케이션은 수신되는 이메일에서 잠재적인 위협을 식별하고 표시할 수 있습니다. 피싱 시도를 방지하여 사이버 보안 위협으로부터 사용자를 보호합니다.

자율주행차

마찬가지로 자율주행차 분야도 인공지능의 추론 능력에 크게 의존하고 있습니다. 이 경우 수많은 시간의 운전 데이터를 통해 훈련된 모델이 실시간으로 도로를 탐색하고 교통 표지판을 인식하며 순간적인 결정을 내리는 데 사용됩니다.

훈련 vs. 추론: 비교 분석

훈련과 추론은 AI 모델 개발에서 두 가지 중요하고 보완적인 단계로, 각각 특정 요구 사항을 충족합니다. 훈련 단계에서는 모델이 과거 데이터로부터 지식을 얻을 수 있습니다. 이 단계에서는 정확한 예측을 달성하기 위해 모델의 매개변수를 조정하는 데 많은 컴퓨팅 성능이 필요합니다.

반면 추론은 학습된 모델을 새로운 데이터에 적용하여 실시간으로 예측하거나 결정을 내리며 효율성과 짧은 대기 시간의 중요성을 강조합니다.

기억해야 할 사항

모델 복잡성, 포괄적인 훈련, 추론 효율성의 균형을 맞추는 것은 인공 지능 시스템 개발에 매우 중요합니다.

복잡한 모델은 더 잘 이해하고 예측할 수 있지만 훈련과 추론을 위해 더 많은 리소스가 필요합니다.

개발자는 실시간으로 사용할 수 있을 만큼 복잡하고 정확하며 효율적인 모델을 생성해야 합니다.

가지치기, 양자화, 전이 학습과 같은 기술은 정확성과 효율성 측면에서 모델을 최적화할 수 있습니다.

인프라 요구 사항

교육 및 추론 단계에 대한 인프라 요구 사항으로 인해 하드웨어 성능에 대한 의존도가 높아집니다.

딥 러닝 모델 교육은 컴퓨팅 집약적이며 강력한 컴퓨팅 성능을 제공하려면 전용 리소스가 필요합니다. 이 단계에서는 모델의 정확성과 효율성이 좌우되는 대규모 데이터 세트를 관리하기 위해 고성능 GPU가 필요한 경우가 많습니다.

반대로 추론 단계에서는 컴퓨팅 성능이 덜 필요하지만 지연 시간이 짧고 처리량이 높은 성능이 필요합니다. 인프라에는 자율 주행 자동차나 이메일 서버와 같은 데이터 생성 소스에 가까운 실시간 데이터 처리를 가능하게 하고 의료 진단의 새로운 예를 도입하기 위한 효율성과 응답성이 필요합니다.

결론

AI 훈련과 추론의 미묘함을 이해하면 AI 모델을 통해 지식을 획득하는 것과 해당 지식을 구체적인 애플리케이션에 배포하는 것 사이의 복잡성이 드러납니다.

인공지능은 강력할 뿐만 아니라 적응력도 있어야 합니다. 이 목표를 달성하려면 광범위한 훈련 리소스의 사용과 빠르고 효율적인 추론의 필요성 사이에서 균형을 찾아야 합니다. 의료, 금융, 산업 등의 분야에서 AI가 발전함에 따라 이러한 훈련 및 추론 단계는 특정 비즈니스 사례에 적용되는 AI 생성을 가능하게 하기 때문에 매우 중요합니다.

한 가지 더...

탄소 발자국은 어떻습니까?

기계 학습과 인공 지능을 발전시키려면 보다 효율적인 인공 지능 모델 개발, 하드웨어 인프라 최적화, 혁신적인 전략의 폭넓은 채택에 집중하는 것이 분명히 필요합니다. 동시에 AI의 생태학적 발자국도 고려해야 합니다.

“미래의 인공 지능에는 에너지 혁신이 필요하며 사람들이 기대하는 것보다 훨씬 더 많은 전력을 소비하게 될 것입니다.”

- Sam Altman, OpenAI CEO

스위스, 2024년 1월 16일

사실, AI 모델 훈련이 환경에 미치는 영향이 면밀히 조사되면서 지속 가능성이 중요한 문제가 됩니다. 기업과 대중이 이를 채택함에 따라 거대 기술 기업의 장치 플랫폼에 전력을 공급하고 냉각하는 데 더 많은 전기와 막대한 양의 물이 필요할 것입니다. 예를 들어, 연구원들은 GPT-3을 제조하는 데 1,287MWh의 전력이 소비되고 1년 동안 휘발유 승용차 123대를 운전하는 것과 같은 양인 552톤의 이산화탄소를 생산했다고 추정합니다.

기술의 진보와 생태학적 책임이 조화롭게 공존하는 보다 지속 가능한 미래를 달성하기 위해 노력하는 것이 인공지능 진화의 궁극적인 목표일 수 있습니다.

(*) 용어집

알고리즘: 특정 작업을 수행하거나 특정 문제를 해결하도록 설계된 정의된 단계별 계산 절차 또는 규칙 세트
데이터 세트: 데이터 포인트 또는 레코드 모음 , 일반적으로 지도 학습의 기능(독립 변수) 및 레이블(종속 변수 또는 결과)을 포함하여 기계 학습 모델을 훈련, 테스트 또는 검증하는 데 사용되는 표 형식을 사용합니다.
결정: 기계 학습에서 이는 이메일이 스팸인지(그리고 스팸 폴더로 이동하는지) 스팸 필터가 결정하는 것과 같이 데이터를 분석한 후 모델이 도달하는 결론을 의미합니다. 받은 편지함).
딥 러닝: 대량의 데이터로부터 복잡한 패턴과 표현을 자동으로 학습할 수 있는 다층 신경망이라는 모델이 포함된 기계 학습의 하위 집합
레이블이 지정된 데이터: 이는 각 인스턴스가 A 데이터 세트임을 나타냅니다. 훈련 중 기계 학습 모델에 대한 명확한 지침을 제공하기 위해 결과 또는 범주로 레이블이 지정됩니다.
머신 러닝: 각 특정 작업에 대해 명시적으로 프로그래밍할 필요 없이 패턴을 인식하고 데이터를 기반으로 결정을 내리는 훈련 알고리즘을 포함하는 인공 지능의 한 분야입니다.
모델: 데이터 세트 및 계산 표현에 대해 훈련된 수학 학습 데이터의 패턴과 관계를 학습하여 보이지 않는 새로운 데이터를 예측하고 분류할 수 있습니다.
모델 가지치기: 매개변수를 적응적으로 정리하여 모델 크기를 줄여 큰 영향을 주지 않으면서 클라이언트 장치의 계산 및 통신 요구를 줄이는 연합 학습 기술입니다. 모델 정확도
자연어: 말이든 글이든 인간이 서로 의사소통하는 방식은 인간을 포괄합니다. 언어 표현의 고유한 복잡성, 뉘앙스 및 규칙
신경망: 인간 두뇌의 구조에서 영감을 받은 컴퓨팅 모델로, 데이터 학습을 통해 패턴 인식 및 의사 결정과 같은 복잡한 작업을 해결하기 위해 신호를 처리하고 전송하는 상호 연결된 노드 또는 뉴런으로 구성됩니다.
과적합: 기계 학습 모델이 훈련 데이터를 너무 자세히 학습하여 보이지 않는 데이터에 대한 결과를 일반화하고 정확하게 예측할 수 없게 만드는 경우
패턴: (기계 학습의 맥락에서) 모델이 데이터에서 식별 가능한 패턴을 인식하기 위해 학습하는 것 새로운, 보이지 않는 데이터에 대한 예측이나 결정을 내리는 데 사용할 수 있습니다.
예측: (기계 학습에서) 훈련 단계에서 학습된 패턴을 기반으로 새로운 데이터를 추정하기 위해 훈련된 모델을 사용하여 가장 가능성 있는 결과를 찾는 프로세스입니다. 또는 보이지 않는 인스턴스에 대한 값
양자화: (딥 러닝에서) 모델의 가중치 및 활성화의 정밀도를 2, 3 또는 4자리로 줄여 모델을 추론 시간에 보다 효율적으로 실행하는 프로세스 정확도 손실을 최소화합니다.
지도/비지도: 지도 학습과 비지도 학습의 차이점은 지도 학습 훈련에는 모델이 입력에서 출력까지의 매핑을 학습하도록 안내하는 레이블이 지정된 데이터(*)가 있는 반면, 비지도 학습에는 데이터에서 찾는 것이 포함된다는 점입니다. 명시적인 결과 라벨이 없는 패턴 또는 구조입니다.