딥 러닝 필수사항-파이썬 튜토리얼-php.cn

다층으로 구성된 신경망을 사용하여 데이터의 복잡한 패턴을 모델링하고 이해하는 데 중점을 둔 머신러닝의 하위 집합입니다.

신경망은 예측 오류를 기반으로 뉴런 간의 연결 가중치를 조정하여 데이터에서 학습하도록 설계된 일종의 기계 학습 알고리즘입니다.

뉴런

신경망의 기본 단위는 인공 뉴런으로, 흔히 뉴런이라고도 합니다. 인공 뉴런은 인간 두뇌의 생물학적 뉴런에서 영감을 얻어 네트워크에서 소규모의 특정 계산을 수행하는 역할을 담당합니다.

1) 각 뉴런은 하나 이상의 입력을 받아 처리한 후(주로 수학적 함수를 적용하여) 출력을 생성합니다.

2) 뉴런은 일반적으로 비선형성을 도입하기 위해 활성화 함수가 뒤따르는 입력의 가중 합을 적용합니다. 이 함수의 출력은 네트워크의 다음 계층으로 전달되거나 출력 계층에 있는 경우 최종 출력으로 사용됩니다.

퍼셉트론(단일 레이어 네트워크)

입력: 퍼셉트론은 각각 부동 소수점 숫자로 표시되는 여러 입력을 받습니다.

가중치: 각 입력에는 부동 소수점 숫자이기도 한 해당 가중치가 곱해집니다. 가중치는 의사결정 과정에서 입력의 중요성을 결정합니다.

합계: 그런 다음 가중치가 적용된 입력을 합산하여 단일 값을 생성합니다.

임계값(또는 바이어스): 퍼셉트론은 합산 결과를 임계값과 비교합니다

출력:

합이 0(또는 임계값)보다 큰 경우 퍼셉트론은 1(또는 일부 버전에서는 1)을 출력합니다.

합이 0보다 작거나 같다면 퍼셉트론은 -1(또는 일부 버전에서는 0)을 출력합니다.

(참고: 퍼셉트론은 선형 분리가 가능한 문제를 해결하는 데만 제한됩니다. 즉, 직선으로 분리할 수 있는 데이터만 분류할 수 있습니다.)

가장 흥미로운 문제는 물론 매우 단순한 문제도 퍼셉트론의 능력으로는 해결할 수 없는 문제임이 입증되었습니다. 대략 1970년대부터 1990년대까지 지속된 이 기간을 AI 겨울이라고 불렀습니다.

AI 겨울

이 기간은 확장성과 실제 적용에 어려움을 겪는 전문가 시스템과 같은 초기 AI 기술에 실망한 시기였습니다. 그 결과 정부와 기관의 자금이 고갈되고 AI 연구도 크게 둔화되었습니다.

AI 겨울 이후의 현대 신경망

1) 변경 1:
이는 편향이라는 추가 입력을 추가하는 것입니다. 다른 입력과 달리 편향은 외부 데이터나 이전 뉴런의 출력에 연결되지 않습니다.

편향은 가중치 입력의 합에 직접 추가되는 상수 값입니다. 각 뉴런이 가지고 있는 별도의 매개변수 역할을 하며, 입력 값과 독립적으로 출력을 조정하는 데 도움이 됩니다.

2) 변경 2:
단순히 합을 임계값과 비교하여 -1 또는 1을 출력하는 대신 수학 함수를 통해 합(편향 포함)을 전달할 수 있습니다. 이 함수는 특정 범위 내 어디에나 있을 수 있는 새로운 부동 소수점 값을 출력합니다

활성화/수학적/전송 기능
이는 뉴런이 수신하는 입력을 기반으로 뉴런이 얼마나 "활성화"되는지를 결정합니다. 많은 활성화 함수는 비선형성을 도입하여 네트워크가 비선형 관계를 학습할 수 있도록 하며 이는 더 복잡한 문제를 해결하는 데 중요합니다.
예

시그모이드 함수: 0과 1 사이의 값을 출력합니다. 이진 분류 문제에 유용합니다.

Tanh(하이퍼볼릭 탄젠트) 함수: -1과 1 사이의 값을 출력합니다. 시그모이드와 비슷하지만 0을 중심으로 합니다.

ReLU(Rectified Linear Unit): 입력이 양수이면 출력하고, 그렇지 않으면 0을 출력합니다.

누수 ReLU: ReLU와 유사하지만 입력이 음수일 때 0이 아닌 작은 기울기를 허용하여 "ReLU 소멸" 문제를 방지하는 데 도움이 됩니다.

Deep Learning Essentials

활성화 기능 유형:

1) 직선 기능

아. 신원 기능:
항등함수는 출력이 입력과 정확히 동일한 직선 함수입니다.
f(x)=x

ㄴ. 선형 함수:
선형함수란 직선으로 표현할 수 있는 모든 함수를 말합니다.
f(x) = mxb

2) 단계 함수

아. 계단식 기능:
계단형 함수는 특정 입력 값에서 급격한 변화가 있는 여러 선형 세그먼트로 구성됩니다. 완만한 곡선보다는 이산적인 점프가 특징입니다.
예
0에서 0.2보다 약간 작은 입력에 대해 0을 출력하고, 0.2에서 0.4보다 약간 작은 입력에 대해 0.2 등을 출력하는 함수입니다.

Deep Learning Essentials

ㄴ. 단위 단계 함수:
임계값보다 작은 입력 값에 대해 0을 출력하고 임계값보다 크거나 같은 입력 값에 대해 1을 출력합니다.

Deep Learning Essentials

ㄷ. 헤비사이드 기능:

3) 조각별 선형 함수

아. ReLU(정류 선형 단위)

기능 정의:
x≥0인 경우:
f(x)=x
x<0의 경우:
f(x)=0

Deep Learning Essentials

ㄴ. 누출 ReLU

기능 정의:
x≥0의 경우:
f(x)=x
x<0의 경우:
f(x)=αx(여기서 α는 작은 상수(예: 0.01))

Deep Learning Essentials

ㄷ. 파라메트릭 ReLU(PReLU)
기능 정의:
x≥0인 경우:
f(x)=x
x<0의 경우:
f(x)=αx(여기서 α는 학습 가능한 매개변수)

4) 원활한 활성화 기능

아. 소프트플러스 기능
이는 ReLU 함수의 매끄러운 근사치입니다. 연속적이고 미분 가능한 대안을 제공하여 0에서의 급격한 전환을 해결합니다.
소프트플러스(x) = ln(1e^x)

ㄴ. 시그모이드 함수
시그모이드 함수는 입력 값을 0과 1 사이의 범위로 압축합니다
σ(x)= 1 / 1e^−x

ㄷ. 쌍곡탄젠트(tanh) 함수
tanh 함수는 시그모이드와 유사하지만 입력 값을 [−1,1] 범위로 압축합니다. 0을 중심으로 하므로 데이터 정규화에 유용합니다.
tanh(x)=e^x e^−x
/e^x−e^−x

소프트맥스 기능

소프트맥스 기능은 신경망 내의 분류 작업에서 중요한 구성 요소이며, 특히 목표가 여러 클래스에 대한 확률을 예측하는 것일 때 더욱 그렇습니다.

Softmax는 출력 뉴런의 원시 출력 점수(종종 로짓이라고도 함)를 클래스에 대한 확률 분포로 변환합니다. 각 출력 값은 모든 클래스에서 합이 1이 되는 확률로 변환됩니다.

Deep Learning Essentials

다층 신경망

1) 피드포워드 신경망
피드포워드 네트워크는 뉴런 간의 연결이 순환을 형성하지 않는 일종의 인공 신경망입니다. 즉, 데이터는 루프백 없이 입력에서 출력으로 한 방향으로 흐릅니다.

구조:
피드포워드 신경망은 입력 계층, 하나 이상의 은닉 계층, 출력 계층 등의 계층으로 구성됩니다.

각 뉴런은 이전 레이어로부터 입력을 받고, 이러한 입력에 가중치를 적용하고, 합산하고, 편향 항을 추가하고, 활성화 함수를 통해 결과를 전달하여 출력을 생성합니다.

피드포워드 네트워크 유형:

단층 퍼셉트론:
입력 레이어와 출력 레이어만 있는 가장 간단한 형태의 피드포워드 네트워크
전. 데이터가 선형으로 분리 가능한 이진 분류 문제에 사용됩니다.

다층 퍼셉트론(MLP):
입력 레이어와 출력 레이어 사이에 하나 이상의 숨겨진 레이어가 포함되어 있습니다.
전. 분류, 회귀, 함수 근사 등의 작업에 사용됩니다.

RBF(방사형 기초 함수) 네트워크
은닉층에서 활성화 함수로 방사형 기반 함수를 사용합니다.
전. 함수 근사 및 패턴 인식에 사용됩니다.

신청:
이미지 인식
음성인식
의학적 진단

네트워크 깊이

데이터가 입력에서 출력으로 전달되는 레이어 수입니다. 입력 레이어와 출력 레이어(입력 레이어 제외) 사이의 레이어입니다. 네트워크의 깊이는 이러한 숨겨진 레이어의 수에 따라 결정됩니다.

완전 연결 계층(FC/선형/고밀도):

이들은 각각 이전 레이어의 모든 뉴런으로부터 입력을 받는 뉴런 세트입니다. 레이어를 구성한다면
밀도 높은 레이어로만 구성되어 완전히 연결된 네트워크

라고도 합니다.

Deep Learning Essentials

신경망의 출력 형태

0차원 배열
예
신경망 계층에 뉴런이 하나만 있는 경우 출력은 단일 스칼라 값입니다. 수학적으로 이 출력은 0차원 배열로 표현될 수 있습니다.

1차원 배열(1D Array)
예
신경망의 레이어에 여러 개의 뉴런이 있는 경우 출력은 값의 목록 또는 벡터로 설명될 수 있습니다. 예를 들어 레이어에 12개의 뉴런이 포함된 경우 출력은 12개의 요소가 있는 1D 배열입니다.

(참고: 신경망이 아무리 크거나 복잡하더라도 활성화 함수가 없고 덧셈, 뺄셈 등의 선형 함수라면 항상 단일 뉴런과 동일합니다.)

Deep Learning Essentials

텐서

임의의 차원을 가진 상자 모양으로 배열된 숫자 배열에 사용되는 일반적인 용어입니다. 1차원(벡터), 2차원(행렬), 3차원(볼륨), 고차원 배열을 포함합니다.

신경망 훈련에 대한 고급 개요

신경망 훈련에는 예측 오류를 최소화하기 위해 네트워크의 가중치를 조정하는 작업이 포함됩니다. 이는 비용 또는 손실 함수를 줄이기 위해 네트워크 매개변수를 반복적으로 업데이트하는 프로세스를 통해 수행됩니다

오토인코더

비지도 학습에 사용되는 일종의 신경망입니다. 핵심 아이디어는 입력을 더 낮은 차원 코드로 압축한 다음 이 코드에서 원래 입력을 재구성하는 것입니다.

구조

인코더:
이 부분은 입력 데이터를 컴팩트한 표현으로 압축합니다.
예: 이미지의 경우 인코더는 크기를 128x128픽셀에서 32차원

과 같은 더 작은 벡터로 줄일 수 있습니다.

디코더:
이 부분은 압축된 표현에서 원래 입력 데이터를 재구성합니다.
예: 디코더는 32차원 벡터를 가져와 128x128 픽셀 이미지를 다시 생성하려고 시도합니다.

훈련 과정

입력과 재구성된 출력 간의 차이를 최소화하도록 훈련되었습니다. 이는 일반적으로 연속 데이터의 경우 평균 제곱 오류(MSE) 또는 이진 데이터의 경우 이진 교차 엔트로피와 같은 손실 함수를 사용하여 수행됩니다. 목표는 재구성이 원래 입력에 최대한 가깝도록 네트워크의 가중치를 조정하는 것입니다.

변형:

1) 자동 인코더 제거
2) 변형 자동 인코더
3) 희소 오토인코더

압축 유형:

1) 무손실:
압축된 데이터로부터 원본 데이터를 완벽하게 재구성할 수 있는 데이터 압축 유형입니다. 이는 압축 과정에서 정보가 손실되지 않으며 압축 해제된 데이터가 원본과 동일하다는 것을 의미합니다.
알고리즘: 엔트로피 인코딩 및 사전 기반 기술과 같은 방법을 사용합니다. 예: 허프만 코딩: 자주 발생하는 기호를 짧은 코드로 인코딩하고 빈도가 낮은 기호를 긴 코드로 인코딩합니다.LZW(Lempel-Ziv-Welch): 데이터에서 시퀀스 사전을 구축하고 공통 시퀀스에 대해 더 짧은 코드를 사용합니다.런 길이 인코딩 (RLE): 문자와 해당 개수를 저장하여 반복되는 문자 시퀀스를 압축합니다.Ex. PNG,FLAC,ZIP

2) 손실:
인간의 감각으로는 눈에 덜 띄지만 충실도가 어느 정도 손실되는 방식으로 일부 데이터를 제거하여 파일 크기를 줄입니다. 목표는 의도된 용도에 적합한 품질을 유지하면서 파일 크기를 크게 줄이는 것입니다.
전. JPEG, H.264 또는 HEVC, MP3Transform Coding: 데이터를 다른 도메인(예: 주파수 도메인)으로 변환하고 양자화합니다. 예는 다음과 같습니다: 이산 코사인 변환(DCT): JPEG 이미지 압축에 사용됩니다. 이산 웨이블릿 변환(DWT): JPEG 2000에 사용됩니다.