머신러닝 도구 상자에는 6가지 중요한 알고리즘이 숨겨져 있습니다.

1. 선형 회귀

프랑스 수학자 Adrien-Marie Legendre는 혜성의 미래 위치를 예측하는 데 집착하여 혜성의 궤적을 계산하는 방법을 준비하고 있습니다.

여러 가지 방법을 시도한 끝에 마침내 진전이 있었습니다.

Legendre는 혜성의 미래 위치를 추측하는 것부터 시작하여 데이터를 기록하고 분석한 후 최종적으로 데이터를 통해 자신의 추측을 검증하여 제곱 오차의 합을 줄였습니다.

이것이 선형 회귀의 씨앗입니다.

대중화를 위한 두 단계: 알고리즘은 항해사가 별을 추적하는 데 즉시 도움이 되었으며 이후의 생물학자(특히 찰스 다윈의 사촌 프랜시스 골턴)가 식물과 동물의 유전적 특성을 식별하는 데 도움이 되었습니다. 이 두 가지 추가 개발을 통해 선형 회귀의 광범위한 잠재력이 드러났습니다. 1922년 영국의 통계학자인 Ronald Fisher와 Karl Pearson은 선형 회귀가 상관 관계 및 분포의 일반적인 통계 프레임워크에 어떻게 적용되어 모든 과학에서 유용하게 사용될 수 있는지 보여주었습니다. 그리고 거의 100년이 지난 후, 컴퓨터의 출현으로 이를 훨씬 더 많이 활용할 수 있는 데이터와 처리 능력이 제공되었습니다.

모호함 처리: 물론 데이터는 완벽하게 측정될 수 없으며 일부 변수는 다른 변수보다 더 중요합니다. 이러한 삶의 사실은 더욱 복잡한 변화를 불러일으킵니다. 예를 들어, 정규화를 사용한 선형 회귀(능선 회귀라고도 함)는 선형 회귀 모델이 하나의 변수에 너무 많이 의존하지 않거나 가장 중요한 변수에 균등하게 의존하도록 권장합니다. 단순화를 위해 다른 형태의 정규화(L2 대신 L1)는 가능한 한 많은 계수가 0이 되도록 유도하는 올가미(압축 추정)를 생성합니다. 즉, 예측력이 높은 변수를 선택하고 나머지는 무시하는 방법을 학습합니다. 탄력적 네트워크는 이 두 가지 유형의 정규화를 결합합니다. 데이터가 희박하거나 기능이 관련되어 있는 것처럼 보일 때 유용합니다.

각 뉴런에서: 이제 간단한 버전도 여전히 매우 유용합니다. 신경망에서 가장 일반적인 유형의 뉴런은 선형 회귀 모델이고 그 다음은 비선형 활성화 함수로, 선형 회귀를 딥 러닝의 기본 구성 요소로 만듭니다.

2. 로지스틱 회귀

로지스틱 회귀가 한 가지만 분류하는 데 사용되던 시절이 있었습니다. 독약을 마셨다면 "살아있다" 또는 "죽었다"로 표시됩니까?

이제 응급 센터에 전화하는 것이 이 질문에 대한 더 나은 답변을 제공할 뿐만 아니라 로지스틱 회귀가 딥 러닝의 핵심입니다.

이 함수는 벨기에 통계학자 P.F. Verhulst가 인구 역학을 설명하기 위해 이 함수를 발명한 1830년대로 거슬러 올라갑니다. 시간이 지남에 따라 초기 기하급수적 성장 폭발은 가용 자원을 소비하면서 수준이 낮아지고 특성 논리 곡선이 생성됩니다.

100여 년이 지난 후, 미국 통계학자 E. B. Wilson과 그의 학생 Jane Worcester는 특정 유해 물질이 얼마나 치명적인지 계산하기 위해 로지스틱 회귀를 설계했습니다.

3. 경사하강법

해가 진 후 산에 하이킹을 했는데 발 외에는 아무것도 보이지 않는다고 상상해 보세요.

휴대폰 배터리가 부족하여 GPS를 사용하여 집으로 가는 길을 찾을 수 없습니다.

경사하강법을 통해 가장 빠른 경로를 찾을 수도 있지만 절벽에서 떨어지지 않도록 조심하세요.

1847년 프랑스 수학자 오귀스탱-루이 코시가 항성 궤도를 근사화하는 알고리즘을 발명했습니다.

60년 후, 그의 동료인 Jacques Hadamard는 무릎을 꿇고 하이킹을 더 쉽게 할 수 있는 얇고 유연한 물체(예: 카펫)의 변형을 설명하기 위해 독립적으로 개발했습니다.

그러나 기계 학습에서 가장 일반적으로 사용되는 것은 학습 알고리즘의 손실 함수의 최저점을 찾는 것입니다.

안타깝게도 알고리즘이 당신을 산 아래로 밀어내지 않았기 때문에 휴대전화의 배터리가 부족합니다.

여러 계곡(로컬 최소값), 봉우리(로컬 최대값), 안장점(안장점) 및 고원으로 구성된 볼록하지 않은 지형에 갇힐 수 있습니다.

실제로 이미지 인식, 텍스트 생성, 음성 인식 등의 작업은 모두 볼록하지 않으며 이러한 상황을 처리하기 위해 다양한 변형 경사하강법이 등장했습니다.

예를 들어, 알고리즘에는 작은 상승과 하락을 증폭시켜 바닥에 도달할 가능성을 높이는 데 도움이 되는 추진력이 있을 수 있습니다.

연구원들은 너무 많은 변형을 설계하여 로컬 최소값만큼 옵티마이저가 많은 것처럼 보입니다.

다행히도 지역 최소값과 전역 최소값은 대략 동일한 경향이 있습니다.

경사하강법은 모든 함수의 최소값을 찾는 확실한 선택입니다. 변수가 많은 선형 회귀 작업과 같이 정확한 솔루션을 직접 계산할 수 있는 경우에는 값을 대략적으로 계산할 수 있으며 더 빠르고 저렴할 수 있습니다.

하지만 복잡한 비선형 작업에는 유용합니다.

경사하강과 모험심이 있다면 저녁 식사 시간에 맞춰 산을 벗어날 수도 있습니다.

4. 신경망

먼저 문제를 명확히 해보겠습니다. 만약 그렇다면 뇌가 실행하는 소프트웨어는 일반적인 인공 신경망보다 훨씬 더 복잡할 것입니다.

그러나 신경망은 뇌의 구조, 즉 서로 연결된 뉴런의 층에서 영감을 얻었으며 각 뉴런은 이웃의 상태에 따라 자체 출력을 계산합니다. 결과적인 일련의 활동은 고양이 사진에 대한 아이디어 또는 인식으로 이어집니다.

생물학적에서 인공적으로: 뇌가 뉴런 간의 상호작용을 통해 학습한다는 아이디어는 1873년으로 거슬러 올라갑니다. 그러나 미국의 신경과학자 Warren McCulloch와 Walter Pitts가 간단한 수학적 규칙을 사용하여 생물학적 신경망 모델을 확립한 것은 1943년이 되어서였습니다.

1958년 미국 심리학자 Frank Rosenblatt는 미 해군용 하드웨어 버전 구축을 목표로 펀치 카드 기계에 구현된 단일 레이어 시각적 네트워크인 센서를 개발했습니다.

Rosenblatt의 발명품은 한 줄 분류만 인식할 수 있습니다.

나중에 우크라이나 수학자 Alexey Ivakhnenko와 Valentin Lapa는 여러 레이어에 뉴런 네트워크를 쌓아서 이러한 한계를 극복했습니다.

1985년 프랑스 컴퓨터 과학자 Yann LeCun, David Parker, 미국 심리학자 David Rumelhart와 동료들은 독립적으로 연구하면서 이러한 네트워크를 효과적으로 훈련시키기 위해 역전파를 사용하는 방법을 설명했습니다.

새천년의 첫 10년 동안 Kumar Chellapilla, Dave Steinkraus 및 Rajat Raina(Andrew Ng와 공동 작업)를 포함한 연구자들은 그래픽 처리 장치를 사용하여 신경망의 경계를 더욱 넓혔습니다. 인터넷에서 생성되는 방대한 양의 데이터로부터 학습합니다.

The New York Times는 Rosenblatt의 1958년 센서에 대해 보도하면서 "미 해군은 걷고, 말하고, 보고, 쓰고, 자가 복제할 수 있는 기계를 원하며, ”

당시의 센서는 이러한 요구 사항을 충족하지 못했지만 이미지용 컨볼루션 신경망과 이미지, 텍스트, 음성, 비디오용 변환기 등 많은 인상적인 모델을 생성했습니다. , 단백질 구조 등.

그들은 이미 바둑에서 인간 수준의 성능을 뛰어넘고, 엑스레이 이미지 진단과 같은 실제 작업에서 인간 수준의 성능에 접근하는 등 놀라운 일을 하고 있습니다.

그러나 상식과 논리적 추론 측면에서는 여전히 다루기가 더 어렵습니다.

5. 결정 트리

아리스토텔레스는 어떤 '짐승'인가요? 3세기에 시리아에 살았던 철학자의 추종자인 포르피리는 이 질문에 답하는 논리적인 방법을 생각해 냈습니다.

그는 아리스토텔레스가 제안한 "존재의 범주"를 일반적인 것부터 구체적인 것으로 결합하여 아리스토텔레스를 각 범주로 차례로 분류했습니다.

아리스토텔레스의 존재는 개념이나 영혼이 아니라 물질입니다. 비합리적이기보다는 합리적이다.

그러므로 그의 분류는 인간이다.

중세 논리 교사들은 이 시퀀스를 수직 흐름도, 즉 초기 결정 트리로 그렸습니다.

1963년, 미시간 대학교 사회학자 John Sonquist와 경제학자 James Morgan이 설문조사 응답자를 그룹화할 때 처음으로 컴퓨터에 의사결정 트리를 구현했습니다.

자동 학습 알고리즘 소프트웨어의 등장으로 이런 작업이 일반화되었으며 이제는 scikit-learn을 비롯한 다양한 머신러닝 라이브러리에서도 의사결정 트리를 사용하고 있습니다.

이 코드는 스탠포드 대학과 캘리포니아 버클리 대학의 통계학자 4명이 10년에 걸쳐 개발했습니다. 이제 의사결정 트리를 처음부터 작성하는 것은 Machine Learning 101 숙제가 되었습니다.

결정 트리는 분류 또는 회귀를 수행할 수 있습니다. 이는 루트에서 크라운까지 아래쪽으로 성장하여 의사결정 계층의 입력 예를 두 개(또는 그 이상)로 분류합니다.

독일의 의학자이자 인류학자인 요한 블루멘바흐의 주제를 생각해 보세요. 1776년경 그는 처음으로 원숭이와 유인원을 구별했습니다(인간은 제쳐두고). 그 전에는 원숭이와 유인원을 하나로 분류했습니다.

이 분류는 꼬리가 있는지, 가슴이 좁은지 넓은지, 직립한지 웅크리고 있는지, 지능 수준 등 다양한 기준에 따라 달라집니다. 훈련된 의사결정 트리를 사용하여 각 기준을 하나씩 고려하여 이러한 동물에 라벨을 지정하고 궁극적으로 두 그룹의 동물을 분리합니다.

인간은 넓은 골반, 손, 악물고 있는 이빨로 유인원과 구별된다는 블루멘바흐의 결론(나중에 찰스 다윈에 의해 뒤집힘)을 고려하여, 의사 결정 트리를 확장하여 유인원과 원숭이뿐만 아니라 인간을 분류하려면 어떻게 될까요? ?

호주 컴퓨터 과학자 John Ross Quinlan은 1986년에 비바이너리 결과를 지원하도록 의사결정 트리를 확장한 ID3를 통해 이를 가능하게 했습니다.

2008년 IEEE 국제 데이터 마이닝 회의에서 기획된 데이터 마이닝 알고리즘 상위 10개 중 C4.5라는 확장 정제 알고리즘이 1위를 차지했습니다.

미국 통계학자 Leo Breiman과 뉴질랜드 통계학자 Adele Cutler는 이 기능을 장점으로 활용하여 2001년에 랜덤 포레스트(Random Forest)를 개발했습니다. 이것은 의사 결정 트리의 모음이며, 각 의사 결정 트리가 처리할 서로 다른, 중복되는 사례를 선택하고, 최종 결과가 투표로 결정됩니다.

Random Forest와 그 사촌인 XGBoost는 과적합이 덜 발생하므로 가장 인기 있는 기계 학습 알고리즘 중 하나가 됩니다.

Aristotle, Porphyry, Blumenbach, Darwin, Jane Goodall, Dian Fossey 및 1000명의 다른 동물학자들이 한 방에 모여 최고의 분류가 이루어지도록 하는 것과 같습니다.

6. K-평균 알고리즘

파티에서 다른 사람들과 가까이 서 있다면 공통점이 있을 가능성이 높습니다. 이는 k-평균 클러스터링을 사용하여 데이터 포인트를 그룹화한다는 아이디어입니다.

그룹이 인간에 의해 형성됐든, 다른 힘에 의해 형성됐든 이 알고리즘이 찾아냅니다.

폭발에서 발신음까지: 벨 연구소의 상징적인 혁신 공장이자 원자폭탄을 발명한 맨해튼 프로젝트의 졸업생인 미국의 물리학자 스튜어트 로이드(Stuart Lloyd)는 정보가 할당된 디지털 신호에서 클러스터링을 수행하기 위해 1957년 처음으로 k-평균 클러스터링을 제안했습니다. , 그러나 1982년까지 이 작품을 출판하지 않았습니다.

한편, 미국 통계학자인 에드워드 포지(Edward Forgy)는 1965년에 비슷한 방법을 기술하여 "Lloyd-Forgy Algorithm"이라는 대체 이름으로 이어졌습니다.

허브 찾기: 클러스터를 같은 생각을 가진 작업 그룹으로 나누는 것을 고려하세요. 방에 있는 참가자의 위치와 형성할 그룹 수를 고려하여 k-평균 클러스터링은 참가자를 대략 동일한 크기의 그룹으로 나눌 수 있으며, 각 그룹은 중심점 또는 중심을 중심으로 클러스터됩니다.

훈련 중에 알고리즘은 처음에 k명을 무작위로 선택하여 k개의 중심을 지정합니다. (K는 ​​수동으로 선택해야 하며 최적의 값을 찾는 것이 때로는 매우 중요합니다.) 그런 다음 각 사람을 가장 가까운 중심과 연결하여 k개의 클러스터를 성장시킵니다.

각 클러스터에 대해 해당 그룹에 할당된 모든 사람의 평균 위치를 계산하고 해당 평균 위치를 새 중심으로 할당합니다. 각각의 새로운 질량 중심은 사람이 차지하지 않을 수도 있지만 그렇다면 어떨까요? 사람들은 초콜릿과 퐁듀 주위에 모이는 경향이 있습니다.

새 중심을 계산한 후 알고리즘은 개인을 가장 가까운 중심에 다시 할당합니다. 그런 다음 새 중심을 계산하고 클러스터를 조정하는 등의 작업을 중심(및 주변 그룹)이 더 이상 움직이지 않을 때까지 계속합니다. 그런 다음 새 구성원을 올바른 클러스터에 할당하는 것은 쉽습니다. 방 안의 위치에 놓고 가장 가까운 질량 중심을 찾으십시오.

미리 주의하세요: 초기 무작위 중심 할당으로 인해 함께 어울리고 싶은 사랑스러운 데이터 중심 AI 전문가와 동일한 그룹에 속하지 못할 수도 있습니다. 알고리즘은 훌륭하게 작동하지만 최상의 솔루션을 찾는다는 보장은 없습니다.

다른 거리: 물론, 클러스터된 개체 사이의 거리가 클 필요는 없습니다. 두 벡터 사이의 모든 메트릭이 가능합니다. 예를 들어, 물리적 거리를 기준으로 파티 참석자를 그룹화하는 대신 k-평균 클러스터링을 사용하면 의복, 직업 또는 기타 속성을 기준으로 파티 참석자를 나눌 수 있습니다. 온라인 상점에서는 이를 사용하여 고객의 선호도나 행동을 기준으로 고객을 분류하고, 천문학자는 동일한 유형의 별을 그룹화할 수 있습니다.

데이터 포인트의 힘: 이 아이디어는 몇 가지 주목할만한 변화를 가져옵니다:

K-medoids는 주어진 클러스터 내의 평균 위치가 아닌 실제 데이터 포인트를 중심으로 사용합니다. 중심점은 클러스터의 모든 점까지의 거리를 최소화하는 점입니다. 이 변화는 중심이 항상 데이터 포인트이기 때문에 해석하기가 더 쉽습니다.

퍼지 C-평균 클러스터링을 사용하면 데이터 포인트가 다양한 수준으로 여러 클러스터에 참여할 수 있습니다. 하드 클러스터 할당을 중심으로부터의 거리에 따른 클러스터 각도로 대체합니다.

n 차원 카니발: 그럼에도 불구하고 원래 형태의 알고리즘은 여전히 ​​널리 유용합니다. 특히 비지도 알고리즘으로서 값비싼 레이블이 지정된 데이터를 수집할 필요가 없기 때문입니다. 또한 점점 더 빠르게 사용되고 있습니다. 예를 들어 scikit-learn을 포함한 기계 학습 라이브러리는 2002년에 kd-tree를 추가하여 고차원 데이터를 매우 빠르게 분할할 수 있는 이점을 얻었습니다.

위 내용은 머신러닝 도구 상자에는 6가지 중요한 알고리즘이 숨겨져 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!