MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다.

이달 초 MIT 및 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다.

KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다.

KAN은 보편적 근사 정리에 기반한 MLP와 동일한 강력한 수학적 기반을 갖고 있는 반면 KAN은 Kolmogorov-Arnold 표현 정리에 기반을 두고 있습니다.

아래 그림과 같이 KAN은 Edge에 활성화 기능이 있고 MLP는 Node에 활성화 기능이 있습니다. KAN은 MLP보다 매개변수 효율성이 더 높은 것으로 보이지만 각 KAN 레이어에는 MLP 레이어보다 더 많은 매개변수가 있습니다. 그림: [그림 1: 개략도] 간략한 설명: KAN은 에지 기반 신경망 구조로, 각 노드에는 에지 가중치와 활성화 함수가 있습니다. Edge 전파를 통해 정보의 전송 및 업데이트를 실현합니다. MLP는 노드 기반 신경망 구조이며, 각 노드에는 입력이 있습니다. 각 픽셀에서 학습 가능한 비선형 활성화 함수인 KAN 컨볼루션(CKAN)이 제안되고 오픈 소스로 제공됩니다.

프로젝트 주소: https://github.com/AntonioTepsich/Convolutional-KANs

KAN Convolution

KAN+ convolution은 convolution과 매우 유사하지만 커널과 이미지에는 없습니다. 해당 픽셀 사이에 내적을 적용하면 학습 가능한 비선형 활성화 함수가 각 요소에 적용된 후 합산됩니다. KAN+컨볼루션의 커널은 4개의 입력 뉴런과 1개의 출력 뉴런이 있는 KAN+선형 레이어와 동일합니다. 각 입력 i에 대해 ф_i 학습 가능 함수를 적용하면 이 컨볼루션 단계의 결과 픽셀은 ф_i(x_i)의 합이 됩니다.

KAN 매개변수

KxK 커널이 있다고 가정하면, 이 행렬의 각 요소에 대해 매개변수 개수가 격자 크기 + 1인 ф가 있고, ф는 다음과 같이 정의됩니다.

이는 활성화 함수 b에 대한 더 많은 표현성을 제공하며 선형 레이어의 매개변수 개수는 그리드 크기 + 2입니다. 따라서 KAN 컨볼루션에는 총 K^2(gridsize + 2)개의 매개변수가 있는 반면 일반 컨볼루션에는 K^2만 있습니다.

초기 평가

저자가 테스트한 다양한 아키텍처는 다음과 같습니다.

• 컨볼루션 간 일괄 정규화를 사용하는 CKAN(CKAN_BN)
• ConvNet(MLP에 연결된 클래식 컨볼루션)(ConvNet)
• Simple MLP
• 저자는 다음과 같이 구현합니다. KAN 컨볼루션 아직 초기 단계이지만 유망한 아이디어입니다. 그들은 KAN 컨볼루션의 성능을 평가하기 위해 몇 가지 예비 실험을 수행했습니다.

이러한 "예비" 결과를 게시하는 이유는 이 아이디어를 가능한 한 빨리 외부 세계에 소개하고 커뮤니티에서 더 넓은 연구를 촉진하기를 희망하기 때문이라는 점은 주목할 가치가 있습니다.

컨벌루션 레이어에 있는 목록의 각 요소에는 컨볼루션 수와 해당 커널 크기가 포함됩니다.

28x28 MNIST 데이터 세트를 기반으로 KANConv 및 MLP 모델이 ConvNet(대형)에 비해 허용 가능한 정확도를 달성하는 것을 관찰할 수 있습니다. 그러나 차이점은 KANConv와 MLP가 표준 ConvNet보다 7배 더 많은 매개변수를 필요로 한다는 점입니다. 또한 KKAN의 정확도는 ConvNet Medium보다 0.04 낮고 매개변수 수(94k vs. 157k)는 ConvNet Medium의 거의 절반으로 이 아키텍처의 잠재력을 보여줍니다. 또한 이에 대한 결론을 도출하려면 더 많은 데이터 세트에 대한 실험을 수행해야 합니다.

앞으로 며칠, 몇 주 안에 저자는 비교에 사용되는 모델과 모델의 하이퍼 매개변수를 철저히 조정할 것입니다. 일부 하이퍼파라미터 및 아키텍처 변형이 시도되었지만 이는 경험적일 뿐이며 정확한 접근 방식을 따르지 않습니다. 그들은 계산 능력과 시간 제약으로 인해 아직 대규모이거나 더 복잡한 데이터 세트를 다루지 않았으며 이 문제를 해결하기 위해 노력하고 있습니다.

앞으로 저자는 더 복잡한 데이터 세트에 대한 실험을 수행할 예정인데, 이는 더 많은 KAN 컨볼루션 레이어를 구현해야 하기 때문에 KANS의 매개변수 양이 증가한다는 것을 의미합니다.

결론

현재 전통적인 컨볼루션 네트워크와 비교해 저자는 KAN 컨볼루션 네트워크의 성능이 크게 향상되지 않았다고 말했습니다. 그들의 분석은 이것이 시도된 최고의 아키텍처(ConvNet Big, 이 비교는 규모 요인에 따라 불공평함)와 비교할 때 이것이 단순한 데이터 세트와 모델을 사용하기 때문이라고 믿습니다. 이 아키텍처의 장점은 더 나은 매개변수를 가지고 있다는 것입니다. 훨씬 적습니다.

2개의 동일한 컨벌루션 레이어와 끝에 동일한 MLP가 연결된 KAN 컨벌루션 레이어를 비교하면 정확도가 0.06 증가하여 고전적인 방법이 약간 더 나은 반면 KAN 컨벌루션 레이어와 KAN 선형은 매개변수 수 레이어는 기존 방법의 거의 절반이지만 정확도는 0.04만큼 감소합니다.

저자는 모델과 데이터 세트의 복잡성이 증가할수록 KAN 컨벌루션 네트워크의 성능이 향상되어야 한다고 말했습니다. 동시에 입력 차원이 증가함에 따라 모델의 매개변수 수도 더 빠르게 증가합니다.