ChatGPT가 처음 출시되었을 때 모델의 대화 성능이 너무 인간적이어서 언어 모델에 '사고 능력'이 있는 것 같은 착각을 불러일으켰기 때문에 우리에게 너무 큰 충격을 줬습니다.
그러나 연구자들은 언어 모델에 대한 심층적인 이해를 얻은 후, 확률이 높은 언어 패턴을 기반으로 한 재현이 아직 기대되는 '일반 인공지능'과는 거리가 멀다는 사실을 점차 발견해 왔습니다.
대부분의 연구에서 대규모 언어 모델은 주로 인간의 인지 프레임워크를 고려하지 않고 추론 작업을 수행하기 위한 특정 프롬프트의 지침에 따라 사고 사슬을 생성하므로 복잡한 추론 문제를 해결하는 언어 모델의 능력이 인간과 크게 다릅니다. 유지하다.
인간은 복잡한 추론 문제에 직면할 때 일반적으로 다양한 인지 능력을 사용하고 도구, 지식 및 외부 환경 정보의 모든 측면과 상호 작용해야 합니다. 언어 모델이 인간의 사고 과정을 시뮬레이션하여 복잡한 문제를 해결할 수 있습니까?
답은 당연히 그렇습니다! 인간의 인지 처리 프레임워크를 시뮬레이션하는 최초의 모델 OlaGPT가 출시되었습니다!
문서 링크: https://arxiv.org/abs/2305.16334
코드 링크: //m.sbmmt.com/link/73a1c863a54653d5e184b790fee14754
OlaGPT에는 주의력, 기억력, 인간의 능동적 학습에서 영감을 얻은 추론, 학습 및 이에 상응하는 일정 및 의사결정 메커니즘에는 이전 실수와 전문가 의견을 기록하고 이를 동적으로 참조하여 유사한 문제를 해결하는 능력을 향상시키는 학습 단위도 포함되어 있습니다.
또한 이 기사에서는 인간이 문제를 해결하기 위한 공통적이고 효과적인 추론 프레임워크를 설명하고 그에 따라 CoT(사고 사슬) 템플릿을 설계하며 모델의 정확성을 극대화할 수 있는 포괄적인 의사 결정 메커니즘도 제안합니다.
여러 추론 데이터 세트에 대한 엄격한 평가를 거쳐 얻은 실험 결과에 따르면 OlaGPT는 이전의 최첨단 벤치마크를 능가하고 그 효과가 입증되었습니다.
현재 언어 모델과 예상되는 일반 인공 지능 사이에는 여전히 큰 격차가 있습니다.
1.어떤 경우에는 생성된 콘텐츠가 의미가 없거나 인간의 가치 선호에서 벗어납니다. 심지어 매우 위험한 제안을 제공할 수도 있습니다. 현재 솔루션은 인간 피드백을 통한 강화 학습(RLHF)을 도입하여 모델 출력의 순위를 매기는 것입니다.
2. 언어 모델의 지식은 훈련 데이터에 명시적으로 언급된 개념과 사실로 제한됩니다.
복잡한 문제에 직면했을 때 언어 모델은 변화하는 환경에 적응할 수 없고, 기존 지식이나 도구를 활용할 수 없으며, 역사적 교훈을 반영하고, 문제를 분해할 수 없으며, 장기적인 진화에서 인간이 요약한 사고 패턴(예: 유추, 귀납적 추론, 연역적 추론 등)을 통해 문제를 해결합니다.
그러나 언어 모델이 인간의 두뇌 처리 문제를 시뮬레이션하는 데에는 여전히 많은 시스템 문제가 있습니다.
1. 인간 인지 프레임워크의 주요 모듈을 체계적으로 모방하고 인코딩하는 동시에 기반을 구축하는 방법 스케줄링을 위해 달성 가능한 방식으로 인간의 일반적인 추론을 수행합니까?
2. 인간처럼 적극적으로 학습할 수 있도록, 즉 역사적 실수나 어려운 문제에 대한 전문가의 해결책을 통해 학습하고 발전할 수 있도록 언어 모델을 안내하는 방법은 무엇입니까?
정답을 인코딩하도록 모델을 재교육하는 것이 가능할 수도 있지만 비용이 많이 들고 유연성이 떨어집니다.
3. 인간이 진화한 다양한 사고 모드를 유연하게 활용하여 추론 성능을 향상시키는 언어 모델을 만드는 방법은 무엇입니까?
고정적이고 보편적인 사고 모델은 다양한 문제에 적응하기 어렵습니다. 인간이 다양한 유형의 문제에 직면할 때 일반적으로 유추 추론, 연역 추론 등 다양한 사고 방식을 유연하게 선택합니다.
OlaGPT는 인간의 사고를 시뮬레이션하고 대규모 언어 모델의 기능을 향상시킬 수 있는 문제 해결 프레임워크입니다.
OlaGPT는 인지 아키텍처 이론을 바탕으로 주의력, 기억력, 학습, 추론 및 행동 선택과 같은 인지 프레임워크의 핵심 기능을 모델링합니다.
연구원들은 특정 구현 요구 사항에 따라 프레임워크를 미세 조정하고 복잡한 문제를 해결하기 위해 언어 모델에 적합한 프로세스를 제안했습니다. 여기에는 구체적으로 의도 강화 모듈(주의), 메모리 모듈(기억), 활성 학습 모듈( 학습), 추론 모듈(추론), 컨트롤러 모듈(행동 선택) 및 투표 모듈입니다.
주의는 인간 인지의 중요한 부분으로 관련 정보를 식별하고 관련 없는 데이터를 필터링합니다.
마찬가지로 연구원들은 가장 관련성이 높은 정보를 추출하고 사용자 입력과 모델의 언어 패턴 사이에 더 강력한 연관성을 구축하는 것을 목표로 하는 언어 모델, 즉 의도 향상에 해당하는 주의 모듈을 설계했습니다. 사용자의 표현습관부터 모델의 표현습관까지 최적화된 변환기입니다.
먼저 LLM의 질문 유형을 구체적인 프롬프트 단어를 통해 미리 파악한 후 질문 방식을 재구성하세요.
예를 들어, 분석을 용이하게 하려면 "이제 XX(질문 유형), 질문 및 선택 항목을 제공하십시오:"를 추가해야 합니다. 또한 "답변은 JSON으로 끝나야 합니다." 형식: 답변:" 프롬프트에. 옵션[A,B,C,D,E] 중 하나.」
메모리 모듈은 다양한 지식 기반 정보를 저장하는 데 중요한 역할을 합니다. 연구를 통해 입증됨 현재 언어 모델은 최신 사실 데이터를 이해하는 데 한계가 있는 반면, 메모리 모듈은 모델에 아직 내부화되지 않은 지식을 통합하여 장기 기억으로 외부 라이브러리에 저장하는 데 중점을 둡니다.
연구원들은 단기 기억을 위해 랭체인의 메모리 기능을 활용한 후, 장기 기억을 구현하기 위해 Faiss 기반의 벡터 데이터베이스를 활용했습니다.
쿼리 프로세스 중에 검색 기능은 라이브러리에서 관련 지식을 추출할 수 있으며, 이는 사실, 도구, 메모 및 사고의 네 가지 유형을 포괄하며, 여기서 사실은 상식과 같은 실제 정보입니다. 편집이 필요하지 않은 작업을 완료하는 데 언어 모델을 지원할 수 있는 검색 엔진, 계산기 및 Wikipedia가 포함되며, 노트에는 주로 전문가가 작성한 인간 문제 해결을 위한 사고 템플릿이 저장되어 있습니다. 전문가는 사람일 수도 있고 모델일 수도 있습니다.
학습 능력은 인간이 지속적으로 자기 성과를 향상시키는 데 중요합니다. 본질적으로 모든 형태의 학습은 경험에 의존하며 언어 모델은 이전 실수로부터 학습할 수 있으므로 추론 능력이 빠르게 향상됩니다.
먼저, 연구자들은 언어 모델이 해결할 수 없는 문제를 찾아내고, 전문가들이 제공하는 통찰력과 설명을 노트 라이브러리에 기록하고 마지막으로 관련 노트를 선택하여 언어 모델 학습을 촉진합니다. 유사한 문제를 보다 효과적으로 처리할 수 있습니다.
추론 모듈의 목적은 인간의 추론 과정을 기반으로 여러 에이전트를 생성하여 언어 모델의 잠재적 사고 능력을 자극하고 추론 문제를 해결하는 것입니다.
이 모듈은 추론 작업을 용이하게 하기 위해 수평적 사고, 순차적 사고, 비판적 사고, 통합적 사고와 같은 특정 사고 유형을 참조하는 여러 사고 템플릿을 결합합니다.
컨트롤러 모듈은 모델의 내부 계획 작업(예: 실행할 특정 모듈 선택)과 사실, 도구, 메모 및 사고 라이브러리 선택을 포함하여 관련 작업 선택을 처리하는 데 주로 사용됩니다.
먼저 관련 라이브러리를 검색하고 일치시킨 다음 검색된 콘텐츠를 템플릿 에이전트에 통합합니다. 이는 인간이 처음에 어려움을 겪을 수 있는 것처럼 언어 모델이 템플릿에서 비동기 방식으로 응답을 제공하도록 요구합니다. 추론 모든 관련 정보를 식별하는 것 외에도 언어 모델이 처음부터 이를 수행할 것이라고 기대하는 것도 어렵습니다.
따라서 동적 검색은 사용자의 질문과 중간 추론 진행을 기반으로 구현되며, 위의 4개 라이브러리에 대한 임베디드 인덱스를 생성하기 위해 Faiss 방법을 사용하며, 각 라이브러리의 검색 전략은 약간 다릅니다.
다양한 사고 템플릿이 다양한 유형의 질문에 더 적합할 수 있으므로 연구자들은 여러 사고 템플릿 간의 통합 조정 능력을 향상하고 여러 투표 전략을 사용하여 성과 개선을 위한 최상의 답변을 생성하는 투표 모듈을 설계했습니다.
구체적인 투표 방법은 다음과 같습니다.
1. 언어 모델 투표: 주어진 여러 옵션 중에서 가장 일관된 답변을 선택하도록 언어 모델을 안내하고 이유를 제공합니다.
2. 정규식 투표: 정규식 완전 일치를 사용하여 답변을 추출하고 투표 결과를 얻습니다.
추론 작업에서 이 향상된 언어 모델 프레임워크의 효율성을 평가하기 위해 연구원들은 두 가지 유형의 추론 데이터 세트에 대한 포괄적인 실험 비교를 수행했습니다.
결과에서 알 수 있듯이
1. SC(자체 일관성)는 GPT-3.5-터보보다 성능이 뛰어나며, 이는 앙상블 방식을 채택하면 대규모 작업의 효율성을 향상하는 데 어느 정도 도움이 된다는 것을 나타냅니다. 모델.
2. 기사에서 제안한 방법의 성능은 SC의 성능을 능가하며 이는 사고 템플릿 전략의 효율성을 어느 정도 입증합니다.
다양한 사고 템플릿에 대한 답변은 상당한 차이를 보이며, 다양한 사고 템플릿에 따른 투표는 단순히 여러 차례 투표를 하는 것보다 궁극적으로 더 나은 결과를 낳을 것입니다.
3. 다양한 사고 템플릿은 다양한 효과를 가지며, 추론 문제에는 단계별 솔루션이 더 적합할 수 있습니다.
4. 능동 학습 모듈의 성능은 제로 샘플 방식보다 훨씬 좋습니다.
도전적인 사례를 노트 라이브러리의 일부로 포함하고 무작위, 검색 및 조합 목록을 사용하여 성능을 향상시키는 것이 가능한 전략입니다.
5. 다양한 검색 방식은 다양한 데이터 세트에 다양한 영향을 미칩니다. 일반적으로 결합 전략이 더 나은 결과를 가져옵니다.
6. 이 기사의 방법은 다른 솔루션보다 확실히 우수합니다. 이는 사고 템플릿의 효과적인 설계를 포함하여 전체 프레임워크의 합리적인 설계로 인해 다양한 모델에 대한 적응을 실현합니다. 다양한 사고 템플릿에 따른 결과가 다릅니다. 컨트롤러 모듈은 매우 우수한 제어 역할을 수행하며, 투표 모듈에서 설계한 다양한 사고 템플릿의 통합 방법이 효과적입니다.
참고자료:
//m.sbmmt.com/link/73a1c863a54653d5e184b790fee14754
위 내용은 인간 인지를 시뮬레이션하는 최초의 사고 프레임워크인 OlaGPT: 6개 모듈은 언어 모델을 강화하고 추론 능력을 최대 85% 향상시킵니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
