LLMS 작동 방식 : 사후 훈련, 신경망, 환각 및 추론에 대한 사전 훈련

LLM 개발에는 두 가지 중요한 단계가 포함됩니다 : 사전 훈련 및 훈련 후 1. 사전 훈련 : 언어 교육

텍스트를 생성하기 전에 LLM은 언어 구조를 배워야합니다. 이 계산 집중 사전 훈련 프로세스에는 몇 가지 단계가 포함됩니다

토큰 화 :

신경망은 컨텍스트를 기반으로 한 순서로 다음 토큰을 예측하는 법을 배웁니다. 여기에는 수십억의 반복이 포함되며, 역전을 통해 매개 변수 (가중치)를 조정하여 예측 정확도를 향상시킵니다. 네트워크의 아키텍처는 출력을 생성하기 위해 입력 토큰이 처리되는 방법을 지시합니다.

• 결과 기본 모델 는 단어 관계와 통계 패턴을 이해하지만 실제 작업 최적화가 부족합니다. 확률에 따라 예측하지만 지시 기능을 제한하는 기능을 기반으로 예측하는 고급 자동 완성과 같은 기능을합니다. 프롬프트 내에서 예제를 사용하는 컨텍스트 학습은 사용될 수 있지만 추가 교육이 필요합니다.

기본 모델은 더 작고 전문화 된 데이터 세트를 사용하여 사후 훈련을 통해 개선됩니다. 이것은 명백한 프로그래밍이 아니라 구조화 된 예를 통해 암시 적 지시가 아닙니다.

훈련 후 방법은 다음과 같습니다

대화 미세 조정 :

도메인 별 미세 조정 :
• 도메인 별 미세 조정 : 특정 필드 (의학, 법률, 프로그래밍)에 대한 모델을 조정합니다. 사용자 입력 및 AI 응답을 묘사하기 위해 특수 토큰이 소개됩니다. 추론 : 텍스트 생성
모든 단계에서 수행되는 추론은 모델 학습을 평가합니다. 이 모델은이 분포에서 다음 토큰 및 샘플에 대한 확률을 지정하여 교육 데이터에서 명시 적으로는 아니지만 통계적으로 일치합니다. 이 확률 론적 프로세스는 동일한 입력에서 다양한 출력을 허용합니다.
• 환각 : 허위 정보 해결 LLM이 허위 정보를 생성하는 환각은 확률 론적 특성에서 발생합니다. 그들은 사실을 "알지 못하고"단어 시퀀스를 예측합니다. 완화 전략에는 다음이 포함됩니다
"나는 모른다"훈련 :

외부 검색 도구에 액세스하여 지식 확장, 모델의 컨텍스트 창에 결과를 통합합니다.