InstructGPT 문서의 핵심 기술 사항을 빠르게 학습하세요. Li Mu를 따라 ChatGPT의 기술을 익히세요.

ChatGPT가 인기를 얻은 후 기술에 관심을 갖는 많은 학생들이 다음과 같은 질문을 하고 있습니다. ChatGPT의 원리를 체계적으로 이해할 수 있는 학습 자료가 있습니까? OpenAI가 ChatGPT와 관련된 논문을 공개하지 않았기 때문에 이 문제는 까다로워집니다.

그러나 우리는 ChatGPT에 대한 OpenAI 블로그를 통해 ChatGPT가 사용하는 방법이 형제 모델인 InstructGPT와 동일하다는 것을 알고 있습니다. 단, InstructGPT는 GPT-3에서 미세 조정되고 ChatGPT는 GPT-3.5를 기반으로 합니다. 데이터 수집 측면에서도 둘 사이에는 몇 가지 차이점이 있습니다.

블로그 링크: https://openai.com/blog/chatgpt/

InstructGPT의 논문은 2022년 3월에 발표되었지만, OpenAI는 이르면 1월 블로그에서 관련 논문을 발표했습니다(참고) "GPT-3가 횡설수설하는 경우 어떻게 해야 합니까? OpenAI: 우리는 이를 재교육했으며 새 버전은 더 "순종적"입니다.") 당시 OpenAI는 InstructGPT가 인간 피드백의 강화 학습 방법(RLHF)을 사용하여 GPT-3를 미세 조정하여 모델의 출력이 인간 선호도와 보다 일치하도록 만들었다고 분명히 언급했습니다. 이는 ChatGPT의 훈련에서도 계속되었습니다.

문서 링크: https://arxiv.org/pdf/2203.02155.pdf

또한 InstructGPT와 ChatGPT 사이에는 많은 유사점이 있습니다. 따라서 InstructGPT 논문에 대한 철저한 이해는 ChatGPT 방향으로 일부 작업을 수행하려는 학생들에게 큰 도움이 될 것입니다. 이것이 우리가 Li Mu의 강의를 적극 추천하는 이유입니다.

강좌 주소 : https://jmq.xet.tech/s/2lec6b (바로 이동하시려면 "원문 읽기"를 클릭하세요)

Li Mu 박사님이 선배입니다 이전에는 Aston Zhang 등과 함께 "Hands-on Deep Learning"을 공동 집필했습니다. 지난 2년 동안 그는 영상을 통해 모든 사람에게 다양한 AI 지식을 소개하고 수십 편의 논문에 대한 집중 독해 강좌를 제작해 왔다. 많은 학생들이 Li Mu와 함께 집중적으로 논문을 읽는 습관을 키웠습니다.

스테이션 B의 Li Mu 박사 계정은 "Li Mu에게 AI 배우기"입니다.

본 InstructGPT 통역 강좌는 총 67분 동안 진행되며 기본적으로 논문 작성 순서대로 소개됩니다.

ChatGPT 블로그를 읽은 학생들은 기술 원리가 기본적으로 InstructGPT 논문에도 나온 그림인 그림으로 요약될 수 있다는 것을 알고 있습니다(둘 사이에는 미묘한 차이가 있습니다). . Li Mu는 논문의 초록과 서문을 해석하면서 다이어그램의 세 단계를 자세히 소개했습니다.

ChatGPT 블로그의 기술 회로도.

InstructGPT 논문의 기술 회로도.

논문의 세 번째 장에서는 InstructGPT의 저자들이 먼저 데이터 수집 방법과 과정을 소개했고, Li Mu도 모든 사람에게 자세히 읽어보게 했습니다. 이 부분은 공학에서 매우 귀중한 부분입니다. Li Mu가 말했듯이, 이전에 이와 같은 일(데이터 라벨링 등)을 해본 적이 없고 데이터 라벨링을 도와줄 사람을 찾아야 한다면 직접 사용할 수 있는 많은 템플릿이 포함된 부록을 살펴볼 수 있습니다. 논문의 저자는 주석이 달린 웹사이트의 UI가 어떻게 생겼는지 설명하고 있는데, 이는 배울 가치가 있습니다.

다음으로 Li Mu는 3장에서 작성한 세 가지 모델(3.5 모델 참조) - SFT(감독 미세 조정) 모델, RM(보상 모델링) 모델 및 RL(강화 학습) 모델에 중점을 두었습니다. 이 모델에는 다음과 같은 세부 사항이 포함됩니다. 매개변수 및 목적 함수로 사용됩니다.

마지막으로 Li Mu는 기술적으로 말하면 InstructGPT가 여전히 매우 실용적인 기술이라고 결론지었습니다. 이는 모든 사람에게 방법을 알려줍니다. 대규모 언어 모델이 주어지면 주석이 달린 데이터를 통해 관심 있는 분야에서 성능을 빠르게 향상시켜 실용적으로 만들 수 있는 방법을 알려줍니다. 따라서 생성 모델을 사용하여 제품을 만들고자 하는 사람들에게 운영 아이디어를 제공합니다.

물론 Li Mu 박사가 말했듯이 과학 연구 작업은 점진적이고 InstructGPT도 이전 연구를 기반으로 하기 때문에 ChatGPT를 완전히 이해하고 싶은 학생들은 필연적으로 돌아가서 더 많은 논문을 읽어야 할 것입니다. 이전 과정에서 Li Mu는 GPT, GPT-2 및 GPT-3의 논문도 자세히 해석했습니다.

과정 주소: https://jmq.xet.tech/s/2lec6b

위 내용은 InstructGPT 문서의 핵심 기술 사항을 빠르게 학습하세요. Li Mu를 따라 ChatGPT의 기술을 익히세요.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!