ChatGPT를 덜 사용하고 오픈소스를 더 많이 지원하세요! 뉴욕 대학교 Nature 교수는 다음과 같이 썼습니다. 과학의 미래를 위하여

무료 ChatGPT는 사용하기 매우 재미있지만, 이 비공개 소스 언어 모델의 가장 큰 단점은 오픈 소스가 아니라는 것입니다. 외부 세계는 그 뒤에 있는 훈련 데이터와 사용자 개인정보가 유출될지 여부를 이해할 수 없습니다. 또한 업계에서 후속 문제를 일으켰으며, 학계는 LLaMA와 같은 일련의 알파카 모델을 공동으로 오픈 소스화했습니다.

최근 Nature Worldview 칼럼에는 뉴욕대학교 정치 및 데이터 과학 교수인 Arthur Spirling이 모든 사람에게 더 많은 오픈 소스 모델을 사용할 것을 촉구하는 기사가 게재되었습니다. 실험 결과는 재현 가능하며 학술 윤리에 부합합니다. .

만약 어느 날 OpenAI가 불행해져서 언어 모델 인터페이스를 닫거나 폐쇄적인 독점에 의존하여 가격을 인상한다면 사용자는 무기력하게 말할 수밖에 없다는 것입니다. "결국 학계는 자본에 패했습니다. ." .

기사의 저자인 Arthur Spirling은 올해 7월 프린스턴 대학에 합류하여 정치학을 가르칠 예정입니다. 그의 주요 연구 방향은 정치 방법론과 입법 행동, 특히 데이터로서의 텍스트와 자연입니다. 언어 처리, 베이지안 통계, 기계 학습, 항목 응답 이론 및 정치학에 적용되는 일반화 선형 모델.

연구자들은 상용 모델의 유혹을 피하고 재현성을 보장하기 위해 투명한 대규모 언어 모델을 공동 개발해야 합니다.

오픈소스를 수용하고 독점을 거부하세요

매일 새로운 대형 언어 모델(LLM)이 출시되는 것 같은데, 매번 그 제작자와 학계 관계자들이 새로운 모델이 어떻게 인간과 유창하게 소통할 수 있는지에 대해 아낌없이 이야기합니다. 예를 들어, 사용자가 코드를 변경하고, 추천서 작성, 기사 초록 작성 등을 도울 수 있습니다.

이러한 모델을 사용하고 사용법을 가르치는 정치 및 데이터 과학자로서 저는 학계가 주의해야 한다고 생각합니다. 왜냐하면 현재 가장 인기 있는 언어 모델은 비공개이고 폐쇄적입니다. 즉, 회사에서 운영하며 특정 정보를 공개하지 않습니다. 기본 모델에 대해 정보를 제공하고 모델의 기능을 독립적으로 확인하거나 검증하기 때문에 연구자와 대중은 모델을 훈련하는 데 어떤 파일이 사용되었는지 알 수 없습니다.

언어 모델을 자신의 연구 프로세스에 성급하게 통합하면 문제가 발생할 수 있으며 "연구 윤리" 및 "결과 재현성"에서 힘들게 얻은 진전을 위협할 수 있습니다.

상업적 모델에 의존할 수 없을 뿐만 아니라 연구자들은 투명하고 특정 회사의 이익에 의존하지 않는 오픈 소스 대규모 언어 모델을 개발하기 위해 협력해야 합니다.

상용 모델은 매우 편리하고 즉시 사용할 수 있지만 오픈 소스 언어 모델에 대한 투자는 개발을 발전시키는 방법을 찾는 것뿐만 아니라 모델을 향후 연구에도 적용해야 합니다.

오픈 소스 통계 소프트웨어의 개발 역사와 마찬가지로 언어 모델 도구의 미래는 오픈 소스가 되어야 한다고 낙관적으로 예상합니다. 초기에는 상용 통계 소프트웨어가 인기가 많았으나 현재는 기본적으로 모든 커뮤니티가 오픈 소스 소프트웨어를 사용하고 있습니다. R이나 Python과 같은 플랫폼입니다.

예를 들어, 오픈 소스 언어 모델인 BLOOM은 뉴욕에 본사를 둔 인공 지능 회사인 Hugging Face를 개발하기 위해 개발팀을 구성했습니다. 연구 개발 자금 중 프랑스 정부가 자금을 지원했으며 다른 팀도 대규모 언어 모델을 오픈 소스로 만들기 위해 노력하고 있습니다.

저는 이와 같은 오픈 소스 프로젝트가 훌륭하다고 생각합니다. 하지만 더 많은 협력과 국제 자원 및 전문 지식의 공동 활용도 필요합니다.

오픈 소스 대규모 언어 모델 팀은 일반적으로 대기업만큼 자금이 넉넉하지 않으며 개발 팀도 해당 분야의 최신 진행 상황을 추적하기 위해 계속 작업해야 합니다. AI 분야의 개발은 너무 빠르며 대부분의 언어 모델도 출시 후 몇 주 또는 몇 달 후에 더 이상 사용되지 않습니다.

따라서 오픈소스에 참여하는 학자가 많을수록 최종 오픈소스 모델은 더 좋아질 것입니다.

오픈 소스 LLM을 사용하는 것은 "재현 가능한 연구"에 매우 중요합니다. 왜냐하면 비공개 소스 상용 언어 모델의 소유자는 언제든지 제품이나 교육 데이터를 변경할 수 있으며 이로 인해 모델 결과가 변경될 수 있기 때문입니다.

예를 들어, 연구 그룹은 모델의 기초를 알고 있는 다른 그룹이 이 연구를 복제하려고 시도하는 경우 상업 언어 모델에서 제안한 문구가 임상의가 환자와 보다 효과적으로 의사소통하는 데 도움이 될 수 있는지 테스트하는 논문을 발표할 수 있습니다. 데이터가 그때와 똑같나요? 모델이 아직 작동 중인지 여부도 알 수 없습니다.

연구원들이 일반적으로 사용하는 보조 도구인 GPT-3가 GPT-4로 대체되었습니다. GPT-3 인터페이스를 기반으로 한 모든 연구는 향후 재현이 불가능할 가능성이 높습니다. 이전 모델의 작동을 유지합니다.

오픈 소스 LLM을 사용하면 연구자는 모델의 내부 아키텍처, 가중치를 보고, 모델 작동 방식을 이해하고, 코드를 사용자 정의하고, 오류를 지적할 수 있습니다. 이러한 세부 정보에는 모델의 조정 가능한 매개 변수와 교육에 사용되는 데이터가 포함됩니다. 모델, 커뮤니티 참여 및 감독은 장기적으로 이 모델을 견고하게 유지하는 데 도움이 됩니다.

과학 연구에서 상업 언어 모델을 사용하는 것은 연구 윤리에 부정적인 영향을 미칩니다. 왜냐하면 이러한 모델을 훈련하는 데 사용된 텍스트는 알려져 있지 않으며 소셜 미디어 플랫폼에서 사용자 간의 직접 메시지나 어린이 콘텐츠가 작성한 메시지를 포함할 수 있기 때문입니다.

공개 텍스트를 작성하는 사람이 플랫폼의 서비스 약관에 동의했을 수도 있지만 이는 연구자가 보고 싶어하는 사전 동의의 표준이 아닐 수도 있습니다.

제 생각에는 과학자들은 작업에 이러한 모델을 최대한 사용하지 않아야 합니다. 우리는 개방형 언어 모델로 전환하고 이를 다른 사람들에게 홍보해야 합니다.

또한 학계, 특히 소셜 미디어에서 팔로어가 많은 사람들은 가격이 급등하거나 회사가 폐업하는 경우 연구원들이 동료들에게 기술을 홍보한 것을 후회할 수 있습니다.

현재 연구자들은 LLaMA와 같은 민간 기관에서 제작한 개방형 언어 모델로 전환할 수 있습니다. 이는 Facebook 모회사인 Meta에서 오픈 소스로 제공됩니다. 처음에는 사용자 응용 프로그램과 리뷰를 기반으로 출시되었지만 모델의 정식 버전이 출시되었습니다. 이후 온라인에 유출된 메타의 개방형 언어 모델 OPT-175 B도 출시되었습니다

장기적으로 단점은 이러한 모델의 출시가 회사의 자비심에 너무 의존한다는 점이며 이는 위태로운 상황입니다.

이 외에도 언어 모델 작업에 대한 학술적 행동 강령과 이에 상응하는 규제 조치가 있어야 하지만 시간이 걸리고 정치학자로서의 경험에 비추어 볼 때 이러한 규제는 반드시 이루어질 것으로 예상합니다. 처음에는 매우 어렵고 결과를 보여주기가 느립니다.

동시에 대규모 공동 프로젝트에는 국제 입자 물리학 기구인 CERN과 마찬가지로 연구용 오픈 소스 언어 모델을 교육하기 위한 지원이 시급히 필요하며, 정부는 보조금을 통해 자금을 늘려야 합니다.

이 분야는 빛의 속도로 발전하고 있으며 국내 및 국제 지원의 조정이 지금 시작되어야 합니다.

과학계는 결과 모델의 위험을 평가할 수 있어야 하며 대중에게 공개하는 것은 신중해야 하지만 개방형 환경이 옳은 일이라는 것은 분명합니다.

위 내용은 ChatGPT를 덜 사용하고 오픈소스를 더 많이 지원하세요! 뉴욕 대학교 Nature 교수는 다음과 같이 썼습니다. 과학의 미래를 위하여의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!