GPT-4의 출현으로 많은 사람들이 과학 연구에 대해 걱정하게 되었고 NLP가 존재하지 않는다고 농담까지 했습니다.
걱정보다는 단순히 "압연방식을 바꿔라" 과학연구에 활용하는 것이 더 좋습니다.
하버드대학교 생물통계학 박사인 Kareem Carr는 학술 연구를 수행하기 위해 GPT-4와 같은 대규모 언어 모델 도구를 사용했다고 말했습니다.
그는 이러한 도구가 매우 강력하지만 매우 고통스러운 함정도 있다고 말했습니다.
LLM 사용 조언에 대한 그의 트윗은 LeCun의 추천까지 받았습니다.
Kareem Carr가 과학 연구에 AI 도구를 어떻게 사용하는지 살펴보겠습니다.
처음에 Carr는 첫 번째이자 가장 중요한 원칙을 제시했습니다.
절대 큰 언어 모델을 요청하지 마세요 (LLM) 스스로 확인할 수 없는 정보를 요청하거나, 확인할 수 없는 작업이 올바르게 완료되었는지 수행하도록 요청하세요.
유일한 예외는 LLM에 아파트 장식 아이디어를 요청하는 것과 같은 중요한 작업이 아닌 경우입니다.
"문헌 검토의 모범 사례를 사용하여 지난 10년간의 유방암 연구를 요약합니다." 이는 문헌을 올바르게 요약했는지 직접 확인할 수 없기 때문에 잘못된 요청입니다.
대신 "지난 10년간 유방암 연구에 관한 최고의 리뷰 기사 목록을 알려주세요."라고 물어보세요.
이러한 팁은 출처를 확인할 수 있을 뿐만 아니라 신뢰성을 직접 확인할 수도 있습니다.
LLM에게 코드 작성을 요청하거나 관련 정보를 찾는 것은 매우 쉽지만 출력 콘텐츠의 품질은 크게 다를 수 있습니다. 다음은 품질 개선을 위해 할 수 있는 일입니다.
상황 설정:
• 어떤 정보를 사용해야 하는지 LLM에게 명확하게 알려줍니다.
• 용어와 표기법을 사용합니다. LLM 경사를 만들기 위해 올바른 상황 정보
요청 처리 방법에 대한 아이디어가 있으면 LLM에 사용할 구체적인 방법을 알려주십시오. 예를 들어, "이 부등식을 해결하세요"는 "이 부등식을 해결하기 위해 코시-슈바르츠 정리를 사용한 다음 완전한 제곱을 적용하세요"로 변경되어야 합니다.
이러한 언어 모델은 생각보다 언어적으로 더 복잡하며 매우 모호한 힌트라도 도움이 될 것입니다.
구체적이고 구체적으로 작성하세요:
이것은 Google 검색이 아니므로 정확한 문제를 논의하는 웹사이트가 있더라도 걱정하지 마세요.
"이차항의 연립방정식을 어떻게 푸나요?" 이 프롬프트는 다음과 같이 질문해야 합니다. "x=(1/2)(a+b) 및 y=(1/) 3) (a^2+ab+b^2) a와 b에 관한 연립방정식."
출력 형식 정의:
LLM의 유연성을 사용하여 다음과 같이 자신에게 가장 적합한 방식으로 출력 형식을 지정합니다. 수학 공식
• 기사
• 튜토리얼
• 간단한 가이드
테이블, 그림, 차트를 포함하는 생성 코드를 요청할 수도 있습니다.
LLM 출력 내용을 얻을 수 있지만 이것은 시작에 불과합니다. 출력 내용을 확인해야 하기 때문입니다. 여기에는 다음이 포함됩니다.
• 불일치 발견
• Google 검색 도구를 통해 콘텐츠 용어 출력 및 지원 가능한 소스 확보
• 가능한 경우 코드 자체 테스트 작성
자체 검증이 필요한 이유는 LLM이 겉보기 전문성과 일치하지 않는 이상한 실수를 저지르는 경우가 많기 때문입니다. 예를 들어, LLM은 매우 고급 수학적 개념을 언급하지만 단순한 대수 문제에 대해서는 혼동을 일으킬 수 있습니다.
한 번 더 물어보세요:
대형 언어 모델에서 생성된 콘텐츠는 무작위입니다. 때로는 새 창을 만들어 다시 질문하시면 더 나은 답변을 얻을 수도 있습니다.
또한 여러 LLM 도구를 사용하세요. Kareem Carr는 현재 자신의 필요에 따라 과학 연구에 Bing AI, GPT-4, GPT-3.5 및 Bard AI를 사용하고 있습니다. 그러나 각각에는 장단점이 있습니다.
인용문 + 생산성
인용문
인용 문제에 있어서 참고문헌 인용은 특히 LLM의 약점입니다. LLM이 제공하는 참고자료가 존재할 때도 있고 존재하지 않을 때도 있습니다.
이전에 한 네티즌이 동일한 문제에 직면했다고 말했습니다. ChatGPT에 목록의 수학적 속성과 관련된 참조 자료를 제공해달라고 요청했지만 ChatGPT에서 존재하지 않는 참조 자료가 생성되었는데, 이를 모두가 "환각" 문제라고 부릅니다. .
하지만 카림 카는 거짓 인용문이 완전히 쓸모없는 것은 아니라고 지적합니다.
그의 경험에 따르면 조작된 참고문헌에 나오는 단어는 실제 용어와 관련이 있는 경우가 많으며 관련 분야의 연구자도 있습니다. 따라서 이러한 용어를 인터넷 검색하면 원하는 정보에 더 가까워지는 경우가 많습니다.
또한 소스를 검색할 때 Bing을 사용하는 것도 좋은 선택입니다.
생산성
LLM이 생산성을 향상시킨다는 비현실적인 주장이 많이 있습니다. 예를 들어 "LLM은 생산성을 10배, 심지어 100배까지 높일 수 있습니다."
Carr의 경험에 따르면 이러한 가속화는 어떤 작업도 다시 확인하지 않는 경우에만 의미가 있으며 이는 학자로서 무책임한 일입니다.
그러나 LLM은 다음을 포함하여 Kareem Carr의 학문적 작업 흐름을 크게 개선했습니다.
- 아이디어 디자인 프로토타이핑 - 쓸모 없는 아이디어 식별 - 지루한 데이터 재형식화 작업 가속화 - 새로운 프로그래밍 언어, 패키지 및 개념 학습 - Google 검색
오늘의 LLM 덕분에 Carr는 다음에 무엇을 해야 할지 파악하는 데 소요되는 시간이 줄어들었다고 말했습니다. LLM은 모호하거나 불완전한 아이디어를 완전한 솔루션으로 발전시키는 데 도움이 될 수 있습니다.
또한 LLM은 Carr가 주요 목표와 관련되지 않은 부업 프로젝트에 소비하는 시간도 줄였습니다.
몰입 상태가 되어 계속 나아갈 수 있다는 것을 알게 되었습니다. 이는 내가 지치지 않고 더 오랜 시간 일할 수 있다는 것을 의미합니다.
마지막 조언: 부업에 빠지지 않도록 조심하세요. 이러한 도구로 인한 생산성의 갑작스러운 증가는 개인을 도취시키고 잠재적으로 주의를 산만하게 할 수 있습니다.
ChatGPT 경험과 관련하여 Carr는 ChatGPT를 사용한 후 자신의 감정을 공유하기 위해 LinkedIn에 게시물을 게시한 적이 있습니다.
데이터 과학자로서 저는 OpenAI의 ChatGPT Zhou의 실험을 통해 몇 가지 작업을 수행했습니다. 사람들이 생각하는 것만큼 좋지는 않습니다.
처음에는 실망했지만 ChatGPT와 같은 시스템은 표준 데이터 분석 작업 흐름에 엄청난 가치를 더할 수 있다는 느낌이 들었습니다.
이 시점에서는 이 값이 어디에 있는지 명확하지 않습니다. ChatGPT는 간단한 일에 대해 일부 세부 정보를 쉽게 잘못 찾을 수 있으며 여러 추론 단계가 필요한 문제를 해결할 수 없습니다.
향후 모든 새로운 작업에 대한 주요 질문은 ChatGPT의 솔루션 시도를 평가하고 개선하는 것이 더 쉬운지, 아니면 처음부터 시작하는 것이 더 쉬운지 여부입니다.
ChatGPT에 대한 열악한 솔루션이라도 처음부터 시작하지 않는 뇌의 관련 부분을 활성화하는 경향이 있다는 것을 알았습니다.
항상 말했듯이 계획을 스스로 세우는 것보다 비판하는 것이 항상 더 쉽습니다.
네티즌들은 AI가 출력하는 콘텐츠를 검증해야 하는데, 대부분의 경우 AI의 정확도는 90% 정도라고 합니다. 그러나 나머지 10%의 실수는 치명적일 수 있습니다.
Carr는 100%라면 직업이 없을 것이라고 농담했습니다.
그렇다면 ChatGPT가 가짜 참조를 생성하는 이유는 무엇일까요?
ChatGPT는 통계 모델을 사용하여 사용자가 제공한 컨텍스트와 일치할 확률을 기반으로 다음 단어, 문장 및 단락을 추측한다는 점에 주목할 가치가 있습니다.
언어 모델의 소스 데이터가 매우 크기 때문에 "압축"해야 하며, 이로 인해 최종 통계 모델의 정확도가 떨어집니다.
이는 원본 데이터에 참된 진술이 있더라도 모델의 "왜곡"으로 인해 "퍼지성"이 발생하여 모델이 가장 "유일한" 진술을 생성하게 된다는 것을 의미합니다.
간단히 말하면 이 모델은 자신이 생성하는 출력이 실제 진술과 동일한지 여부를 평가할 수 있는 능력이 없습니다.
또한 이 모델은 공공 복지 기관인 "Common Crawl" 및 유사한 출처를 통해 수집된 공공 네트워크 데이터를 크롤링하거나 크롤링하는 데이터를 기반으로 생성되었습니다. 해당 데이터는 21세 기준입니다.
공용 인터넷의 데이터는 대부분 필터링되지 않으므로 이 데이터에는 많은 양의 잘못된 정보가 포함될 수 있습니다.
최근 NewsGuard의 분석에 따르면 GPT-4는 실제로 GPT-3.5보다 잘못된 정보를 생성할 가능성이 더 높으며 응답이 더 자세하고 설득력이 있는 것으로 나타났습니다.
1월에 NewsGuard는 GPT-3.5를 처음 테스트한 결과 가짜 뉴스 기사 100개 중 80개가 생성된 것으로 나타났습니다. 지난 3월 GPT-4에 대한 후속 테스트에서는 GPT-4가 100개의 허위 설명 모두에 대해 허위 및 오해의 소지가 있는 응답을 한 것으로 나타났습니다.
LLM 도구를 사용하는 동안 소스 검증 및 테스트가 필요하다는 것을 알 수 있습니다.
위 내용은 르쿤이 적극 추천합니다! Harvard 의사가 과학 연구에 GPT-4를 사용하는 방법을 모든 워크플로까지 공유합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
