ChatGPT 버그 수정은 78%의 정확도로 현장을 휩쓸었습니다! 네티즌: 프로그래머는 행복해야 한다

​ChatGPT는 버그 수정에 얼마나 좋은가요?

마지막으로 누군가가 이 문제에 대해 진지한 연구를 하고 있습니다.

독일과 영국의 연구원들은 ChatGPT의 이 기능을 테스트하기 위해 특별히 "챌린지"를 준비했습니다.

연구원들은 ChatGPT 외에도 버그를 수정하는 다른 'AI 영웅' 3명을 찾아 각각 40개의 오류 코드를 수정하도록 요청했습니다.

결과는 정말 놀랍습니다.

ChatGPT는 버그 중 31개를 정확하게 수정해 2위(21개)를 크게 앞지르며 'AI 버그 수정 세계'에서 SOTA 점수를 직접 획득했습니다!

그 이후로 이 연구는 많은 네티즌들이 보고 토론하도록 유도했습니다. Reddit의 이 게시물 제목에는 "주의"와 "주의"라는 단어도 사용되었습니다. 프로그래머를 위험에 빠뜨리나요?

먼저 이 연구를 살펴보겠습니다.

ChatGPT는 버그 수정에 능숙합니다

ChatGPT는 버그 수정을 위해 특별히 설계된 것은 아니지만 등장 이후 많은 네티즌들이 이 기능을 발견했습니다.

그래서 ChatGPT가 버그를 어느 정도 수정할 수 있는지 알아보기 위해 연구원들은 평가를 위해 표준 오류 복구 벤치마크 세트인 QuixBugs를 도입했습니다.

그리고 이에 경쟁하는 AI 플레이어는 각각 CodeX, CoCoNut 및 Standard APR입니다.

연구원들은 QuixBugs에서 40개의 이슈를 선정하고 각각의 버그를 수정하도록 요청했습니다.

ChatGPT가 버그를 수정하도록 하는 방법은 대화 상자에서 물어보는 것입니다.

이 코드에 오류가 있습니까?

1차 경연 결과는 다음과 같습니다.

1차 전투 결과로 보면 ChatGPT는 19개 항목 수정, CodeX는 21개 항목 수정, CoCoNut은 19개 항목 수정, Standard는 APR은 7명이었습니다.

또한 연구원들은 ChatGPT의 답변이 CodeX와 가장 유사하다는 사실을 발견했습니다. 이는 동일한 언어 모델 계열에 속하기 때문입니다.

이때 몇몇 친구들은 "ChatGPT는 CodeX만큼 강력하지 않나요?"라고 묻습니다.

걱정하지 마세요. ChatGPT의 특징 중 하나는 더 많이 질문할수록 더 나은 결과를 얻을 수 있다는 것입니다.

예를 들어, 이 벤치마크 세트에는 bitcount라는 질문이 있습니다. ChatGPT는 첫 번째 복구 프로세스에서 잘못된 답변을 제공했습니다.

원래 ChatGPT는 7행에 n ^ = n - 1이 있어야 합니다. n & = n - 1로.

그러나 첫 번째 라운드에서는 다음과 같이 대답했습니다.

예상되는 동작과 문제를 일으킨 입력에 대한 추가 정보가 없으면 프로그램에 버그가 있는지 알 수 없습니다.

그래서 ChatGPT는 더 많은 정보를 제공한 후 질문에 올바르게 답변했습니다.

유추하자면, 첫 번째 라운드에서 올바르게 답변되지 않은 질문에 대해 더 많은 정보 프롬프트를 제공한 후 ChatGPT의 버그 수정 기능이 크게 향상되었습니다.

결국 ChatGPT는 QuixBugs의 40개 질문 중 31개에 답변했습니다. 정확하게는.

네티즌들은 엇갈린 감정과 기쁨을 가지고 있습니다

이러한 실험 결과에 대해 네티즌들은 ChatGPT의 버그 수정과 SOTA 우승에 대해 서로 다른 태도를 가지고 있습니다.

일부 네티즌들은 이 문제가 프로그래머들에게 위기감을 느끼게 하는 것이 아니라 행복감을 느끼게 해야 한다고 믿습니다.

그러한 유용한 도구가 있으면 프로그래머가 절반의 노력으로 두 배의 결과를 얻을 수 있다는 의미입니다.

그러나 이에 대해 일부 사람들은 다른 견해를 가지고 있습니다.

작업이 단순해진다는 것은 인력이 덜 필요하다는 것을 의미하지 않습니까?

그러나 일부 네티즌들은 작업이 결코 끝나지 않는다고 느낍니다.

AI가 개발 시간을 몇 배나 단축할 수 있다고 해도 프로그래머가 다음 작업을 더 빨리 처리한다는 의미일 뿐입니다.

전반적으로 ChatGPT는 버그 수정에 능숙하며 프로그래머에게 치명적인 해를 끼치 지 않습니다.

하지만 OpenAI의 다른 행동에 집중한다면 어떨까요?

코드 작성을 위한 ChatGPT 글로벌 아웃소싱 교육

이전에 OpenAI는 ChatGPT의 중요한 용도 중 하나가 프로그래머의 코드 확인을 돕는 것이라고 밝혔습니다.

즉, 사용 가능한 보조 도구로 포지셔닝됩니다.

"ChatGPT가 위협적이다"라는 견해에 비해 ChatGPT의 기능이 완전히 진화하면 프로그래머는 더 이상 버그 작성을 두려워할 필요가 없습니다.

OpenAI가 배치한 체스판에는 버그를 수정하고 타워 프로그래머 위치를 훔치는 것 이상의 기능이 있습니다.

더 크고 강력하게 만들기 위해 OpenAI는 라틴 아메리카와 동유럽에서 1,000개의 아웃소싱 포지션을 제공하도록 노출되었습니다.

아웃소싱 직원의 주요 업무는 데이터에 라벨을 지정하고 ChatGPT가 코드를 작성하도록 교육하는 것입니다.

이 1,000명 중 40%는 소프트웨어 엔지니어링 작업을 배우기 위해 OpenAI 모델용 데이터를 생성합니다.

오랫동안 OpenAI의 훈련 데이터는 GitHub에서 가져왔습니다.

초보 아웃소싱 프로그래머가 생성하는 데이터 세트에는 이제 코드 줄뿐만 아니라 코드 줄 뒤에 있는 인간 사고의 논리적 단계도 포함됩니다.

남미의 한 소프트웨어 개발자가 OpenAI에 대한 5시간 무료 코딩 테스트를 완료했다는 소식을 전했습니다.

전체 과정에서 그의 작업은 두 부분으로 나뉩니다.

• 코딩 문제를 처리하는 방법을 영어로 설명합니다.
• 해결책을 제공합니다.

버그가 발견되면 OpenAI에서 버그의 구체적인 상황과 해결 방법을 자세히 물어볼 것입니다.

프로그래머는 문제에 대해 생각하는 각 단계를 보여줘야 하며 OpenAI가 아마도 ChatGPT에 매우 구체적인 교육 데이터를 제공하기를 원할 것이라고 추측합니다.

Tesla의 전 AI 디렉터인 Andrej Karpathy는 Twitter에서 다음과 같이 놀렸습니다.

최신 인기 프로그래밍 언어는 영어입니다.

그래도 ChatGPT가 강력한 버그 수정 기능을 가지고 있다는 것은 좋은 일이고, 실제로 코드의 암기적인 부분을 완성할 수 있을 정도로 발전할 수 있다면 좋은 일입니다.

결국 OpenAI가 창립 당시 밝힌 목적은 “일반 인공지능이 모든 인류에게 혜택을 줄 수 있도록 보장”하는 것이었습니다.

언뜻 보기에 이 회사가 수년에 걸쳐 해온 일은 더 많은 사람들을 실업자로 만들기 위해 일부 사람들의 노력을 이용하는 것처럼 보입니다.

Dota2 경기장에서 인간을 짓밟는 것부터 GPT-3, DALL-E2, ChatGPT의 눈부신 성능까지, 그것이 가져오는 신제품에는 항상 "xxx가 곧 직업을 잃을 것"이라는 논의가 동반됩니다.

하지만 무슨 일이 있어도 사업은 항상 그것을 선호해 왔습니다.

현재 OpenAI의 주요 비즈니스 모델은 API 수수료, 토큰 수수료 및 소프트웨어 라이선스입니다.

OpenAI는 최근 ChatGPT의 유료 버전인 ChatGPT Pro도 출시했는데, 가격은 월 US$42(약 RMB 285)입니다.

비온 뒤 버섯처럼 로봇 대화 스타트업이 생겨나고 있지만, 시장이 OpenAI에 대해 계속 낙관하고 있다는 징후가 많이 있습니다.

Microsoft는 방금 OpenAI에 수십억 달러를 투자하고 OpenAI의 모델을 Microsoft Bing과 같은 소비자 및 기업 제품에 통합할 것이라고 발표했습니다.

이 문제에 정통한 사람들에 따르면 추가 투자 금액은 약 100억 달러입니다.

동시에 WSJ는 1월 초 억만장자 Peter Thiel이 설립한 벤처 캐피탈 펀드인 Founders Fund가 OpenAI에 투자하기 위해 협상 중이라고 공개했습니다.

펀딩 금액이 최소 3억달러에 달할 것으로 알려졌습니다.

한 가지 더

첫 번째 실험에서 ChatGPT는 QuixBugs 데이터 세트의 비트 수 문제를 해결하지 못했습니다.

그러나 지금 이 질문을 다시 묻는다면 ChatGPT가 "모든 것을 다시 통과"할 수 있다는 것을 알게 될 것입니다.

이것은 ChatGPT가 이 연구 과정에서 이 문제를 해결하는 방법을 배웠다는 의미입니까?

참조 링크:

[1] ​​//m.sbmmt.com/link/5f5d472067f77b5c88f69f1bcfda1e08​​​
[2] ​​​//m.sbmmt.com/link/8a47481ae534860850adf59f145e6b40​ ​​
[3] ​​​//m.sbmmt.com/link/7806689d934e610d660caf5536fea0b2​​​
[4] ​​​//m.sbmmt.com/link/4271846620d203fd0511c422d483cdbd​​

위 내용은 ChatGPT 버그 수정은 78%의 정확도로 현장을 휩쓸었습니다! 네티즌: 프로그래머는 행복해야 한다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!