인터뷰, 영어 이메일, 라이브 방송, 주간 보고서, 이력서 등 5가지 시나리오에서 GPT 3.5 시리즈 모델은 얼마나 비용 효율적인가요? 우리는 실제 테스트를 수행하고 선택 가이드를 제공했습니다.

모델

gpt-3.5-turbo

text-davinci-003

text-davinci-002

Instructions

현재 가장 강력한 GPT-3.5 모델로 채팅 시나리오에 특별히 최적화되어 있으며 가격은 text-davinci-003의 10분의 1 수준입니다.

Curie, Babbage 또는 Ada 모델보다 더 나은 품질, 더 긴 출력으로 모든 언어 작업을 완료할 수 있으며 지침을 더 잘 따릅니다.

text-davinci-003과 유사한 기능을 가지고 있지만 강화 학습이 아닌 감독 미세 조정을 통해 훈련되며 최대 토큰 수는 4097개입니다.

최대 토큰 수

4,096개 토큰

4,097개 토큰

4,097개 토큰

가격

$0.002 / 1K 토큰

$0.0200 / 1K 토큰

$0.0200 / 1K 토큰

전체 평점

전체 점수가 높아 높은 정확성과 전문성을 보여주며 대부분의 작업에 적응할 수 있으며, 다양한 작업에 대한 출력도 비교적 정확하고 포괄적입니다. 강력한 적응성과 다양성, 최저 비용.

전체 점수가 상대적으로 낮습니다. 일부 작업에서는 잘 수행되지만 전반적인 출력 결과는 개인화 및 적절성이 부족하고 표현이 정확하지 않고 간결하지 않으며 때로는 부정확한 경우도 있습니다.

전체 점수가 가장 낮습니다. 출력 결과가 전문적이고 정확하지 않습니다. 언어 표현에도 큰 문제가 있습니다.

테스트 시나리오

테스트 각도

직무 설명을 바탕으로 면접 질문 생성

면접 질문 생성 용이성

직업 설명과 얼마나 잘 생성된 면접 질문이 일치하는지

지원자 정보를 기반으로 면접 질문 생성

면접 질문 생성 용이성

면접 생성 질문과 그것이 후보자와 얼마나 잘 일치하는지

테스트 시나리오

테스트 각도

입력 텍스트, 전문 용어에 특수 번역이 포함된 고유 명사 삽입 특정 수직 분야에서 다양한 시나리오에서 다양한 의미를 갖는 명사

의미가 원활한지, 확장된 내용이 맞는지, 모호명사의 번역이 맞는지, 전문명사/고유명사의 번역이 맞는지

입력에 " 구어체"가 필요합니다. "글로 쓴" 출력

음성 또는 형식적인 문어 스타일을 시뮬레이션할 수 있습니까?

입력에 구어체 톤으로 쓰고, "글로 쓴" 출력이 필요합니까? 일부 배경 정보를 생략하고 모호한 명사를 입력에 사용하여 구어체 표현이나 모호한 명사를 올바르게 번역할 수 있는지 여부

안전하지 않은 콘텐츠는 필터링되나요? 생략된 문장

을 필터링하여 중국어의 문법 오류, 오타, 불완전한 문장을 올바르게 이해할 수 있나요

gpt-3.5-turbo: 총점은 3.3점입니다. 이메일 구조가 장면에 맞고, 어조도 정확하고, 학명의 고유명사는 기본적으로 약어를 사용하지 않는 이상 좋습니다. 구어체 입력에 대한 강한 감정. 오타 및 문법 오류와 같은 입력 문제를 올바르게 수정할 수 있는 단점은 안전하지 않은 콘텐츠를 정확하게 식별하지 못한다는 것입니다.

text-davinci-003 : 종합점수 3점, 구조가 공통템플릿을 사용하고, 제목이 없고, 문장 연결이 뭉툭하고, 확장이 부족하고, 고유명사와 모호한 명사가 정확하게 이해되고, 구어적 이해와 발생률이 예상보다 높아 안전하지 않은 콘텐츠를 제대로 식별하지 못합니다.

text-davinci-002: 종합점수 2점, 구조가 공통템플릿을 사용하고, 제목이 없고, 문장이 매끄럽지 않거나 심지어 틀리지도 않고, 단락 구조가 명확하지 않고, 확장이 없습니다. , 학명의 고유명사가 기본이 아닌 이상 약어를 기재하여 말과 글의 언어 전환이 잘 되지 않고, 안전하지 않은 내용을 정확하게 식별하지 못한다.

테스트 사례 중 하나를 선택하여 살펴봅니다. 특수 번역이 있는 고유명사, 특정 분야의 전문 용어, 시나리오에 따라 의미가 다른 명사를 입력 텍스트에 삽입합니다. 예제에는 다음과 같은 입력이 있습니다

모델 소비

특수 번역이 포함된 고유명사, 특정 수직 분야의 전문 용어, 다양한 시나리오에서 다양한 의미를 갖는 명사 테스트를 입력 텍스트에 삽입합니다. 예를 들어 gpt-3.5-turbo는 약 0.006위안, text-davinci-003은 약 0.067위안, text-davinci-002는 약 0.07위안을 소비합니다

추론 성능

의미적 부드러움 측면에서 세 가지 모델 모두 뚜렷한 언어 문제나 문법 오류 없이 비교적 잘 수행되었습니다. 확장된 내용이 올바른지 여부에 대해 gpt-3.5-turbo 및 text-davinci-003의 응답은 비교적 포괄적이며 각 질문에 대한 자세한 답변을 제공하고 관련 제안 및 제품 권장 사항을 제공합니다. Text-davinci-002는 몇 가지 질문에만 답변했을 뿐 관련 세부정보와 제안 사항을 많이 제공하지 않았습니다.

모호명사 번역이 맞는지, 전문명사/고유명사 번역이 맞는지에서는 세 모델의 성능이 비교적 좋은 편입니다. gpt-3.5-turbo 및 text-davinci-003, text-davinci-002는 모두 올바른 영어 용어를 사용하여 폴리테트라플루오로에틸렌(PTFE)과 과불화 화합물(PFC)을 올바르게 번역합니다.

응용 프로그램 작업 3: 라이브 방송 지원

gpt-3.5-turbo: 총점은 4.4점입니다. 모델이 사용자가 제시한 요구 사항을 정확하고 정밀하게 구현하고, 입력 내용을 출력 콘텐츠에 반영하고, 테마와 장면에 맞고, 정확하게 표현되며, 원본 정보를 생략하거나 왜곡하지 않고, 질문에 대한 답변을 간결하게 구성할 수 있고, 요구사항의 단순성 요구 사항을 준수하며, 원활하게 출력하고, 간결하고 명확한 문장 구조와 명확한 표현을 가질 수 있습니다.

text-davinci-003: 전체 점수는 4.2점입니다. 모델 요약 정확도가 높고 생성된 콘텐츠가 장면의 요구 사항을 충족하며 누락된 정보가 없고 불필요한 정보가 추가되지 않습니다. 언어 유창성도 좋습니다. 내용 유창성과 간결성에 대한 요구 사항을 충족합니다. 하지만, 더 정교하고 단순화된 언어가 필요한 반면, 생성된 콘텐츠는 추가적인 분석과 통찰력을 제공하지 않으며 더 많은 폭과 깊이를 요구합니다.

text-davinci-002: 전체 점수는 1.5점입니다. 모델 출력 정확도는 평균이며 일부 기본 적용 범위 문제 점은 대부분 장면에 잘 적응하지 못하며 생성된 문장 구조는 상대적으로 복잡하고 단어의 중복이 분명하고 언어 표현이 약간 딱딱하여 독자의 텍스트 이해와 읽기 유창성에 영향을 미칠 수 있습니다.

살펴보기 위해 테스트 사례 중 하나를 선택합시다 -

코스트 소비

라이브 방송 테마, GPT를 기반으로 라이브 방송 개요 테스트를 작성하십시오. -3.5- 터보는 0.01위안 정도 소모, text-davinci-003은 0.11위안 정도 소모, text-davinci-002는 0.071위안 정도 소모

추론 결과

gpt -3.5- 터보의 출력은 다른 두 모델보다 테마 요구 사항에 더 부합하며 AIGC 기술과 콘텐츠 산업의 결합, 성공 사례 및 향후 개발 방향 등을 포함하여 개요 콘텐츠도 더 풍부하고 포괄적입니다. .전체적인 품질이 더 높습니다.

text-davinci-003의 출력물도 어느 정도 활용 가능하지만, 주로 AIGC와 그 역사, 개요에 언급된 콘텐츠 산업의 진출 방법을 소개한 후 주제와의 관련성이 약간 부족합니다. AIGC의 관문, 미래 등의 내용은 주제와 밀접한 관련이 없으며 상대적으로 일반적인 내용입니다.

text-davinci-002의 출력은 테마 요구 사항과 상당히 다릅니다. 콘텐츠 제작 회사로서 AIGC에 대한 개요를 언급하고 있지만 개요 내용은 회사 소개에 가깝고 이는 직접적으로 관련이 없습니다. 주제와 개요의 실제적 중요성이 부족합니다.

장면 4: 작업 주간 보고서

gpt-3.5-turbo: 종합점수는 3.4점 작업내용은 제목, 시간, 이번주의 작업요약, 다음주의 작업계획으로 표현되는 비교적 표준적인 주간 보고서 형식으로 제시됩니다. , 요약 템플릿은 일부 주요 업무, 업무 책임 등을 통해 더 깊고 자세한 콘텐츠와 연관될 수 있습니다. 전반적으로 출력 콘텐츠는 명확한 구조와 명확한 논리적 수준으로 상대적으로 완전합니다.

text-davinci-003: 총점은 3.1점, 주어진 내용을 문단 형태로 표현하고, 요구사항을 보다 완벽하게 완성할 수 있으며, 작품의 일부를 통합할 수 있음 동일한 속성을 가진 콘텐츠에는 논리, 명확한 수준 및 특정 실용성이 있습니다. 그러나 현장 적응력이 부족하고 경우에 따라 확장성이 부족하며 구조가 명확하지 않고 구성력이 부족합니다.

text-davinci-002: 총점은 1.5점, 입력 내용 시나리오를 정확하게 이해할 수 없음, 출력 내용이 주간 보고서의 주제와 논리를 표현하지 못함, 구조가 일치하지 않음, 콘텐츠가 적절하지 않습니다. 프로세스 설명이 있습니다. 아니요 입력 콘텐츠를 직접 번역하고 마지막 답변을 다시 말하더라도 확장 기능이 없어 모델 성능이 저하됩니다.

테스트 케이스 중 하나를 선택하여 살펴봅니다. -

소비 비용

을 기준으로 주간 보고서 테스트 케이스를 출력합니다. 대략적인 설명 제공 , gpt-3.5-turbo는 약 0.0065위안, text-davinci-003은 약 0.094위안, text-davinci-002는 약 0.072위안을 소비합니다

추론 결과

이 작업의 경우 세 가지 모델의 출력 품질이 상대적으로 좋고 모두 이번 주의 주요 작업 내용을 다루지만 약간의 미묘한 차이가 있습니다.

gpt-3.5-turbo의 출력은 상대적으로 더 자세하여 설계 프로세스, 인터페이스, 채점 기준 등 각 작업의 세부 사항을 나열하고 주간 보고서 독자가 다음 단계 계획을 제안할 수도 있습니다. 더 많은 정보를 이해하세요.

text-davinci-003의 출력도 일부 자세한 정보를 제공하지만 평가 시스템의 데이터 소스, 평가 항목, 평가 방법 등을 포함한 기술적 세부 사항에 더 중점을 둡니다. 이번 주간 보고서는 다음 사항에 더 중점을 둡니다. 기술 수준 설명.

text-davinci-002의 출력은 더 간결하고 명확하지만 덜 명확하지는 않습니다. 세부 사항에 대한 설명은 줄이고 프로젝트와 작업의 일반적인 방향에 중점을 둡니다.

일반적으로 세 가지 모델의 출력은 작업 요구 사항을 충족할 수 있지만 gpt-3.5-turbo 및 text-davinci-003의 출력이 더 자세하고 자세한 내용과 기술 수준 정보를 제공합니다. 보다 포괄적인 주간 보고서가 필요한 경우 이 두 가지 모델을 선택할 수 있습니다. text-davinci-002의 출력은 더욱 간결하고 명확하여 짧지만 명확한 주간 보고서가 필요한 사람들에게 적합합니다.

장면 5: Resume

gpt-3.5-turbo: 종합 점수 4점, 높은 전문성, 템플릿 출력 작업 요구 사항의 모든 측면을 다루고 있으며 내용이 정확하며 해당 경험의 능력과 특성을 구체적으로 제시합니다. 직무 요구 사항은 독자에게 명확하고 채용 담당자의 요구 사항을 보다 쉽게 ​​충족할 수 있도록 하며, 교육 배경부터 업무 경험, 기술 숙달 및 자기 평가까지 모든 것을 포괄하는 템플릿에 의한 정보 출력이 완전합니다. , 이는 채용 담당자에게 포괄적인 이해를 제공할 수 있습니다. 그러나 개인화가 부족하고, 표현형태가 단조롭고, 언어 표현에 사용되는 단어에 대한 고려가 필요하다.

text-davinci-003: 총점은 1.9점이며, 구체적인 프로젝트 사례 및 결과 표시가 부족합니다. 채용 공고에 대한 개별 설명이 없습니다. 이력서에는 채용 요건을 충족하는 여러 조건이 언급되어 있지만 채용 직위의 특성과 요구 사항을 구체적으로 설명하고 강조하지는 않았습니다. 결과에 대한 정량적 설명이 부족합니다. 언어 표현이 간결하고 정확하지 않습니다.

text-davinci-002: 종합점수는 1.3점입니다. 표준이력서에 맞는 기본정보 요구사항이 너무 부족합니다. 명확한 구직 목표, 개인화 및 타당성 부족, 정량적 지표 부족, 경험 및 기술에 대한 상대적으로 간단한 설명, 상대적으로 단순한 형식, 사양 준수 및 열악한 모델 성능.

테스트 사례 중 하나를 선택하여 살펴봅니다. -

소비 비용

직위 , gpt-3 .5- 터보는 약 0.0077위안을 소모하고, text-davinci-003은 약 0.1위안을 소모하고, text-davinci-002는 약 0.022위안을 소모합니다

추론 출력

생성되고 있는 템플릿 전문성과 매칭 측면에서 gpt-3.5-turbo와 text-davinci-003 모두 개인 정보, 학력, 업무 경험 등 핵심 요소를 포함하여 비교적 완전한 이력서 템플릿을 제공할 수 있음을 알 수 있습니다. 전문적인 기술과 자기평가 등의 형식으로 되어 있으며 상대적으로 표준화되어 있습니다.

하지만 잘 살펴보면 text-davinci-003은 직무 요구 사항과 개인 능력의 일치를 구체적으로 설명하지 않습니다. 컴퓨터조작, CET-6에 익숙하지만 군고구마 판매직에 대한 전문적인 기술과 지식이 부족합니다. Text-davinci-002는 비교적 간략하며 지원자의 목표, 기술, 경험, 학력 등 기본적인 정보만 제공합니다.

인터뷰 시나리오 과제에서는 gpt-3.5-turbo가 전체 점수가 가장 높으며 인터뷰 시나리오에 잘 적응할 수 있습니다. 다양한 각도에서 후보자의 능력과 경험을 이해합니다. text-davinci-002는 가장 낮은 평가를 받았지만 질문은 너무 광범위하고 기본적으로 직무 설명을 반복했으며 도전적이고 실용적인 질문이 부족했으며 심지어 전혀 사용할 수 없는 콘텐츠도 생성되었습니다.

영어 이메일 작성 시나리오 과제에서 gpt-3.5-turbo와 text-davinci-003의 종합 점수가 상대적으로 높고, 구어체와 격식을 갖춘 문체 언어 스타일을 시뮬레이션할 수 있으며, 구어체 표현과 모호한 표현에 적합합니다. 명사에 대한 이해력과 번역 능력은 좋지만 안전하지 않은 콘텐츠를 올바르게 식별할 수 없습니다. text-davinci-002는 점수가 가장 낮고 음성 언어와 서면 언어를 잘 전환할 수 없으며 안전하지 않은 콘텐츠를 올바르게 식별할 수 없습니다.

생방송 장면 작업에서는 gpt-3.5-turbo가 가장 높은 점수를 얻었으며 이는 라이브 콘텐츠를 정확하고 간결하며 유창하게 요약할 수 있으며 단순성 요구 사항을 충족하는 반면 text-davinci-002는 가장 낮은 점수를 받았습니다. 출력 정확도는 평균 수준이고 장면에 잘 적응하지 못하지만 단순성과 유창성 측면에서 더 개선할 여지가 있습니다.

주간 업무 보고서 작성 시나리오 과제에서는 gpt-3.5-turbo와 text-davinci-003의 점수가 더 높고, 주간 보고서의 논리적 구조와 내용 포인트를 정확하게 제시할 수 있으며, 출력되는 내용이 상대적으로 text-davinci-002가 가장 낮은 점수를 받았으나 주간 보고서를 표현하기 위한 논리가 부족하고 구조가 일치하지 않으며 내용이 적절하지 않습니다.

이력서 시나리오 작업에서 gpt-3.5-turbo는 채용 담당자의 요구 사항을 충족하고 학력, 업무 경험, 기술 숙달 및 자기 평가에 대한 정보를 제시하는 이력서를 전문적으로 생성할 수 있습니다. 그러나 언어 표현의 정확성과 개인화에 더 많은 관심을 기울일 필요가 있습니다. text-davinci-003과 text-davinci-002는 점수가 낮고 성과에 대한 개인화 및 정량적 설명이 부족하며 이력서 설명도 상대적으로 단순하고 조직화되지 않은.

위 5가지 신청업무에 대한 종합평가는 다음과 같습니다. 다음 평가는 특정 애플리케이션 시나리오에서의 이러한 모델 평가만을 나타냅니다. 평가는 다른 애플리케이션 시나리오 또는 작업에 따라 다를 수 있습니다. 이러한 모델 중 일부는 아직 반복 과정에 있으며 더 나은 성능과 성능을 제공할 수 있습니다. 향후 테스트에서는 GPT 시리즈(예: GPT-4)의 새 모델에 대한 비교도 추가할 예정입니다.