인공지능 프로젝트의 성공 여부를 측정하기 위해 어떤 KPI를 사용할 수 있나요?

2020년 6월 리서치 회사 IDC가 발표한 연구 보고서에 따르면 인공지능 계획의 약 28%가 실패했다고 합니다. 보고서에서 언급된 이유는 전문성 부족, 관련 데이터 부족, 충분히 통합된 개발 환경 부족이었습니다. 기계 학습의 지속적인 개선 프로세스를 확립하고 막히는 것을 방지하기 위해 핵심성과지표(KPI)를 식별하는 것이 이제 우선순위입니다.

업계 상위권에서는 데이터 과학자가 모델의 기술 성과 지표를 정의할 수 있습니다. 사용된 알고리즘 유형에 따라 달라집니다. 예를 들어, 나이에 따른 키를 예측하는 회귀 분석의 경우 선형 결정 계수를 사용할 수 있습니다.

예측 품질을 측정하는 방정식을 사용할 수 있습니다. 상관 계수의 제곱이 0이면 회귀선이 0% 점 분포를 결정합니다. 반면, 계수가 100%이면 그 숫자는 1이 됩니다. 그러므로 이는 예측의 질이 매우 좋다는 것을 의미한다.

현실과 예측의 편차

회귀를 평가하는 또 다른 측정 기준은 손실 함수를 나타내는 최소 제곱법입니다. 여기에는 실제 값과 예측 선 간의 편차 제곱합을 계산하여 오류를 정량화한 다음, 제곱 오류를 최소화하여 모델을 맞추는 작업이 포함됩니다. 동일한 논리에서 편차의 기본 값의 평균을 계산하는 평균 절대 오차 방법을 활용할 수 있습니다.

프랑스 컨설팅 회사 Capgemini에서 전략, 데이터 및 인공 지능 서비스를 담당하는 Charlotte Pierron-Perlès는 다음과 같이 결론지었습니다. "어쨌든 이는 우리가 예측하려는 것과의 격차를 측정하는 것과 같습니다.

예를 들어 분류에서." 스팸 탐지를 위해 알고리즘에서는 스팸의 오탐지와 오탐지를 찾는 것이 필요합니다. Pierron Perlès는 다음과 같이 설명합니다. “예를 들어, 우리는 생산 라인의 효율성을 최적화하는 화장품 그룹을 위한 기계 학습 솔루션을 개발했습니다. 목표는 생산 중단을 유발할 수 있는 생산 라인 초기에 결함이 있는 화장품을 식별하는 것이었습니다. 위양성 검출을 의미하더라도, 즉 적격 화장품을 불량으로 오인할 수 있음에도 불구하고 검출을 완료할 수 있는 모델을 찾는 논의가 이어졌습니다.”

오탐과 위음성의 개념을 바탕으로, 기타 세 가지 측정항목을 통해 분류 모델을 평가할 수 있습니다.

(1) 재현율(R)은 모델 민감도 측정값을 나타냅니다. 이는 감지되어야 하는 모든 진양성(양성 코로나바이러스 테스트 + 실제로 양성이었던 음성 코로나바이러스 테스트)에 대해 정확하게 식별된 진양성(예: 양성 코로나바이러스 테스트)의 비율입니다. R = 진양성 / 진양성 + 거짓 부정적인.

(2) 정밀도(P)는 정확도의 척도를 말합니다. 양성으로 판정된 모든 결과(양성 코로나19 검사 + 음성 코로나19 검사)에 대한 정확한 참양성(양성 코로나19 검사)의 비율입니다. P = 진양성 / 진양성 + 위양성.

(3) 조화 평균(F-점수)은 올바른 예측을 제공하고 다른 예측을 거부하는 모델의 능력을 측정합니다. F=2×정밀도×재현율/정밀도+재현율

모델 승격

프랑스 수석 ESNKeyrus 대표 데이터 과학자 David TsangHinSun은 "모델이 구축되면 일반화 능력이 핵심 지표가 될 것입니다."라고 강조했습니다.

그렇다면 이를 어떻게 추정할 수 있을까요? 예측과 예상 결과 간의 차이를 측정한 다음 시간이 지남에 따라 그 차이가 어떻게 진행되는지 이해합니다. 그는 "시간이 좀 지나면 차이가 발생할 수 있습니다. 이는 품질과 양 측면에서 데이터 세트의 훈련이 부족하여 과소 학습(또는 과잉 맞춤)이 원인일 수 있습니다."라고 설명합니다. ? 예를 들어, 이미지 인식 모델의 경우, 적대적 생성 네트워크를 사용하여 회전이나 왜곡을 통해 학습된 그림의 수를 늘릴 수 있습니다. 또 다른 기술(분류 알고리즘에 적용 가능): 합성 소수 오버샘플링. 이는 오버샘플링을 통해 데이터 세트에서 발생률이 낮은 예의 수를 늘리는 것으로 구성됩니다.

과잉 학습 상황에서도 불일치가 발생할 수 있습니다. 이 구성에서는 모델이 훈련 후 예상되는 상관관계로 제한되지 않지만 과도한 전문화로 인해 현장 데이터에서 생성된 노이즈를 포착하고 일관되지 않은 결과를 생성합니다. DavidTsangHinSun은 "그런 다음 훈련 데이터 세트의 품질을 확인하고 변수의 가중치를 조정해야 합니다."라고 지적했습니다.

경제 핵심 성과 지표(KPI)는 그대로 유지됩니다. 프랑스 컨설팅 회사인 AIBuilders의 CEO인 Stéphane Roder는 다음과 같이 생각합니다. “오류율이 비즈니스 과제와 일치하는지 자문해야 합니다. 예를 들어, 보험 회사인 Lemonade는 고객 요청에 3시간 이내에 응답할 수 있는 기계 학습 모듈을 개발했습니다. 비용 절감을 고려하면 특정 오류율은 특히 개발부터 유지 관리까지 총 소유 비용(TCO)과 비교하여 모델 수명 전반에 걸쳐 발생합니다. . , 이 측정값을 확인하는 것이 매우 중요합니다.”

채택 수준

동일한 회사 내에서도 예상되는 핵심성과지표(KPI)가 다를 수 있습니다. Capgemini의 Charlotte Pierron Perlès는 다음과 같이 말했습니다. "우리는 국제적인 입지를 가진 프랑스 소매업체를 위한 소비 예측 엔진을 개발했습니다. 모델의 정확한 목표는 백화점에서 판매되는 제품과 신제품 간에 서로 다른 것으로 나타났습니다. 후자 Dynamics의 판매는 요인에 따라 달라집니다. , 특히 정의상 통제하기 어려운 시장 반응과 관련된 것입니다.”

마지막 핵심 성과 지표는 채택 수준입니다. Charlotte Pierron-Perlès는 "모델의 품질이 좋아도 그것만으로는 충분하지 않습니다. 이를 위해서는 비즈니스에 활용하고 기계의 가능성을 실현할 수 있는 사용자 중심의 경험을 갖춘 인공 지능 제품 개발이 필요합니다." 학습."

Stéphane Roder 요약에는 다음과 같이 명시되어 있습니다. “이 사용자 경험을 통해 사용자는 피드백을 제공할 수 있으며, 이는 일일 생산 데이터 흐름 외부에서 AI 지식을 제공하는 데 도움이 됩니다.”​

위 내용은 인공지능 프로젝트의 성공 여부를 측정하기 위해 어떤 KPI를 사용할 수 있나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!