LinkedIn이 수십억 명의 사용자에게 서비스를 제공하기 위해 대규모 언어 모델을 사용하면서 배운 점

전 세계적으로 10억 명 이상의 사용자를 보유한 LinkedIn은 오늘날 기업 기술의 한계에 계속해서 도전하고 있습니다. LinkedIn처럼 운영되거나 비슷하게 방대한 데이터 리소스를 보유한 회사는 거의 없습니다.

이 비즈니스 및 고용 중심 소셜 미디어 플랫폼은 자격을 갖춘 후보자와 잠재적 고용주를 연결하여 공석을 채우는 것을 돕는 것이 핵심 사업입니다. 플랫폼의 게시물이 고용주와 소비자의 요구를 반영하는지 확인하는 것도 중요합니다. LinkedIn 모델에서 이러한 매칭 프로세스는 항상 기술에 의존해 왔습니다.

GenAI가 처음으로 활기를 띠게 된 2023년 여름까지 LinkedIn은 후보자와 고용주를 연결하고 정보 흐름을 더욱 유용하게 만들기 위해 LLM(대형 언어 모델)을 활용할지 여부를 고려하기 시작했습니다.

그래서 소셜 미디어 거대 기업은 GenAI 여정을 시작했고 이제 Microsoft의 Azure OpenAI 서비스를 활용한 경험의 결과를 보고하고 있습니다. 모든 업계의 CIO는 LinkedIn에서 몇 가지 교훈을 얻을 수 있습니다.

최고와 최저

대부분의 CIO가 경험하는 것처럼 새로운 기술을 채택하는 데에는 시련과 좌절이 따릅니다. LinkedIn의 상황도 다르지 않습니다. 회사의 주요 소프트웨어 엔지니어이자 기술 책임자인 Juan Bottaro에 따르면 LLM 협업으로 가는 길은 결코 순탄하지 않았습니다.

Bottaro는 초기 결과가 "불완전한 느낌"과 "충분한 점을 연결하지 못했다"고 말했습니다.

GenAI를 둘러싼 초기의 과대광고는 도움이 되지 않았습니다.

"LLM은 새로운 것이며 모든 문제를 해결하는 것처럼 느껴집니다."라고 Bottaro는 말했습니다. "우리는 시작했을 때 LLM이 무엇을 할 수 있는지에 대해 명확한 아이디어가 없었습니다."

예를 들어, 개선된 직업 매칭 노력의 초기 버전은 덜 적절한 단어를 사용하면 무례하다고 말할 수 있습니다. . 아니면 적어도 너무 문자 그대로입니다.

"'이 직업에 대한 나의 적합성을 평가해 주세요'를 클릭하고 '당신은 전혀 적합하지 않습니다'라는 답을 얻는 것은 실용적이지 않습니다."라고 보타로는 말했습니다. "우리는 [응답]이 사실적으로 정확하면서도 공감적이기를 원합니다. 일부 회원은 현재 자신에게 적합하지 않은 분야로의 경력 전환을 고려할 수 있으며 격차와 다음에 해야 할 일을 이해하는 데 도움이 필요할 수 있습니다." LinkedIn이 처음에 배운 주요 교훈 중 하나는 청중의 기대에 부응하도록 LLM을 맞춤화하고 LLM이 인간이 아닐 수도 있지만 적어도 인간적인 방식으로 대응하는 방법을 이해하도록 돕는 것이었습니다.

Speed ​​Matter

LinkedIn에는 10억 명이 넘는 회원이 있지만 LinkedIn에 의존하는 LLM 채용정보의 대부분의 구직 기능은 원래 상대적으로 작은 그룹인 프리미엄 회원을 대상으로 했습니다. (LinkedIn은 프리미엄 회원이 몇 명인지 밝히기를 거부했습니다.)

이렇게 대규모로 운영할 때는 속도가 핵심입니다. 특히 관련 직책에 후보자를 매칭하는 것과 같은 미묘한 차이에서는 더욱 그렇습니다. 여기서는 LLM의 자주 인용되는 장점이 속도이므로 복잡한 단계를 신속하게 완료할 수 있다는 LLM이 도움이 될 것이라고 생각했습니다. 그러나 LinkedIn의 배포에서는 그렇지 않다고 Bottaro는 말했습니다.

"LLM이 빠르다고는 말할 수 없습니다. 속도가 장점이 아니라고 생각합니다"라고 그는 말했습니다.

속도는 여러 가지 방법으로 정의할 수 있습니다. 운영상 LLM은 기대만큼 빠르지 않을 수 있지만 전체 배포 프로세스의 가속화는 놀랍다고 Bottaro는 말했습니다. "이 신기술의 강력한 힘은 2~3개월 사이에 매우 빠르게 프로토타입을 만들 수 있다는 것입니다. 이 기술 이전에는 불가능했습니다."라고 그는 말했습니다.

LLM이 없으면 프로젝트의 다양한 측면이 얼마나 오래 걸릴지 묻는 질문에 Bottaro는 일부는 전혀 완료되지 않을 수도 있고 다른 요소는 "몇 년이 걸릴 수도 있다"고 말했습니다.

예를 들어 Bottaro는 의도 시스템을 이해하는 것을 목표로 한다고 언급했습니다. 부분. LLM이 없었다면 이 작업은 2~3개월이 걸렸을 것입니다. 그러나 LLM은 "1주일도 안 되어" 이를 마스터했습니다.

비용 고려 사항

Bottaro가 "장벽"이라고 부르는 한 가지 측면은 비용입니다. 마찬가지로 비용은 LinkedIn의 경험에서 알 수 있듯이 프로젝트의 여러 단계에서 서로 다른 의미를 갖습니다.

“우리가 개발에 지출하는 돈은 극소수입니다.” 보타로가 말했습니다. 그러나 LinkedIn 고객에게 데이터를 제공하는 경우 비용이 급등합니다.

“단지 몇 백만 명의 회원에게도” 보타로의 말은 프리미엄 회원의 수를 암시하는 것일지도 모르지만 가격이 급등했습니다. LLM 가격(적어도 LinkedIn과 Microsoft(LLM 제공업체 및 모회사)과의 라이선스 계약)은 사용량, 특히 입력 및 출력 토큰의 사용량을 기준으로 책정되기 때문입니다.

AI 공급업체의 CEO인 Tarun Thummala는 이 프로젝트와 관련 없는 LinkedIn 게시물에서 LLM의 입력 및 출력 토큰이 대략 0.75 단어에 해당한다고 설명했습니다. LLM 제공업체는 일반적으로 수천 또는 수백만 개의 토큰을 판매합니다. 예를 들어 LinkedIn에서 사용하는 Azure OpenAI는 미국 동부 지역에서 8K GPT-4 입력 토큰 100만개당 30달러, 8K GPT-4 출력 토큰 100만개당 60달러를 청구합니다.

평가 챌린지

LinkedIn이 프로젝트에 대해 설정한 또 다른 기능 목표는 자동 평가입니다. 정확성, 관련성, 안전성 및 기타 문제 측면에서 LLM을 평가하는 것은 항상 어려운 일이었습니다. 선도적인 조직과 LLM 제조업체는 일부 작업을 자동화하려고 노력해 왔지만 LinkedIn에 따르면 이 기능은 "아직 진행 중인 작업"입니다.

자동 평가는 없으며 LinkedIn에서는 "엔지니어는 제한된 샘플 세트에 대한 결과의 육안 검사와 테스트에만 의존할 수 있으며 측정항목을 알기까지 하루 이상 지연되는 경우가 많습니다."라고 보고합니다. 회사는 전반적인 품질 점수, 환각 비율, 일관성 및 책임 있는 AI 위반과 같은 주요 LLM 지표를 추정하는 데 도움이 되는 Evaluator를 기반으로 모델을 구축하고 있습니다. 그렇게 하면 실험 속도가 빨라질 것이며 링크드인 엔지니어들은 환각 탐지에 어느 정도 성공했지만 이 분야에서는 아직 끝나지 않았다고 회사 엔지니어들은 말했습니다.

데이터 품질

LinkedIn이 채용 매칭 노력을 하면서 겪는 어려움 중 하나는 결국 고용주와 잠재적 직원 모두의 데이터 품질 문제로 귀결됩니다.

LLM은 제공된 데이터만 사용할 수 있으며 때로는 채용 공고가 고용주가 찾고 있는 기술을 정확하거나 포괄적으로 설명하지 않는 경우도 있습니다. 반면, 일부 구직자는 문제 해결 및 기타 분야에 대한 광범위한 경험을 효과적으로 반영하지 못하는 형편없는 이력서를 게시합니다.

이와 관련하여 Bottaro는 LLM이 고용주와 잠재적 직원을 도울 수 있는 잠재력을 보고 있습니다. 글쓰기를 개선하면 회사의 Job Matching LLM이 데이터 입력 품질이 더 높을 때 더 효율적으로 작업할 수 있으므로 고용주와 LinkedIn 사용자 모두에게 이익이 됩니다.

사용자 경험

이렇게 대규모 회원 기반을 다룰 때 정확성과 관련성 지표는 "잘못된 편안함을 줄 수 있습니다"라고 Bottaro는 말했습니다. 예를 들어, LLM이 "90%의 확률로 올바른 결과를 얻는다면 이는 10명 중 1명이 나쁜 경험을 하게 된다는 의미"라고 그는 말했습니다.

이 배포를 더욱 어렵게 만드는 것은 유용하고 유용하며 정확한 답변을 제공하는 데 관련된 극도의 뉘앙스와 판단입니다.

"좋은 것과 나쁜 것을 어떻게 정의합니까? 우리는 포괄적인 표현을 제공하는 방법에 대한 지침을 개발하기 위해 언어학자들과 많은 시간을 보냈습니다. 또한 사용자 조사도 많이 했습니다."라고 Bottaro는 말했습니다. "사람들이 올바른 응답을 작성하도록 어떻게 교육합니까? 작업을 어떻게 정의하고 응답이 어떤 모습이어야 하는지 지시합니까? 제품은 건설적이거나 도움이 되려고 노력할 수 있습니다. 너무 많은 것을 가정하려고 하지 않습니다. 우리는 응답에 매우 관심이 있습니다. 우리는 우리의 일관성에 큰 자부심을 가지고 있습니다.”

실시간 운영

LinkedIn의 엄청난 규모는 채용 매칭에 또 다른 도전을 만듭니다. 수십억 명의 회원이 있는 채용 광고는 게시된 지 몇 분 내에 수백 또는 수천 개의 응답을 받을 수 있습니다. 많은 구직자들은 수백 명의 사람들이 이미 지원한 것을 보면 지원하는 것을 귀찮게 할 수도 있습니다. 이를 위해서는 LLM이 일치하는 회원을 매우 신속하게 찾고 자격이 부족한 지원자가 자료를 제출하기 전에 응답해야 합니다. 그 이후에는 회원들이 알림을 보고 적시에 대응할 수 있을지 의문이 남는다.

고용주 측에서는 가장 적합한 후보자를 찾는 것이 어려운 일이지만, 반드시 가장 빨리 응답할 수 있는 후보자는 아닙니다. 급여 범위를 공개하는 것을 꺼리는 일부 회사는 양측의 노력을 더욱 복잡하게 만듭니다. 왜냐하면 가장 자격을 갖춘 후보자가 해당 직위의 급여에 관심이 없을 수 있기 때문입니다. 이는 LLM이 해결할 수 없는 문제입니다.

API & RAG

LinkedIn의 대규모 데이터베이스에는 개인, 고용주, ​​기술 및 교육 과정에 대한 고유한 정보가 많이 포함되어 있지만 LLM은 이 데이터에 대한 교육을 받지 않았습니다. 따라서 LinkedIn 엔지니어에 따르면 현재 이러한 자산이 저장되고 제공되는 방식으로 인해 추론 또는 응답 생성 활동에 이러한 자산을 사용할 수 없습니다.

여기서는 RAG(Retrieval Augmented Generation)가 대표적인 솔루션입니다. 내부 API에 대한 파이프라인을 구축함으로써 기업은 LLM의 응답을 더 잘 안내하고 제한하기 위한 추가 컨텍스트로 LLM 프롬프트를 "강화"할 수 있습니다. LinkedIn의 데이터 대부분은 RPC API를 통해 노출됩니다. 회사 엔지니어들은 이 API가 "인간이 프로그래밍 방식으로 호출하는 데 편리하지만" "LLM 친화적이지 않다"고 말합니다.

이 문제를 해결하기 위해 LinkedIn의 엔지니어들은 구성 세부 정보, 입력 및 출력 스키마, 통합과 함께 "API가 수행하는 작업과 이를 언제 사용해야 하는지에 대한 LLM 친화적인 설명"을 제공하여 API에 대한 "감지 기술"을 제공했습니다. API의 LLM 버전은 기본(실제) RPC 버전에 필요한 모든 논리를 매핑합니다.

LinkedIn 엔지니어는 성명서에서 다음과 같이 썼습니다. "이러한 기술을 통해 LLM은 프로필 보기, 기사/사람/직업/회사 검색, 내부 분석 시스템 쿼리 등 제품과 관련된 다양한 작업을 수행할 수 있습니다." "Bing 검색 및 뉴스와 같은 LinkedIn이 아닌 API를 호출하는 데 동일한 기술이 사용됩니다." 이 접근 방식은 LLM의 기능을 향상시킬 뿐만 아니라 기존 기술 인프라와의 통합을 향상시켜 LLM이 모든 분야에서 더 널리 사용될 수 있도록 해줍니다. 기업의 측면.