사전 학습된 모델을 기반으로 한 금융 이벤트 분석 및 적용

1. 금융 이벤트 분석의 주요 작업

금융 이벤트 분석의 주요 작업은 세 부분으로 나눌 수 있습니다.

① 첫 번째 부분은 비정형 데이터의 지능적 분석입니다. 금융분야의 정보는 인터넷 정보에 비해 고유한 특징을 가지고 있습니다. 금융 분야의 정보는 구조화되지 않은 형태로 존재하는 경우가 많으며, PDF와 같은 일부 특수 파일 형식이 있으므로 파일이나 데이터에서 깨끗하고 정확한 데이터를 추출하는 데 더 큰 어려움이 있습니다. PDF 형식은 조판 및 인쇄 형식이며 다른 파일 형식만큼 명확한 단락이 없습니다. PDF는 조판에 더 적합하므로 파일에는 일부 위치 정보만 있습니다. 구조화되지 않은 데이터에서 정확하게 형식이 지정되고 의미상 명확한 텍스트를 구문 분석하는 것은 더 어렵습니다. 더욱이 문서의 형식 의미가 불분명한 경우 이벤트 분석으로 인해 노이즈가 발생하고 이러한 더티 데이터는 모델 교육 및 추론에 많은 간섭을 유발합니다. 따라서 모델의 정확도를 높이기 위해서는 먼저 비정형 데이터를 파싱해야 합니다.

② 두 번째 부분은 기술적으로 중요한 부분인 이벤트 의미론에 대한 이해입니다. 여기에는 주로 이벤트 감지, 이벤트 요소 추출 및 이벤트 관계 추출이 포함됩니다.

③ 이벤트에 대한 이해를 바탕으로 작업에서 더욱 중요한 세 번째 모듈인 이벤트 체인 분석과 이벤트 예측을 포함하는 이벤트 그래프 분석을 소개합니다.

위 작업을 완료하기 위해 두 가지 중요한 시스템이 더 도입됩니다. 첫 번째는 금융 이벤트 시스템입니다. 금융 이벤트 시스템에는 금융 분야의 관련 개체가 포함되며 이러한 개체에도 다양한 적용 시나리오가 있습니다. 이러한 주제와 시나리오를 더 잘 지원하려면 해당 이벤트 시스템을 구축해야 하며, 이는 많은 도메인 지식을 포함하고 도메인 전문가가 해당 지식을 입력으로 제공해야 합니다. 이는 해당 시나리오를 다룰 수 있는 보다 완전하고 과학적인 시스템을 구축하는 데 도움이 됩니다. 물론, 전문지식 외에도 귀납적 학습을 위해서는 기술도 필요하며, 이는 완전한 시나리오 기반의 확장 가능한 이벤트 시스템을 제공할 수도 있습니다.

전문지식 소개는 주로 현장에서 더 중요한 사건을 다루기 때문이죠. 일부 미디엄 및 롱테일 이벤트의 경우 주로 일부 학습 기반 기술을 사용하여 해결됩니다. 금융 이벤트 그래프에는 이벤트 추출 기술과 이벤트 관계 분류, 이벤트 표현 학습을 결합하여 분석 및 예측을 위한 그래프를 구성할 수 있습니다.

명확한 업무와 기술 지원을 통해 뉴스나 문서를 처리하고 많은 질문에 요약적으로 답변할 수 있습니다. 예를 들어, 어느 회사에서 어떤 종류의 사건이 일어났는지, 그 사건에 어떤 요소가 관여했는지, 시간, 장소, 사람, 사건 종류에 관련된 요소 등이 포함된다. 요소 발행 가격, 유통 등 또한, 이 이벤트에 대한 사람들의 평가(감정 분석)와 같은 정보에도 주목할 수 있습니다. 특정 유형의 사건이 발생한 후 미래에 회사에 어떤 일이 일어날지에 대한 예측. 위 질문에 답할 수 있다면 많은 시나리오에서 유용할 것입니다.

아래에서 구체적인 예를 살펴보겠습니다.

위 그림은 금융 이벤트 시스템을 두 가지 수준으로 구분하며, 첫 번째 수준은 주로 기업 행사, 주식 행사, 산업 및 거시 행사 등 특정 대상에 따라 구분되며, 및 클레임 유형 이벤트 및 펀드 유형 이벤트. 다양한 이벤트 개체에 대해 다양한 이벤트 유형이 정의됩니다. 이것들은 금융에서 가장 흔한 물건입니다. 두 번째 수준에서는 각 개체 유형을 더욱 세분화합니다. 예를 들어, 주주 축소 등 회사에서 흔히 발생하는 이벤트 유형입니다(위 그림 참조). 주주의 지분 감소 등의 이벤트를 예로 들면, 감소 시점, 보유 지분을 감소시킨 주주, 감소 당시의 거래 가격, 기타 정보 등이 포함되는 이벤트 요소입니다. 시나리오를 대상으로 하는 완전한 이벤트 시스템을 정의하는 것은 이벤트 분석이 목표를 달성하기 위한 중요한 전제 조건입니다. 이벤트 시스템 정의의 세부 정도에 따라 최종 이벤트 분석이 수행할 수 있는 세분화된 이벤트 정보의 정도가 결정됩니다. 성취하다.

아래 이벤트 맵을 소개합니다.

이벤트 그래프는 그래프이며 노드와 간선을 포함합니다. 이벤트 그래프에서 이벤트 노드는 이벤트 또는 회사와 같은 이벤트의 엔터티일 수 있습니다. 엣지는 이벤트 간, 이벤트와 엔터티 간, 엔터티 간의 관계입니다.

예를 살펴보겠습니다. 위 사진은 아마존의 아이로봇 인수를 소개하는 뉴스 기사이다. 이 뉴스 보도에는 총 4가지 사건이 설명되어 있으며, 그 중 2가지는 인수였으며 서로 다른 시기에 발생했습니다. 나머지 두 가지는 회사 창립 행사와 협력 행사입니다. 이러한 이벤트는 발생 순서에 따라 연결됩니다. 이 뉴스에는 사건 외에도 다른 개체와 시간도 포함되며 이러한 개체와 시간도 해당 관계로 연결됩니다.

이렇게 구조화되지 않은 웹 페이지 정보를 살펴보면서 문서 내 텍스트와 단락을 파싱하고, 단락에 대한 의미 분석을 수행하고, 이벤트 개체와 관계를 추출함으로써 이벤트 그래프를 구성할 수 있습니다. 즉, 구조화되지 않은 데이터를 구조화된 정보로 변환하는 것입니다. 구조화된 정보를 사용하면 정보를 이해하고 처리하기가 더 쉽습니다. 이러한 정보는 검색, 질의응답 등의 정보 획득 시나리오나 금융 분야의 위험 모니터링, 정량 투자 등의 비즈니스 시나리오에서 사용될 수 있습니다.

이벤트 체인은 특별한 이벤트 그래프이자 이벤트 그래프의 단순화된 모드입니다. 주로 참가자에게 발생하는 일련의 이벤트와 이벤트 간의 관계에 중점을 둡니다. 위 그림에서 볼 수 있듯이 왼쪽의 이벤트 그래프는 오른쪽의 두 개의 이벤트 체인으로 단순화될 수 있습니다. 이벤트 체인에는 단순화된 노드만 포함되며, 기타 요소는 이벤트 체인의 속성 정보로 간주될 수 있습니다. 이러한 단순화는 이벤트 그래프를 실제로 적용하는 데 도움이 됩니다. 이벤트 그래프의 관계와 노드가 단순화된 후 모델의 그래프 학습 및 처리는 한 종류의 노드와 이벤트 간의 한 종류의 관계에만 중점을 두어 이 문제의 복잡성을 줄입니다. 단순화되었지만 이벤트 유형, 이벤트 제목 및 기타 정보와 같은 이벤트의 주요 정보는 계속 유지됩니다.

이벤트 체인이 어떻게 예측되는지 살펴보겠습니다.

위 사진은 이벤트 체인의 예측 모델입니다. 크게 세 부분으로 구성됩니다. 첫 번째 부분은 사건 표현으로, 현재 사건, 역사적 사건, 그리고 궁극적으로 우리가 예측하려는 텍스트 속의 사건이 있습니다. 역사적 사건과 예측할 사건, 그것이 나타내는 유발어와 사건 요소를 함께 엮어 역사적 정보를 더 잘 포착할 수 있습니다. 이벤트의 컨텍스트 표현과 역사적 표현을 결합하여 두 번째 부분인 이벤트의 시퀀스 표현으로 들어갑니다. 여기서는 이벤트 간의 시간적 관계를 캡처하고 이벤트 시퀀스 정보를 이벤트 표현에 통합할 수 있는 LSTM 네트워크 구조가 사용됩니다. 마지막으로, 연대순 관계를 포함하는 이벤트 표현은 동적 네트워크에 입력되며, 이는 주어진 뉴스에서 후보 이벤트와 이벤트를 예측하는 데 사용할 수 있습니다. 예를 들어, 수십 개의 후보 이벤트 유형이 있는 경우 현재 뉴스에서 본 이벤트 유형을 기반으로 미래에 이 주제에 일어날 더 큰 이벤트 유형이 될 수 있는 이벤트를 예측할 수 있습니다. 결과는 이벤트 유형의 분포입니다.

여기서 강조해야 할 점은 이 모델의 예측 결과는 미래에 회사에서 반드시 일어날 사건을 예측하는 것이 아니라 이러한 보조 정보를 제공하여 분석, 예측, 심판.

위에서 언급한 이벤트 체인과 이벤트 예측은 아직 일어나지 않은 상황에 대한 예측과 판단입니다. 이벤트 예측은 실제로 이미 발생한 이벤트에 대해 유용한 도움을 제공할 수 있습니다.

또 다른 예를 살펴보겠습니다. 이 예는 유용한 도움을 제공하기 위해 이미 발생한 이벤트를 기반으로 합니다.

이벤트 라이브러리를 기반으로 한 이러한 이벤트 질문 및 답변은 ​​이벤트에 대한 자연어 검색을 지원할 수 있습니다. 먼저 코퍼스에서 추출하여 구조화된 이벤트 라이브러리를 구축합니다. 각 이벤트 유형은 테이블의 각 필드를 NL2SQL 기술과 결합하여 데이터베이스 쿼리 문으로 변환할 수 있습니다. 이러한 방식으로 방금 생성한 테이블에서 정확한 이벤트 유형을 찾을 수 있습니다. 이는 현재 시중에 나와 있는 일반 검색 엔진으로 이벤트를 검색하는 경험과는 다릅니다. 검색 엔진에서 반환되는 결과는 해당 이벤트 유형에 대한 다양한 종류의 뉴스입니다. 관련 뉴스가 발견되더라도 표시되는 결과는 특정 이벤트에 대한 구체적인 정보가 아니라 완전한 보고서입니다. 이벤트 데이터베이스를 기반으로 한 이벤트 Q&A를 통해 이벤트에 대한 Q&A 검색을 보다 정확하게 수행할 수 있습니다.

위의 예를 통해 특정 시나리오에서 이벤트 분석을 수행하는 방법을 확인할 수 있습니다. 시장의 관심은 기업의 주가 변동에 있다. 이벤트 기반 주가 변동은 NLP와 금융 분야를 이벤트 분석에 결합한 시나리오이기도 하며, 이를 통해 시장 정보의 변환과 주가 변동을 실현할 수 있습니다. 위 그림은 모델의 두 가지 특징을 보여줍니다. 한 유형은 특정 기업을 나타내고 다른 유형은 기업 간의 관계를 나타냅니다. 이벤트 유형과 이벤트에 참여한 기업을 추출하기 위한 이벤트 분석을 소개합니다. 추출된 이벤트 유형과 회사가 제공할 수 있는 두 가지 정보 중 하나는 이벤트의 표현으로, 이는 하나의 특징이 되어 회사의 기능과 통합될 수 있습니다. 기업과 사건의 관계는 기업간 연관관계 모듈을 구축할 수 있다. 그런 다음 기업별 기술 지표나 기업 관계 맵과 같은 기존 기능을 추가합니다. 이 둘을 결합하면 기업정보와 관계정보를 그래프로 구성할 수 있습니다. 이 그래프를 기반으로 Graph Attention Network를 사용하여 기업 간의 관계가 기업의 주가 변동 성과에 미치는 영향을 포착합니다. 주가 변동을 모델 학습의 대상으로 삼아 모델을 훈련시키면, 우리가 획득한 모델 네트워크 구조는 뉴스 산업 지도, 기업 관계 지도 등의 특징을 통해 기업의 미래 특성에 대한 판단을 동시에 달성할 수 있습니다. Attention 모델 분석을 통해 이벤트 유형 모듈인지 이벤트 관계 모듈인지 여부에 따라 변동이 주로 어떤 모듈에서 발생하는지 알 수 있습니다. 그리고 기업 간 관계 모델링을 통해 이러한 영향이 관련 기업 간에 어떻게 확산되는지 분석할 수도 있습니다. 이는 금융분야에서 모멘텀 파급효과의 효용이라고도 할 수 있다.

앞서 소개한 다양한 이벤트 분석 기술과 시나리오를 포괄적으로 . 우리는 완전한 이벤트 분석 프레임워크를 요약했습니다. (아래 그림 참조)

몇 가지 주요 기능을 제공합니다.

① 먼저, 특정 이벤트나 특정 주제의 다양한 이벤트를 검색할 수 있습니다.

② 둘째, 산업체인 또는 기업체인이 될 수 있는 산업체인을 통해 동종업계 기업의 다양한 관련 이벤트를 검색할 수 있습니다.

3 이 프레임워크는 회사의 검색 결과를 기반으로 가능한 미래 이벤트를 예측할 수도 있습니다.

이 프레임워크의 장점은 사전 훈련된 모델을 기반으로 하고 학습 전이 능력이 있으며 제로샷/퓨샷 훈련을 지원할 수 있고 빠른 콜드 스타트가 가능하다는 점입니다. 또한 이 체계적인 방법은 비교적 포괄적인 기능을 갖추고 있으며 다양한 시나리오를 지원할 수 있습니다.

모든 시나리오에 프레임워크의 모든 모듈이 필요한 것은 아니며 필요에 따라 모듈을 분리하여 별도로 사용할 수 있습니다.

2. 금융 이벤트 분석 기술

금융 이벤트 분석 기술에서 더 중요한 두 가지 부분은 이벤트 감지와 이벤트 추출입니다.

이벤트 감지 작업의 목표는 텍스트에서 이벤트를 추출하고 분류하는 것입니다. 일반적으로 이벤트 감지를 위해 유발어를 추출하지만, 유발어 추출 없이 이벤트 감지를 하는 방법도 있습니다. 이러한 유형의 문제에 대한 과제는 트리거 단어의 레이블을 지정하는 것입니다. 또는 의미 마이그레이션, 이벤트 분할, 이벤트 정의 변경과 같은 문제가 발생하는 경우 데이터에 레이블을 다시 지정해야 합니다. 이러한 유형의 문제는 실제 시나리오에서 자주 발생합니다. 우리는 자체 이벤트 감지 솔루션을 보유하고 있지만 다양한 분야에 적용하거나 다양한 고객 요구에 직면할 때 이벤트 시스템이 매우 다릅니다. 이벤트 시스템을 더 잘 지원하기 위해 기존 모델과 데이터를 결합하는 방법은 현재 우리가 직면한 가장 큰 과제입니다. . 현재 접근 방식은 단서와 사전 훈련된 모델을 기반으로 하는 이벤트 감지입니다. 이벤트 유형의 프롬프트에 따라 퓨샷 시나리오에서 데이터 마이그레이션 또는 모델 교육을 더 잘 수행할 수 있습니다.

위 그림은 트리거 워드 기반의 모델과 방법을 보여줍니다. 이벤트 유형의 프롬프트에 따라 모델의 입력을 토큰 수준에서 주석 처리하여 해당 이벤트의 트리거 단어를 추출할 수 있습니다. 현재 프롬프트를 기준으로 트리거 워드를 변환하면 그에 따라 해당 이벤트 유형과 트리거 워드가 변경될 수 있습니다. 공개 데이터 세트에 대한 데이터 비교를 통해 전체 데이터에서 이전 방법에 비해 우리 모델의 성능이 크게 향상되었음을 확인할 수 있습니다. 다른 모델보다.

이벤트 추출 작업은 이벤트 감지 작업 기능의 확장입니다. 이벤트 유형과 트리거 단어를 식별할 뿐만 아니라 이벤트에서 해당 요소를 추출합니다. 이는 이벤트 분석에 상대적으로 완전한 정보가 필요한 시나리오에 더 큰 영향을 미칩니다. 위 그림의 예는 보다 세분화된 정보를 추출할 수 있습니다. 이벤트 추출의 과제에는 완전한 이벤트 시스템에 이벤트 요소가 많을 것이고, 데이터 주석을 완료하려면 도메인 전문가가 필요하며, 비용이 상대적으로 높으며, 많은 이벤트 유형으로 확장하기 어렵다는 점 등이 있습니다. 현재 솔루션은 사전 훈련된 모델과 프롬프트를 사용하는 것입니다.

기반의 생성 방법은 주석이 달린 데이터가 적은 시나리오에서도 우수한 모델 성능을 발휘할 수 있으며 데이터 활용도와 유연성이 더 높으며 새로운 이벤트 유형으로 확장하기가 더 쉽습니다. .

이벤트 추출 작업은 이벤트 감지 작업 기능의 확장입니다. 이벤트 유형과 트리거 단어를 식별할 뿐만 아니라 이벤트에서 해당 요소를 추출합니다. 이는 이벤트 분석에 상대적으로 완전한 정보가 필요한 시나리오에 더 큰 영향을 미칩니다. 위 그림의 예는 보다 세분화된 정보를 추출할 수 있습니다. 이벤트 추출의 과제에는 완전한 이벤트 시스템에 이벤트 요소가 많을 것이고, 데이터 주석을 완료하려면 도메인 전문가가 필요하며, 비용이 상대적으로 높으며, 많은 이벤트 유형으로 확장하기 어렵다는 점 등이 있습니다. 현재 솔루션은 사전 훈련된 모델과 프롬프트를 사용하는 것입니다. 생성 방법은 주석이 적은 데이터가 있는 시나리오에서도 우수한 모델 성능을 달성할 수 있으며 데이터 활용도와 유연성이 더 높으며 새로운 이벤트 유형으로 확장하기가 더 쉽습니다.

위 사진은 템플릿 기반의 생성 이벤트 추출 방법입니다. 이 추출 방법은 몇 가지 중요한 개념을 정의합니다. 먼저, 추출 전에 템플릿을 미리 정의해야 합니다. 템플릿을 사용하면 학습 중에 모델에 제공할 수 있으며, 새 이벤트를 정의할 때 일부 요소는 이전 이벤트에도 제공될 수 있습니다. 미리. 이런 방식으로 모델은 적은 양의 데이터로 새로운 이벤트 유형을 학습할 수 있습니다.

위의 방법으로 이벤트 추출 문제를 어느 정도 해결할 수는 있지만 아직 개선의 여지가 많습니다. 예를 들어, 현재 방법의 트리거 단어와 이벤트 요소 간의 연결은 약합니다. 추론 중에 모든 이벤트 유형을 폴링해야 하므로 많은 양의 계산과 긴 추론 시간이 필요합니다. 오류 전파로 이어지는 파이프라인에 의한 것입니다.

우리는 위에서 제기한 질문을 기반으로 모델을 개선하고 트리거 단어 감지 향상을 기반으로 하는 또 다른 생성 이벤트 추출 방법 TDE-GTEE을 제안했습니다.

(Ge Shi, Yunyue Su, Yongliang Ma 및 Ming Zhou(2023). 이벤트 추출을 위한 별도의 인코더를 사용하는 하이브리드 감지 및 생성 프레임워크. 전산 협회 유럽 지부 제17차 회의 진행 중 언어학: 전산 언어학 협회.)

이 방법에서 이벤트 감지 모듈은 이벤트 트리거 단어에 대한 정보를 제공합니다. 입력에 트리거 단어를 표시하고 이벤트 유형 정보를 기반으로 해당 템플릿을 선택합니다. 이 입력 및 이벤트 템플릿은 나중에 결합되어 이벤트 감지 모듈의 표현을 형성합니다. 이 표현은 주제 모델에 입력되고 최종적으로 채워진 템플릿이 얻어집니다. 이 모델과 이전 모델의 차이점은 이 모델에는 추가 트리거 단어 표현이 있고 상황 정보도 결합된다는 것입니다. 이는 방금 언급한 첫 번째 문제, 즉 유발 단어와 유발 단어 추출 요소 사이의 연결이 많지 않다는 문제를 해결합니다. 이 모델은 둘 사이의 디스플레이 관계를 구성할 수 있습니다. 동시에, 유발어 입력을 통해 유발어와 관련된 이벤트 유형을 알 수 있습니다. 이런 방식으로 관련 없는 이벤트 유형을 필터링할 수 있습니다. 이벤트 감지 모듈은 관련 이벤트 유형에 대한 이벤트만 추출합니다. 마지막으로 이벤트 감지 모듈과 이벤트 추출 모듈은 엔드투엔드 공동 훈련을 구성할 수 있습니다. 이 모델은 위에서 언급한 다른 두 가지 문제를 해결할 수 있습니다.

TDE-GTEE 모델은 공개 데이터세트 ACE와 ERE 모두에서 SOTA 수준에 도달했습니다. 실험에서 우리는 전체 양의 데이터를 사용했습니다. 적은 수의 샘플로 이 모델의 성능을 검증하기 위해 원래 다중 분류 방법을 프롬프트 기반 방법으로 대체하는 등 이벤트 감지 모듈에도 일부 조정을 적용했습니다. 모델은 제로샷/퓨샷에서도 좋은 결과를 얻을 수 있습니다. 우리는 이 모델이 실제 시나리오에서 널리 사용될 수 있다고 믿습니다.

3. 요약 및 전망

이벤트 분석 기술은 금융 분야에서 널리 사용되고 있으며 다양한 시나리오가 있습니다. 포괄적인 이벤트 분석 시스템 프레임워크는 금융 분야의 정보 이해를 위한 강력한 기술 지원을 제공할 것입니다.

TDE-GTEE 및 금융 이벤트 분석 분야에서 Lanzhou Technology가 제안한 기타 방법은 SOTA 수준에 도달할 수 있으며 소수 샘플 및 제로 샘플 시나리오에서 좋은 성능을 발휘할 수 있습니다. 앞으로도 금융사건분석 분야의 기술진보와 제품화를 지속적으로 추진하겠습니다.

IV. Q&A 세션

Q1: 이벤트 그래프를 저장하고 관리하는 데 Neo4j와 같은 기존 그래프 데이터베이스가 적합한가요?

A1: 이벤트 그래프 전용 데이터베이스가 있습니다. 일부 데이터 제공업체에서는 이러한 데이터베이스를 제공합니다. 예를 들어 Lanzhou Technology 및 Ant Group과 같은 회사도 회사 내에 자체 데이터베이스를 구축합니다. Neo4j를 사용하여 이벤트 그래프를 저장하고 관리할 수 있습니다. 사용 시나리오에 따라 Neo4j는 복잡한 시나리오의 저장 및 관리에 더 적합합니다. 이벤트 체인으로 단순화하면 이벤트 표현이 더 유연해질 수 있습니다. 우리가 하는 일은 텍스트에서 데이터를 추출하여 모델에 대한 교육 데이터로 이벤트 체인을 생성하는 것입니다. 훈련에는 그래프 작업이 포함되지 않습니다.

Q2: 주가 변동 분석의 효과를 어떻게 평가하나요?

A2: 크게 두 가지 방법이 있습니다. 특정 모델을 구성하고 평가하는 과정에서 우리는 주식 시장의 정보에 더 많이 의존합니다. 이는 퀀트 트레이딩의 백테스팅으로 이해될 수 있습니다. 우리는 훈련과 평가를 위해 과거 데이터를 사용합니다. 다른 하나는 실제 시나리오에서는 기업 뉴스와 재고량 및 가격 거래에 대한 기술 지표를 기반으로 다음 달 주가 변동을 예측하는 등 수동 판단을 사용한다는 것입니다. 이번 달에는 실제로 주가 변동이 일어날지 구체적으로 살펴보겠습니다. 변동이 발생할 경우 해당 이벤트 유형, 해당 주가량, 가격 정보 등을 분석하여 강력한 인과관계가 있는지 판단합니다.

위 내용은 사전 학습된 모델을 기반으로 한 금융 이벤트 분석 및 적용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!