Llama 모델을 실행하는 동안 Google Colab 세션이 충돌하는 이유는 무엇입니까?

meta-llama/Llama-2-7b-hf 모델을 사용하여 내 구내에서 로컬로 실행하려고 하는데 프로세스 중에 세션이 중단되었습니다.

meta-llama/Llama-2-7b-hf 모델을 사용하여 내 구내에서 로컬로 실행하려고 합니다. 이를 위해 Google Colab을 사용하고 있으며 Hugging Face에서 액세스 키를 받았습니다. 필요한 작업을 위해 변환기 라이브러리를 활용하고 있습니다. 처음에는 12.7GB의 시스템 RAM, 15.0GB의 GPU RAM 및 78.2GB의 디스크 공간을 제공하는 Google Colab에서 T4 GPU 런타임 스택을 사용했습니다. 이러한 리소스에도 불구하고 세션이 중단되어 다음 오류가 발생했습니다.

이후 334.6GB의 시스템 RAM과 225.3GB의 디스크 공간을 제공하는 TPU V2 런타임 스택으로 전환했지만 문제가 지속되었습니다.

내 코드는 다음과 같습니다.

위 내용은 Llama 모델을 실행하는 동안 Google Colab 세션이 충돌하는 이유는 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!