Ray를 사용하여 효율적인 딥 러닝 데이터 파이프라인 생성

딥 러닝 모델 훈련에 필요한 GPU는 강력하지만 비용이 많이 듭니다. GPU를 완전히 활용하려면 개발자는 다음 훈련 단계를 계산할 준비가 되었을 때 데이터를 GPU로 신속하게 전송할 수 있는 효율적인 데이터 전송 채널이 필요합니다. Ray를 사용하면 데이터 전송 채널의 효율성이 크게 향상될 수 있습니다

1 학습 데이터 파이프라인의 구조

먼저 모델 학습의 의사코드를 살펴보겠습니다

for step in range(num_steps):sample, target = next(dataset) # 步骤1train_step(sample, target) # 步骤2

1단계에서 샘플과 라벨을 얻습니다. 다음 미니 배치. 2단계에서는 GPU에 복사하는 train_step 함수로 전달되고 정방향 및 역방향 전달을 수행하여 손실과 기울기를 계산하고 최적화 프로그램의 가중치를 업데이트합니다.

1단계에 대해 자세히 알아보세요. 데이터 세트가 너무 커서 메모리에 맞지 않는 경우 1단계에서는 디스크나 네트워크에서 다음 미니 배치를 가져옵니다. 또한 1단계에는 일정량의 전처리도 포함됩니다. 입력 데이터는 모델에 제공되기 전에 숫자 텐서 또는 텐서 모음으로 변환되어야 합니다. 경우에 따라 모델에 전달되기 전에 정규화, 축 중심 회전, 임의 섞기 등과 같은 다른 변환도 텐서에서 수행됩니다.

워크플로가 순서대로 엄격하게 실행되는 경우, 즉 1단계가 먼저 수행됩니다. , 그리고 2단계를 수행하면 모델은 항상 다음 데이터 배치의 입력, 출력 및 전처리 작업을 기다려야 합니다. GPU는 효율적으로 활용되지 않으며 다음 미니 배치 데이터를 로드하는 동안 유휴 상태로 유지됩니다.

이 문제를 해결하기 위해 데이터 파이프라인을 생산자-소비자 문제로 볼 수 있습니다. 데이터 파이프라인은 소규모 데이터 배치를 생성하여 제한된 버퍼에 씁니다. 모델/GPU는 버퍼에서 데이터의 미니 배치를 사용하고 정방향/역방향 계산을 수행하며 모델 가중치를 업데이트합니다. 데이터 파이프라인이 모델/GPU가 사용하는 만큼 빠르게 소규모 데이터 배치를 생성할 수 있다면 훈련 프로세스가 매우 효율적일 것입니다.

Pictures

2. Tensorflow tf.data API

Tensorflow tf.data API는 백그라운드 스레드를 사용하여 소규모 데이터 배치를 얻는 등 데이터 파이프라인을 효율적으로 생성하는 데 사용할 수 있는 풍부한 기능 세트를 제공합니다. 모델은 기다릴 필요가 없습니다. 데이터를 미리 가져오는 것만으로는 충분하지 않습니다. 소규모 데이터 배치를 생성하는 것이 GPU가 데이터를 사용할 수 있는 것보다 느린 경우 병렬화를 사용하여 데이터 읽기 및 변환 속도를 높여야 합니다. 이를 위해 Tensorflow는 여러 스레드를 활용하여 데이터를 병렬로 읽는 인터리브 기능과 여러 스레드를 사용하여 소규모 데이터 배치를 변환하는 병렬 매핑 기능을 제공합니다.

이러한 API는 멀티스레딩을 기반으로 하기 때문에 Python GIL(Global Interpreter Lock)에 의해 제한될 수 있습니다. Python의 GIL은 바이트코드를 한 번에 실행되는 단일 스레드로만 제한합니다. 파이프라인에서 순수 TensorFlow 코드를 사용하는 경우 TensorFlow 핵심 실행 엔진이 GIL 범위 외부에서 작동하기 때문에 일반적으로 이러한 제한이 발생하지 않습니다. 그러나 사용된 타사 라이브러리가 GIL 제한을 해제하지 않거나 Python을 사용하여 많은 계산을 수행하는 경우 멀티스레딩을 사용하여 파이프라인을 병렬화하는 것은 불가능합니다

3 데이터의 다중 프로세스 병렬화를 사용합니다. 파이프라인

다음 생성기 함수를 고려해 보세요. 이 함수는 데이터 샘플과 레이블의 미니 배치를 생성하기 위해 일부 계산 로드 및 수행을 시뮬레이션합니다.

def data_generator():for _ in range(10):# 模拟获取# 从磁盘/网络time.sleep(0.5)# 模拟计算for _ in range(10000):passyield (np.random.random((4, 1000000, 3)).astype(np.float32), np.random.random((4, 1)).astype(np.float32))

다음으로, 더미 훈련 파이프라인에서 생성기를 사용하고 미니 배치 데이터를 생성하는 데 걸리는 평균 시간을 측정합니다.

generator_dataset = tf.data.Dataset.from_generator(data_generator,output_types=(tf.float64, tf.float64),output_shapes=((4, 1000000, 3), (4, 1))).prefetch(tf.data.experimental.AUTOTUNE)st = time.perf_counter()times = []for _ in generator_dataset:en = time.perf_counter()times.append(en - st)# 模拟训练步骤time.sleep(0.1)st = time.perf_counter()print(np.mean(times))

평균 소요 시간은 약 0.57초인 것으로 관찰되었습니다(Intel Core i7 프로세서를 탑재한 Mac 노트북에서 측정). 이것이 실제 훈련 루프라면 GPU 활용도는 상당히 낮을 것입니다. 계산에 0.1초만 소요되고 다음 데이터 배치를 기다리며 0.57초 동안 유휴 상태로 유지됩니다.

데이터 로딩 속도를 높이려면 다중 프로세스 생성기를 사용할 수 있습니다.

from multiprocessing import Queue, cpu_count, Processdef mp_data_generator():def producer(q):for _ in range(10):# 模拟获取# 从磁盘/网络time.sleep(0.5)# 模拟计算for _ in range(10000000):passq.put((np.random.random((4, 1000000, 3)).astype(np.float32),np.random.random((4, 1)).astype(np.float32)))q.put("DONE")queue = Queue(cpu_count()*2)num_parallel_processes = cpu_count()producers = []for _ in range(num_parallel_processes):p = Process(target=producer, args=(queue,))p.start()producers.append(p)done_counts = 0while done_counts <p>이제 다음 미니 배치 데이터를 기다리는 데 소요된 시간을 측정하면 평균 0.08초를 얻습니다. 이는 거의 7배의 속도 향상이지만 이상적으로는 이 시간이 0에 가까워지기를 바랍니다. </p><p>분석해 보면 데이터의 역직렬화를 준비하는 데 상당한 시간이 소요되는 것을 알 수 있습니다. 다중 프로세스 생성기에서 생산자 프로세스는 메인 프로세스에서 준비한 다음 역직렬화해야 하는 대규모 NumPy 배열을 반환합니다. 그렇다면 프로세스 간에 대규모 배열을 전달할 때 효율성을 향상시키는 방법은 무엇입니까? </p><h2>4. Ray를 사용하여 데이터 파이프라인을 병렬화합니다.</h2><p>여기서 Ray가 사용됩니다. Ray는 Python에서 분산 컴퓨팅을 실행하기 위한 프레임워크입니다. 서로 다른 프로세스 간에 객체를 효율적으로 전송하기 위해 공유 메모리 객체 저장소가 함께 제공됩니다. 특히, 객체 저장소의 Numpy 배열은 직렬화 및 역직렬화 없이 동일한 노드의 워커 간에 공유될 수 있습니다. 또한 Ray를 사용하면 여러 시스템에 걸쳐 데이터 로드를 쉽게 확장하고 Apache Arrow를 사용하여 대규모 어레이를 효율적으로 직렬화 및 역직렬화할 수 있습니다. </p><p>Ray에는 병렬 반복자를 생성할 수 있는 유틸리티 함수 from_iterators가 함께 제공되며 개발자는 이를 사용하여 data_generator 생성기 함수를 래핑할 수 있습니다. </p><pre class="brush:php;toolbar:false">import raydef ray_generator():num_parallel_processes = cpu_count()return ray.util.iter.from_iterators([data_generator]*num_parallel_processes).gather_async()

ray_generator를 사용하여 다음 미니 배치 데이터를 기다리는 데 소요되는 시간은 0.02초로 측정되었으며 이는 다중 프로세스 처리를 사용하는 것보다 4배 빠릅니다.

위 내용은 Ray를 사용하여 효율적인 딥 러닝 데이터 파이프라인 생성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!