들어가기 전에
모델의 Inference 속도 향상을 위해 Data를 Preprocessing 속도를 높이는 것 또한 중요합니다.
이번 강의에서는 Nvidia GPU를 사용하여 Data Preprocessing 속도를 높이는 라이브러리인 DALI에 대해서 배워보겠습니다.
학습 목표
DALI와 PyTorch간의 차이점을 이해하고 DALI 파이프라인 구성 과정을 학습합니다.
DALI에서 제공되는 3가지 데이터 로드 방식에 대해 이해하고 수행 속도를 비교합니다.
핵심 단어
강의 듣기
Data Loading Library (DALI)
위 그림은 CPU와 GPU의 Capacity 차이가 점점 더 심화될 것을 나타내는 그래프입니다.
2010년 기점으로 CPU의 성장곡선은 점점 완만해지는데 GPU의 성장곡선은 1.5배씩 늘어나는 것을 확인할 수 있습니다.
그런데 CPU의 성장곡선에 비해 CPU에서 수행되는 데이터 전처리의 복잡성은 점점 늘어나고 있습니다.
DALI는 CPU에서 GPU로 데이터를 넣어주는 구간이 병목이 될 것이라고 생각하는데요,
그래서 DALI는 일반적으로 CPU 상에서 전과정으로 이루어지고 있는 전처리에서 가능한 연산들을 GPU에서 수행하고자 합니다.
실제로 MXNet과 DALI의 Training throughput을 비교해보았을 때 MXNet은 17.84K DALI는 22.53K인 것을 알 수 있는데요,
위 결과로 Data Feeding 내에서도 병목이 존재할 수 있음을 알 수 있습니다.
DALI 구성
from nvidia.dali import fn
@nvidia.dali.pipeline_def
def rn50_pipeline():
encoded, label = fn.readers.file(file_root=image_dir)
decoded = fn.decoders.image(encoded, ...)
resized = fn.resize(decoded, size=[224, 224])
normalized = fn.crop_mirror_normalize(resized, mean=mean, std=std)
return normalized, label
pipe = rn50_pipeline(batch_size=128, num_threads=4, device_id=0)
pipe.build()
image, labels = pipe.run()DALI는 아래의 순서로 구성을 할 수 있는데요,
일종의 iterator처럼 이미지가 계속 생성됩니다.
GPU offloading
파이프라인 구성중 decoded 과정에서 device를 "mixed"로 설정하면 GPU offloading이 됩니다.
GPU offloading을 하게 되면 위 그림에서 초록색에 해당하는 영역을 GPU가 담당하게 됩니다.
DataLoader
DALI에서는 Pytorch와의 호환을 위해 Dataloader를 대체가능하게 하는 iterator를 제공합니다.
그래서 DALI iterator로 대체했을 때 for문 안에 있는 내부적인 과정은 동일한 것을 알 수 있습니다.
실험 및 결과
실험 환경 및 실험 내용은 아래와 같습니다.
파이프라인은 아래와 같이 cpu, gpu, mixed 3가지를 정의합니다.
그래서 DataLoading 시간속도를 비교해봤을 때 DALI(Mixed)가 가장 빠르고 동일한 CPU 환경에서도 PyTorch 보다는 DALI(CPU)가 빠른 것을 확인할 수 있습니다.
이번에는 학습과 추론 속도를 비교해보겠습니다.
강의에서 설명된 코드를 수행했을 때 아래와 같은 결과를 얻을 수가 있는데요,
학습 및 추론에서 약 2배 이상의 속도 개선이 발생하는 것을 알 수 있습니다.
생각해보기
참고 자료
https://docs.nvidia.com
comment