단 두 개의 Python 함수를 사용하여 몇 분 안에 완전한 컴퓨터 비전 애플리케이션을 만드는 방법

번역가 | Li Rui

Reviewer | Chonglou

이 기사에서는 먼저 컴퓨터 비전 애플리케이션의 기본 요구 사항을 간략하게 소개합니다. 이어 임베디드 컴퓨터 비전을 위한 서버리스 개발 경험을 제공하는 오픈소스 프레임워크인 Pipeless를 자세히 소개한다. 마지막으로, 몇 가지 Python 함수와 모델을 사용하여 간단한 개체 감지 애플리케이션을 만들고 실행하는 방법을 보여주는 자세한 단계별 가이드가 제공됩니다.

컴퓨터 비전 응용 프로그램 만들기

"컴퓨터 비전"을 설명하는 한 가지 방법은 "카메라와 알고리즘 기술을 활용하는 이미지 인식 및 처리 분야"로 정의하는 것입니다. 그러나 이 단순한 정의는 개념에 대한 사람들의 이해를 완전히 만족시키지 못할 수도 있습니다. 따라서 컴퓨터 비전 애플리케이션을 구축하는 프로세스를 더 깊이 이해하려면 각 하위 시스템이 구현해야 하는 기능을 고려해야 합니다. 컴퓨터 비전 애플리케이션을 구축하는 과정에는 이미지 획득, 이미지 처리, 특징 추출, 객체 인식 및 의사 결정을 포함한 여러 주요 단계가 포함됩니다. 먼저, 카메라나 기타 영상 획득 장치를 통해 영상 데이터를 획득합니다. 그런 다음 추가 분석을 위한 노이즈 제거, 향상, 분할 등의 작업을 포함한 알고리즘을 사용하여 이미지를 처리합니다. 특징 추출 단계에서 시스템은

과 같은 이미지의 주요 특징을 식별합니다. 60fps 비디오 스트림을 실시간으로 처리하려면 각 프레임을 16밀리초 내에 처리해야 합니다. 이는 일반적으로 멀티스레딩 및 멀티프로세싱을 통해 달성됩니다. 때로는 정말 빠른 프레임 처리를 보장하기 위해 이전 프레임이 완료되기 전에 다음 프레임 처리를 시작해야 하는 경우도 있습니다.

인공 지능 모델의 경우 다행스럽게도 현재 사용할 수 있는 우수한 오픈 소스 모델이 많이 있으므로 대부분의 경우 처음부터 자신만의 모델을 개발할 필요가 없으며 특정 사용 사례에 맞게 매개변수를 미세 조정하기만 하면 됩니다. 이러한 모델은 모든 프레임에서 추론을 실행하여 객체 감지, 분할, 포즈 추정 등과 같은 작업을 수행합니다.

• 추론 런타임: 추론 런타임은 모델을 로드하고 사용 가능한 다양한 장치(GPU 또는 CPU)에서 효율적으로 실행하는 역할을 합니다.

추론 프로세스 중에 모델이 빠르게 실행될 수 있도록 하려면 GPU 사용이 필수적입니다. GPU는 특히 대량의 수학 연산을 처리할 때 CPU보다 훨씬 더 많은 병렬 연산을 처리할 수 있습니다. 프레임을 처리할 때 프레임이 있는 메모리 위치를 고려해야 합니다. GPU 메모리 또는 CPU 메모리(RAM)에 저장하도록 선택할 수 있습니다. 그러나 서로 다른 두 메모리 간에 프레임을 복사하면 특히 프레임 크기가 큰 경우 작업 속도가 느려질 수 있습니다. 이는 또한 보다 효율적인 모델 추론 프로세스를 달성하기 위해 메모리 선택과 데이터 전송 오버헤드를 평가해야 함을 의미합니다.

멀티미디어 파이프라인은 데이터 소스에서 비디오 스트림을 가져와 프레임으로 분할한 다음 모델에 대한 입력으로 사용하는 구성 요소 집합입니다. 경우에 따라 이러한 구성 요소는 전달을 위해 비디오 스트림을 수정하고 재구성할 수도 있습니다. 이러한 구성 요소는 비디오 데이터를 처리하는 데 핵심적인 역할을 하며 비디오 스트림이 효율적으로 전송되고 처리될 수 있도록 보장합니다.

• 비디오 스트림 관리: 개발자는 애플리케이션이 비디오 스트림 중단, 재연결을 방지하고, 비디오 스트림을 동적으로 추가 및 제거하고, 여러 비디오 스트림을 동시에 처리할 수 있기를 원할 수 있습니다.

이러한 시스템은 모두 프로젝트에 생성되거나 통합되어야 하므로 코드를 유지 관리해야 합니다. 그러나 직면한 문제는 특정 애플리케이션이 아닌 실제 사례 특정 코드를 둘러싸는 하위 시스템을 대량으로 유지 관리하게 된다는 것입니다.

Pipeless Framework

위의 모든 항목을 처음부터 빌드하지 않으려면 대신 Pipeless 프레임워크를 사용할 수 있습니다. 이는 일부 사례별 기능을 허용하고 다른 작업을 처리할 수 있는 컴퓨터 비전용 오픈 소스 프레임워크입니다.

파이프리스 프레임워크는 애플리케이션의 로직을 "단계"로 나누며, 그 중 하나는 단일 모델의 마이크로 애플리케이션과 같습니다. 단계에는 전처리, 전처리된 입력을 사용한 추론 실행, 작업을 위한 모델 출력 후처리가 포함될 수 있습니다. 그런 다음 여러 모델을 사용하더라도 원하는 만큼 많은 단계를 연결하여 완전한 애플리케이션을 구성할 수 있습니다.

각 단계에 로직을 제공하려면 애플리케이션별 코드 함수를 추가하기만 하면 Pipeless가 필요할 때 이를 호출해 줍니다. 이것이 바로 Pipeless가 임베디드 컴퓨터 비전을 위한 서버와 같은 개발 경험을 제공하고 추가 하위 시스템에 대한 걱정 없이 일부 기능을 제공하는 프레임워크로 간주될 수 있는 이유입니다.

Pipeless의 또 다른 중요한 기능은 CLI 또는 REST API를 통해 비디오 스트림을 동적으로 추가, 삭제 및 업데이트하여 비디오 스트림 처리를 자동화할 수 있다는 것입니다. 비디오 스트림 처리를 다시 시작해야 하는 시기, 오류 후 다시 시작해야 하는지 여부 등을 나타내는 다시 시작 정책을 지정할 수도 있습니다.

마지막으로, Pipeless 프레임워크를 배포하려면 클라우드 컴퓨팅 가상 머신이나 컨테이너화된 모드에서든, Nvidia Jetson, Raspberry 등과 같은 에지 장치에서 직접든 모든 장치에 설치하고 코드 기능으로 실행하기만 하면 됩니다.

객체 감지 애플리케이션 생성

파이프리스 프레임워크를 사용하여 간단한 객체 감지 애플리케이션을 생성하는 방법을 자세히 살펴보겠습니다.

첫 번째 단계는 설치입니다. 설치 스크립트를 사용하면 설치가 매우 쉽습니다.

Curl https://raw.githubusercontent.com/pipeless-ai/pipeless/main/install.sh | bash

이제 프로젝트를 만들어야 합니다. Pipeless 프로젝트는 단계를 포함하는 디렉터리입니다. 각 단계는 하위 디렉터리에 있으며, 각 하위 디렉터리에는 후크(특정 코드 기능)가 포함된 파일이 생성됩니다. 각 스테이지 폴더에 제공되는 이름은 나중에 비디오 스트림에 대해 해당 스테이지를 실행하려는 경우 Pipeless 상자에 표시해야 하는 스테이지 이름입니다.

pipeless init my-project --template emptycd my-project

여기서 빈 템플릿은 CLI에 디렉토리만 생성하도록 지시합니다. 템플릿이 제공되지 않으면 CLI는 스테이지를 대화형으로 생성하기 위한 몇 가지 질문을 표시합니다.

위에서 언급했듯이 이제 프로젝트에 스테이지를 추가해야 합니다. 다음 명령을 사용하여 GitHub에서 스테이지 예제를 다운로드합니다.

wget -O - https://github.com/pipeless-ai/pipeless/archive/main.tar.gz | tar -xz --strip=2 "pipeless-main/examples/onnx-yolo"

이렇게 하면 애플리케이션 기능이 포함된 onnx-yolo 스테이지 디렉터리가 생성됩니다.

그런 다음, 애플리케이션 Hook인 각 스테이지 파일의 내용을 확인합니다.

여기에는 프레임과 장면을 받아들이는 함수(후크)를 정의하는 pre-process.py 파일이 있습니다. 이 함수는 RGB 프레임을 수신하는 입력 데이터가 모델에서 예상하는 형식과 일치하도록 준비하기 위해 몇 가지 작업을 수행합니다. 이 데이터는 Pipeless가 모델에 전달할 데이터인 Frame_data['interence_input']에 추가됩니다.

def hook(frame_data, context):frame = frame_data["original"].view()yolo_input_shape = (640, 640, 3) # h,w,cframe = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)frame = resize_rgb_frame(frame, yolo_input_shape)frame = cv2.normalize(frame, None, 0.0, 1.0, cv2.NORM_MINMAX)frame = np.transpose(frame, axes=(2,0,1)) # Convert to c,h,winference_inputs = frame.astype("float32")frame_data['inference_input'] = inference_inputs... (some other auxiliar functions that we call from the hook function)

사용할 Pipeless 추론 런타임(이 경우 ONNX 런타임), 로드해야 하는 모델을 찾을 위치 및 일부 선택적 매개변수(예: 사용할 실행 제공자(예: CPU, CUDA, TensorRT 등)

{ "runtime": "onnx","model_uri": "https://pipeless-public.s3.eu-west-3.amazonaws.com/yolov8n.onnx","inference_params": { "execution_provider": "tensorrt" }}

마지막으로 post-process.py 파일은 pre-process.py의 기능과 유사한 기능을 정의합니다. 이번에는 Pipeless가 frame_data["inference_output"]에 저장하는 추론 출력을 수락하고 해당 출력을 경계 상자로 구문 분석하는 작업을 수행합니다. 나중에 프레임에 경계 상자를 그리고 마지막으로 수정된 프레임을 Frame_data['modified']에 할당합니다. 이런 방식으로 Pipeless는 제공된 비디오 스트림을 경계 상자를 포함하여 수정된 프레임과 함께 전달합니다.

def hook(frame_data, _):frame = frame_data['original']model_output = frame_data['inference_output']yolo_input_shape = (640, 640, 3) # h,w,cboxes, scores, class_ids =  parse_yolo_output(model_output, frame.shape, yolo_input_shape)class_labels = [yolo_classes[id] for id in class_ids]for i in range(len(boxes)):draw_bbox(frame, boxes[i], class_labels[i], scores[i])frame_data['modified'] = frame... (some other auxiliar functions that we call from the hook function)

마지막 단계는 Pipeless를 시작하고 비디오 스트림을 제공하는 것입니다. Pipeless를 시작하려면 my-project 디렉터리에서 다음 명령을 실행하세요.

pipeless start --stages-dir .

일단 실행하면 웹캠(v4l2)의 비디오 스트림이 제공되고 출력이 화면에 직접 표시됩니다. 비디오 스트림이 순서대로 실행하는 단계 목록이 제공되어야 한다는 점에 유의해야 합니다. 이 경우에는 단지 onnx-yolo 단계입니다.

pipeless add stream --input-uri "v4l2" --output-uri "screen" --frame-path "onnx-yolo"

Conclusion

컴퓨터 비전 애플리케이션을 만드는 것은 주변에 구현해야 하는 요소와 하위 시스템이 많기 때문에 복잡한 작업입니다. Pipeless와 같은 프레임워크를 사용하면 시작하고 실행하는 데 몇 분 밖에 걸리지 않으므로 특정 사용 사례에 대한 코드 작성에 집중할 수 있습니다. 또한, 파이프리스 "단계"는 재사용 가능성이 높고 유지 관리가 쉽기 때문에 유지 관리가 쉽고 매우 빠르게 반복될 수 있습니다.

Pipeless 개발에 참여하고 싶다면 GitHub 저장소를 통해 참여할 수 있습니다.

원제: 단 두 개의 Python 함수로 몇 분 만에 완벽한 컴퓨터 비전 앱 만들기, 작성자: Miguel Angel Cabrera

링크: //m.sbmmt.com/link/e26dbb5b1843bf566ea7ec757f3325c4