如何只用两个Python函数在几分钟内创建完整的计算机视觉应用程序

译者 | 李睿

审校 | 重楼

这篇文章首先简要介绍了计算机视觉应用程序的基本要求。接着，详细介绍了Pipeless这一开源框架，它为嵌入式计算机视觉提供了无服务器开发体验。最后，提供了一个详细的步骤指南，演示如何使用几个Python函数和一个模型创建和运行一个简单的对象检测应用程序。

创建计算机视觉应用程序

描述“计算机视觉”的一种方式是将其定义为“利用摄像头和算法技术进行图像识别和处理的领域”。然而，这种简单的定义可能无法完全满足人们对这一概念的理解。因此，为了更深入地了解计算机视觉应用程序的构建过程，我们需要考虑每个子系统所需实现的功能。 计算机视觉应用程序的构建过程涉及多个关键步骤，包括图像采集、图像处理、特征提取、目标识别和决策制定。首先，通过摄像头或其他图像采集设备获取图像数据。然后，利用算法对图像进行处理，包括去噪、增强和分割等操作，以便进一步分析。在特征提取阶段，系统会识别图像中的关键特征，如

为了实时处理60 fps的视频流，需要在16毫秒内处理每一帧。这通常通过多线程和多处理进程实现。有时候，甚至需要在上一帧完成之前就开始处理下一帧，以确保能够实现真正快速的帧处理。

对于人工智能模型，现在幸好有许多优秀的开源模型可供使用，因此大多数情况下无需从零开始开发自己的模型，只需微调参数以满足特定用例即可。这些模型在每一帧上运行推理，执行对象检测、分割、姿态估计等任务。

•推理运行时间：推理运行时间负责加载模型，并在不同的可用设备（GPU或CPU）上高效运行。

为了确保模型在推理过程中能够快速运行，采用GPU是必不可少的。GPU能够处理比CPU更多数量级的并行操作，尤其是在处理大量数学运算时效果更为显著。在处理帧时，需要考虑帧所在的内存位置，可以选择存储在GPU内存或CPU内存（RAM）中。然而，在这两种不同的内存之间复制帧会导致运算速度变慢，尤其是当帧的大小较大时。这也意味着需要权衡内存的选择以及数据传输的开销，以实现更高效的模型推理过程。

多媒体管道是一组部件，用于从数据源中获取视频流，并将其分割成帧，然后将其作为模型的输入。有时，这些部件还可以对视频流进行修改和重建，以便进行转发。这些部件在处理视频数据时发挥着关键作用，确保视频流能够被有效地传输和处理。

•视频流管理：开发人员可能希望应用程序能够抵抗视频流的中断、重新连接、动态添加和删除视频流、同时处理多个视频流，等等。

所有这些系统都需要创建或合并到项目中，因此，需要维护代码。然而，面临的问题是最终维护的大量代码并非特定于应用程序，而是围绕实际案例特定代码的子系统。

Pipeless框架

为了避免从头开始构建上述所有内容，可以代用Pipeless框架。这是一个用于计算机视觉的开源框架，允许提供一些特定于案例的功能，并且能够处理其他事物。

Pipeless框架将应用程序的逻辑划分为“阶段”，其中的一个阶段就像单个模型的微型应用程序。一个阶段可以包括预处理、使用预处理的输入运行推理，以及对模型输出进行后处理以采取行动。然后，可以链接尽可能多的阶段，以组成完整的应用程序，甚至使用多个模型。

为了提供每个阶段的逻辑，只需添加一个特定于应用程序的代码函数，然后在需要时由Pipeless负责调用它。这就是可以将Pipeless视为一个框架的原因，它为嵌入式计算机视觉提供类似服务器的开发体验，并且提供了一些功能，不必担心需要其他的子系统。

Pipeless的另一个重要特性是，可以通过CLI或REST API动态地添加、删除和更新视频流，从而实现视频流处理的自动化。甚至可以指定重新启动策略，指示何时应该重新启动视频流的处理，是否应该在出现错误后重新启动，等等。

最后，部署Pipeless框架，只需要在任何设备上安装它并与代码函数一起运行，无论是在云计算虚拟机或容器化模式中，还是直接在Nvidia Jetson、Raspberry等边缘设备中。

创建对象检测应用程序

以下深入地了解如何使用Pipeless框架创建一个简单的对象检测应用程序。

第一就是安装。安装脚本，使其安装非常简单：

Curl https://raw.githubusercontent.com/pipeless-ai/pipeless/main/install.sh | bash

现在，必须创建一个项目。Pipeless项目是一个包含阶段的目录。每个阶段都在子目录下，在每个子目录中，创建包含hooks（特定的代码函数）的文件。为每个阶段文件夹提供的名称是稍后要为视频流运行该阶段时，必须向Pipeless框指示的阶段名称。

pipeless init my-project --template emptycd my-project

在这里，空模板告诉CLI只创建目录，如果不提供任何模板，CLI将提示几个问题以交互式地创建阶段。

如上所述，现在需要为项目添加一个阶段。采用下面的命令从GitHub下载一个阶段示例：

wget -O - https://github.com/pipeless-ai/pipeless/archive/main.tar.gz | tar -xz --strip=2 "pipeless-main/examples/onnx-yolo"

这将创建一个阶段目录onnx-yolo，其中包含应用程序函数。

然后，检查每个阶段文件的内容，也就是应用程序hooks。

这里有一个pre-process.py文件，它定义了一个接受一个框架和一个场景的函数(hooks)。该函数执行一些操作来准备接收RGB帧的输入数据，以便与模型期望的格式匹配。该数据被添加到frame_data[' interence_input ']中，这是Pipeless将传递给模型的数据。

def hook(frame_data, context):frame = frame_data["original"].view()yolo_input_shape = (640, 640, 3) # h,w,cframe = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)frame = resize_rgb_frame(frame, yolo_input_shape)frame = cv2.normalize(frame, None, 0.0, 1.0, cv2.NORM_MINMAX)frame = np.transpose(frame, axes=(2,0,1)) # Convert to c,h,winference_inputs = frame.astype("float32")frame_data['inference_input'] = inference_inputs... (some other auxiliar functions that we call from the hook function)

还有process.json文件，它指示要使用的Pipeless推理运行时间（在本例中为ONNX运行时间），在哪里可以找到它应该加载的模型，以及它的一些可选参数，例如要使用的execution_provider，即CPU、CUDA、TensortRT等。

{ "runtime": "onnx","model_uri": "https://pipeless-public.s3.eu-west-3.amazonaws.com/yolov8n.onnx","inference_params": { "execution_provider": "tensorrt" }}

最后，post-process.py文件定义了一个类似于pre-process.py中的函数。这一次，它接受Pipeless存储在frame_data["inference_output"]中的推理输出，并执行将该输出解析为边界框的操作。稍后，它在框架上绘制边界框，最后将修改后的框架分配给frame_data['modified']。这样，Pipeless将转发提供的视频流，但带有修改后的帧，其中包括边界框。

def hook(frame_data, _):frame = frame_data['original']model_output = frame_data['inference_output']yolo_input_shape = (640, 640, 3) # h,w,cboxes, scores, class_ids =  parse_yolo_output(model_output, frame.shape, yolo_input_shape)class_labels = [yolo_classes[id] for id in class_ids]for i in range(len(boxes)):draw_bbox(frame, boxes[i], class_labels[i], scores[i])frame_data['modified'] = frame... (some other auxiliar functions that we call from the hook function)

最后一步是启动Pipeless并提供一个视频流。要启动Pipeless，只需在my-project目录下运行以下命令：

pipeless start --stages-dir .

一旦运行，将提供来自网络摄像头(v4l2)的视频流，并直接在屏幕上显示输出。需要注意的是，必须提供视频流按顺序执行的阶段列表。在这个例子中，它只是onnx-yolo阶段：

pipeless add stream --input-uri "v4l2" --output-uri "screen" --frame-path "onnx-yolo"

结论

创建计算机视觉应用程序是一项复杂的任务，因为有许多因素和必须围绕它实现的子系统。使用像Pipeless这样的框架，启动和运行只需要几分钟，可以专注于为特定用例编写代码。此外，Pipeless的“阶段”是高度可重用的，易于维护，因此维护将会很容易，可以非常快速地迭代。

如果希望参与Pipeless的开发，可以通过它的GitHub存储库来实现。

原文标题：Create a Complete Computer Vision App in Minutes With Just Two Python Functions，作者：Miguel Angel Cabrera

链接：//m.sbmmt.com/link/e26dbb5b1843bf566ea7ec757f3325c4