哈喽，大家好。
下面我们分解一下这个小项目，带大家来一步一步实现，文末获取项目完整的源代码。
Github上找到一个Python版本的飞机大战程序，安装Pygame即可运行。
游戏操作简单，右上角是游戏暂停/开始按钮，用鼠标点击操作。
键盘的A、D、W、S键用来控制飞机的移动方向，分别对应左、右、上、下。
所以我们的AI程序要完成两个最核心的功能，第一，识别手势；第二，将手势转换成鼠标、键盘操作，便可控制游戏。
这里，我们用opencv读取摄像头中的视频流。
将视频流中的每一帧送入mediapipe中的手掌检测模型，识别手掌 21 个关键点。
在我们的项目中，只用到了食指和中指，也就是左右中的第8和第12个点。
核心代码如下：
ret, frame = cap.read() results = hands.process(frame[:, :, ::-1]) if results.multi_hand_landmarks: # 遍历每个手掌 for hand_landmarks in results.multi_hand_landmarks: finger_axis_8 = hand_landmarks.landmark[8] finger_axis_12 = hand_landmarks.landmark[12]
frame是视频流中的每一帧，hands是手掌检测模型。
解析出来的finger_axis_8和finger_axis_12两个对象中分别存放食指和中指的x、y坐标。
计算食指与中指坐标之间的距离，大于某个阈值，则移动鼠标，点击暂停游戏按钮。
游戏暂停
若食指与中指坐标之间的距离，小于某个阈值，则移动鼠标，点击开始游戏按钮
游戏开始
距离计算很简单，这里不贴代码了，重点说下Python控制鼠标。
我用的是PyUserInput库，它提供了PyMouse和PyKeyboard两个类，分别控制鼠标和键盘。
当我们想用Python程序控制游戏的暂停与开始，只需要将鼠标移动到按钮的位置，执行一次点击操作即可。
# 定义鼠标对象 self.mouse = PyMouse() def pause_or_start_game(self, dist): """ 判断是否需要暂停（开始）游戏 :param dist: :return: """ if (not self.is_pause and dist > 80) or (self.is_pause and dist < 80): self.mouse.move(915, 125) self.mouse.click(915, 125) self.is_pause = not self.is_pause
pause_or_start_game函数的参数dist是食指与中指之间的距离。
暂停/开始按钮的坐标为(915, 125)，每个电脑坐标不一样，需要大家根据自己的实际情况重新计算。
计算思路很简单，游戏边框大小为(480, 700)，游戏在屏幕正中间启动，只要获取到屏幕的尺寸，就能大概估算出按钮的坐标。在调用PyMouse的move函数，检验、微调一下即可。
PyMouse的move函数用来移动鼠标位置，click函数用来执行鼠标点击操作。
这里，需要计算相邻两帧食指的x坐标和y坐标的移动方向和距离。从而决定按下键盘A、D、W、S中的哪一个。
同样的，移动的方向和距离很简单，这里也不说了，重点说下PyKeyboard模块控制键盘按键。
self.key_board = PyKeyboard() # 按下按键 self.key_board.press_key(key) # 停留一段时间 time.sleep(press_dwell) # 释放按键 self.key_board.release_key(key)
press_key和release_key函数之间，调用了time.sleep(press_dwell)控制按键的时长，按键时间长，则飞机移动距离就长，反之，按键时间短，则飞机移动距离就短。
所以，这里的难点在于如何将食指的移动距离映射为按键的时长。
我用的是下面这段代码测出来
for i in range(n):
kb.press_key('A')
time.sleep(0.05)
kb.release_key('A')固定按键时长为0.05秒，测试飞机从中部移动到最左边，需要的最小的n。
飞机从中部移动到最左边，移动距离为 240，因此，240 / (n * 0.05)便是飞机每秒的移动距离。
我测出来的n=7，因此，飞机每秒移动距离为685.7142857。
只要计算出食指的移动距离，除以685.7142857，就可以得出键盘的按键时长。
手势控制飞机移动的完整代码为：
def press_key_board(self, direction, move_dist): """ 将手指移动距离，换算为按键间隔，并执行按键操作 :param direction:移动方向 :param move_dist:移动距离 :return: """ dist_per_sec = 685.7142857 if direction == 'x': key = 'A' if move_dist < 0 else 'D' elif direction == 'y': key = 'W' if move_dist < 0 else 'S' else: return press_dwell = math.fabs(move_dist / dist_per_sec) self.key_board.press_key(key) time.sleep(press_dwell) self.key_board.release_key(key)
项目的核心部分已经讲解完毕，完整代码已经整理好，需要的朋友评论区留言即可。
获取代码后，先看运行步骤.txt。
如果大家觉得本文对你有用就点个 在看 鼓励一下吧，后续我会持续分享优秀的 Python AI 项目。
以上是AI虚拟手势玩飞机大战的详细内容。更多信息请关注PHP中文网其他相关文章！
