NVIDIA JetBot 远程操控教程：使用游戏手柄控制机器人-CSDN博客

NVIDIA JetBot 远程操控教程：使用游戏手柄控制机器人

前言

NVIDIA JetBot 是一个基于 Jetson Nano 的开源智能机器人平台，它结合了计算机视觉和机器学习能力。本教程将详细介绍如何使用游戏手柄远程控制 JetBot 机器人，包括视频流传输和图像捕捉功能。

准备工作

在开始之前，请确保你的 JetBot 已经正确组装并配置好基础环境。你需要准备一个支持 HTML5 的游戏手柄，并通过浏览器连接到 JetBot 的控制界面。

游戏手柄配置

1. 识别游戏手柄索引

不同的游戏手柄在系统中可能有不同的索引编号。要确定你的游戏手柄索引：

打开浏览器游戏手柄测试页面
按下手柄上的按钮
记录下响应你操作的控制器索引号

2. 创建控制器实例

使用以下代码创建并显示游戏手柄控制器：

import ipywidgets.widgets as widgets

controller = widgets.Controller(index=1)  # 替换为你的控制器索引
display(controller)

如果看到"连接游戏手柄并按下任意按钮"的提示，请按下手柄上的任意按钮激活连接。

电机控制连接

1. 初始化机器人实例

from jetbot import Robot
import traitlets

robot = Robot()

2. 映射手柄控制到电机

我们将手柄的垂直轴映射到机器人的左右电机。注意这里使用了负值转换，因为手柄的默认方向与直觉相反。

left_link = traitlets.dlink((controller.axes[1], 'value'), (robot.left_motor, 'value'), transform=lambda x: -x)
right_link = traitlets.dlink((controller.axes[3], 'value'), (robot.right_motor, 'value'), transform=lambda x: -x)

警告：执行此代码后，移动手柄摇杆将立即控制机器人移动！

视频流设置

1. 创建图像显示部件

image = widgets.Image(format='jpeg', width=300, height=300)
display(image)

2. 初始化摄像头

from jetbot import Camera
camera = Camera.instance()

3. 连接摄像头到图像显示

由于摄像头输出是BGR8格式，而图像部件需要JPEG格式，我们需要进行转换：

from jetbot import bgr8_to_jpeg
camera_link = traitlets.dlink((camera, 'value'), (image, 'value'), transform=bgr8_to_jpeg)

现在你应该能看到实时视频流了。提示：可以右键点击输出单元格，选择"创建新视图"将视频流显示在独立窗口。

安全机制

1. 网络断开保护

为防止网络断开时机器人失控，我们添加心跳检测机制：

from jetbot import Heartbeat

def handle_heartbeat_status(change):
    if change['new'] == Heartbeat.Status.dead:
        camera_link.unlink()
        left_link.unlink()
        right_link.unlink()
        robot.stop()

heartbeat = Heartbeat(period=0.5)
heartbeat.observe(handle_heartbeat_status, names='status')

当网络断开时，机器人会自动停止，并断开所有控制连接。

2. 重新连接

网络恢复后，可以重新建立连接：

left_link = traitlets.dlink((controller.axes[1], 'value'), (robot.left_motor, 'value'), transform=lambda x: -x)
right_link = traitlets.dlink((controller.axes[3], 'value'), (robot.right_motor, 'value'), transform=lambda x: -x)
camera_link = traitlets.dlink((camera, 'value'), (image, 'value'), transform=bgr8_to_jpeg)

图像捕捉功能

1. 设置快照功能

我们可以将手柄的右肩键(按钮5)设置为拍照按钮：

import uuid
import subprocess

subprocess.call(['mkdir', '-p', 'snapshots'])
snapshot_image = widgets.Image(format='jpeg', width=300, height=300)

def save_snapshot(change):
    if change['new']:  # 当按钮按下时
        file_path = 'snapshots/' + str(uuid.uuid1()) + '.jpg'
        with open(file_path, 'wb') as f:
            f.write(image.value)  # 保存当前图像
        snapshot_image.value = image.value  # 显示快照

controller.buttons[5].observe(save_snapshot, names='value')
display(widgets.HBox([image, snapshot_image]))
display(controller)

每次按下右肩键，系统会保存当前画面到snapshots目录，并使用UUID生成唯一文件名。