将Pytorch模型部署到Android端

最新推荐文章于 2025-05-21 20:31:12 发布

YDDUONG

最新推荐文章于 2025-05-21 20:31:12 发布

阅读量2.4w

点赞数 24

CC 4.0 BY-SA版权

分类专栏： Android Pytorch 文章标签： pytorchMobile pytorch模型部署 Android CameraX

本文链接：https://blog.csdn.net/y_dd6011/article/details/104751029

最后效果：
在这里插入图片描述
准备：

pytorch1.4（pytorch环境至少要在1.3以上，当前最新版本1.4）
已经训练好的pytorch模型
Jetpack组件：CameraX（这个用来调用相机的）

如有需要，可以先看看我这两篇博文：
如果pytorch环境不满足，进行pytorch环境升级：win10+pytorch1.4+cuda10.1安装：从显卡驱动开始
Jetpack组件：CameraX，使用前一定要先了解：Jetpack CameraX实践，预览（preview）及分析（analysis）

模型转化

# pytorch环境中
model_pth = os.path.join(MODEL_PATH, 'resnet18.pth') # resnet18模型的参数文件
mobile_pt = os.path.join(MODEL_PATH, 'resnet18.pt')  # 将resnet18模型保存为Android可以调用的文件

model = make_model('resnet18') # 搭建网络
model.load_state_dict(torch.load(model_pth)) # 加载参数
model.eval() # 模型设为评估模式

# 1张3通道224*224的图片
input_tensor = torch.rand(1, 3, 224, 224) # 设定输入数据格式

mobile = torch.jit.trace(model, input_tensor) # 模型转化
mobile.save(mobile_pt) # 保存文件

注：这样就完成了模型的转化，得到resnet18.pt文件

Android 设置CameraX：实现预览

添加依赖：

// CameraX core library using the camera2 implementation
def camerax_version = "1.0.0-beta01"
implementation "androidx.camera:camera-camera2:${camerax_version}"
implementation "androidx.camera:camera-view:1.0.0-alpha08"
implementation "androidx.camera:camera-extensions:1.0.0-alpha08"
implementation "androidx.camera:camera-lifecycle:${camerax_version}"

//pytorch
implementation 'org.pytorch:pytorch_android:1.4.0'
implementation 'org.pytorch:pytorch_android_torchvision:1.4.0'

申请相机权限及跳转：
在AndroidManifest.xml中添加权限：<uses-permission android:name="android.permission.CAMERA" />，然后跳转CameraX页面之前进行动态权限申请（也可以将动态权限申请放在CameraXFragment中，调用相机时再申请）：

package com.example.gca.leftFragment

import android.Manifest
......
import kotlinx.android.synthetic.main.left_fragment.*

private const val REQUEST_CODE_PERMISSIONS = 10 // 权限标识符
private val REQUIRED_PERMISSIONS = arrayOf(Manifest.permission.CAMERA) // 相机权限

class LeftFragment : Fragment() {
   

    override fun onCreateView(
        inflater: LayoutInflater, container: ViewGroup?,
        savedInstanceState: Bundle?
    ): View? {
   
        return inflater.inflate(R.layout.left_fragment, container, false)
    }

    override fun onActivityCreated(savedInstanceState: Bundle?) {
   
        super.onActivityCreated(savedInstanceState)

        // 去到CameraXFragment页面
        buttonCameraX.setOnClickListener {
   
            // 检查相机权限
            if (allPermissionsGranted()) {
   
            	// 这里是用导航组件（Navigation）进行跳转的
                Navigation.findNavController(it).navigate(R.id.action_leftFragment_to_cameraXFragment)
            } else {
   
                requestPermissions(REQUIRED_PERMISSIONS, REQUEST_CODE_PERMISSIONS)
            }
        }
    }

    // 请求权限结果回调
    override fun onRequestPermissionsResult(
        requestCode: Int, permissions: Array<String>, grantResults: IntArray
    ) {
   
        if (requestCode == REQUEST_CODE_PERMISSIONS) {
   
            if (allPermissionsGranted()) {
   
                // 权限通过，进行跳转
                Navigation.findNavController(requireView()).navigate(R.id.action_leftFragment_to_cameraXFragment)
            } else {
   
                Toast.makeText(
                    requireContext(),
                    "Permissions not granted by the user.",
                    Toast.LENGTH_SHORT
                ).show()
            }
        }
    }

    // 检查权限
    private fun allPermissionsGranted() = REQUIRED_PERMISSIONS.all {
   
        ContextCompat.checkSelfPermission(
            requireContext(), it
        ) == PackageManager.PERMISSION_GRANTED
    }
}

新建一个fragment和布局文件（用来放置相机的），布局如下（fragment_camera_x.xml）：

<?xml version="1.0" encoding="utf-8"?>
<androidx.constraintlayout.widget.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:app="http://schemas.android.com/apk/res-auto"
    xmlns:tools

最低0.47元/天解锁文章