AIGC文本生成3D模型

本文介绍如何使用GPU云服务器搭建Stable Diffusion模型，并基于ModelScope框架和HRN人脸重建模型，实现使用文本生成3D模型。

背景信息

自多态模型GPT-4发布后，AIGC（AI Generated Content，AI生成内容）时代正扑面而来，从单一的文字文本，演化到更丰富的图片、视频、音频、3D模型等。

本文将基于HRN人脸重建模型，以人脸头像作为输入，利用层次化表征实现快速人脸几何、纹理恢复，指导您如何使用文本生成高精度3D模型。关于模型的详细信息，请参见HRN人脸重建模型。

重要

• 阿里云不对第三方模型“HRN人脸重建模型”的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。

• 您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。

操作步骤

创建ECS实例

本文使用的ai-inference-solution市场镜像中，内置了以下三个模型及运行环境。

• v1-5-pruned-emaonly.safetensors：Stable Diffusion v1.5模型，一种潜在的text-to-image（文本到图像）的扩散模型，能够在给定任何文本输入的情况下生成逼真的图像。

  说明

  该模型中文提示词效果不好，建议使用英文提示词。

• Taiyi-Stable-Diffusion-1B-Chinese-v0.1：太乙-中文模型，基于0.2亿筛选过的中文图文对训练，可以使用中文进行AI绘画。

• Taiyi-Stable-Diffusion-1B-Anime-Chinese-v0.1：太乙-动漫风格模型，首个开源的中文Stable Diffusion动漫模型，该模型是基于Taiyi-Stable-Diffusion-1B-Chinese-v0.1进行继续训练，经过100万筛选过的动漫中文图文对训练得到的。太乙-动漫风格模型不仅能够生成精美的动漫图像，还保留了太乙-中文模型对中文概念强大的理解能力。

1. 前往