塑造想象力：使用人工智能创建新的3D可打印物体

塑造想象力：使用人工智能创建新的3D可打印物体

使用Midjourney和开源项目Shap-E、MVDream和threestudio将您的想法转化为有形的物品

从文本提示中打印的3D物体，作者提供的图片

如果您一直在阅读我在Medium上的文章，那么您就知道我喜欢使用人工智能进行创造性的实验，并写下我的经验。我已经涵盖了图像生成、创意写作和音乐创作等领域。这是我第一次将研究扩展到了第三维度。我研究了使用商业和开源的人工智能工具来创建新的物理物体，并使用3D打印机将它们打印出来。在本文中，我将向您展示我使用各种商业和开源工具设计和打印四个不同的3D网格的步骤。您可以在附录的3D画廊中找到这四个物体。

概述

在接下来的几节中，我将为您介绍我使用不同的工具进行的四个实验，并展示结果。第一个实验使用了商业工具：Midjourney用于创建2D图像，以及一个名为3dMaker.ai的网站，用于提取3D网格，即包含用于在3D中显示和打印的几何形状的文件。第二个实验使用了OpenAI的开源AI模型Shape-E [1]。第三个实验使用了一个名为MVDream [2]的开源模型，第四个实验使用了MVDream和另一个名为threestudio [3]的开源项目的组合。

在所有情况下，我都是从一个文本提示开始，生成一个3D网格，然后使用开源桌面应用程序Blender来修改和清理3D网格。然后，我使用桌面上的“切片”应用程序Ultimaker Cura和PrusaSlicer来准备和预览3D网格，然后在当地图书馆中打印它们。如果您有兴趣打印这些物体，您可以在我的Thingiverse个人资料页面上查看它们。

在介绍完这四个示例之后，我将谈谈使用人工智能生成3D物体的社会影响和伦理问题。我将讨论各种服务和系统的所有权政策。最后，我将总结我从实验中学到的东西。

使用Midjourney和3dMaker.ai创建3D物体

对于我的第一个实验，我从Midjourney开始，这是一个根据文本提示创建图像的商业服务。有关该服务的更多信息，请查看我的之前的文章。

为了创建一个2D图像，我登录到我的Midjourney账户，并输入了以下提示：“一个简单的几何形状的3D打印雕塑，纯白色塑料，放在一个小的白色塑料基座上，灰色背景”。它创建了四个缩略图图像，如下所示。

Midjourney生成的3D物体的2D渲染图，作者提供的图片

所有四个图像都非常好。系统了解3D打印；所有形式都很有趣且可打印。我最喜欢左上角的“Figure 8”图像。然后，我使用Midjourney的放大功能创建了一个更大的图像。

使用Clipdrop去除背景

从2D图像创建3D网格的下一步是去除场景的背景。许多人工智能模型都可以做到这一点，但我发现了一个名为Clipdrop的免费服务，它可以很好地完成这项工作。Clipdrop是由stability.ai提供的，可以通过Web浏览器访问。

Midjourney的2D图像（左），Clipdrop用户界面（中），结果（右），作者提供的图片

从上面的图像序列中可以看出，Clipdrop非常容易使用。我进入网站，上传了我的源图像，然后点击“Remove background”按钮。系统很好地去除了背景，包括阴影，但保留了雕塑的所有细节。然后，我下载了生成的图像。

使用3dMaker.ai从2D图像创建3D网格

为了打印一个3D模型，我需要先将Midjourney创建的2D图像转换为3D网格。有几个开源模型可以做到这一点，但我发现了一个名为3dMaker.ai的商业服务，它可以很好地完成这项工作，但需要支付费用。

Clipdrop生成的图像（左），3dMaker .ai用户界面（中），生成的3D网格（右），作者提供的图片

为了创建3D网格，我访问了3dMaker.ai，创建了一个账户，并上传了去除背景的2D图像。创建3D网格有两个选择：标准质量（25美元）和高质量（40美元）。该网站表示，标准质量适用于硬表面、有机、高度详细的输入，而高质量适用于有机、非常高度详细的输入。我选择了标准质量，并点击了“Generate”按钮。结果大约需要30分钟，然后我以OBJ格式下载了模型，这是一种描述3D几何形状的常见格式。结果非常出色！它捕捉到了原始图像的细节，并忠实地构建了图像的背部。

3D Maker AI创建的网格背面的三个视图，作者提供的图片

令人惊讶的是，3D Maker AI仅根据正面视图的一个图像就创建了雕塑的背面细节。您可以在本文后面看到该服务的另一个输出示例。

3D打印服务和当地图书馆

这个实验的最后一步是打印3D网格。我没有自己的3D打印机，但令我惊喜的是，波士顿地区的许多公共图书馆提供免费或低成本的3D打印服务。居民可以使用这些打印机制作有用的物品，如手机壳和曲奇切割器，以及小型装饰物。

图书馆提供不同类型的访问方式。有些图书馆在“创客空间”中配备了3D打印机，这是一种协作工作空间，居民可以在其中聚集起来创造、发明和学习。其他图书馆则提供在线打印服务，居民可以上传3D网格进行打印。图书馆的服务也有所不同，如最大打印尺寸和打印材料颜色的选择。

打印3D物体

为了打印3D网格，我首先需要准备一个文件。3D打印的标准文件格式是STL，但3dMaker.ai不支持导出该格式。因此，我使用了一个名为Blender的开源桌面应用程序进行读取OBJ文件并将其导出为STL。然后，我启动了一个名为PrusaSlicer的切片应用程序，并导入了STL文件以预览打印效果。

PrusaSlicer的用户界面（左），以及Waltham公共图书馆的Prusa 3D打印机（右），作者提供的图片

我在Waltham公共图书馆的创客空间使用了深灰色的丝线进行打印。在3D打印中，丝线是熔融沉积建模（FDM）打印机的热塑性原料。它以卷筒的形式提供，材料各异，通过打印机的喷嘴熔化和挤出，逐层构建物体。居民可以自由使用Waltham图书馆的3D打印机打印物体。我使用他们的Prusa MK3S打印机和0.6mm的喷嘴打印了上面的样品。

我还使用白色丝线在Woburn公共图书馆使用他们的在线表单进行打印。他们允许打印高度达到11英寸，但由于打印时间的原因，我将我的打印高度设置为6.5英寸。他们不接受打印时间超过10小时的任务。与其他图书馆不同，Woburn图书馆会收取打印材料的费用。但他们会发放每月5美元的信用额。在使用信用后，我的总费用为3.63美元。这是两个打印件。

在Waltham公共图书馆打印的最终Figure 8打印件（左）和在Woburn公共图书馆打印的打印件（右），作者提供的图片

这两个打印件都非常出色！在Waltham打印的那个只有4.75英寸高，但显示了原始Midjourny图像的许多细节。由于在相对较小的比例下打印，您可以看到一些分层痕迹。Waltham的免费打印服务仅限于创建高达8小时的物体。在Woburn打印的那个在6.5英寸高时看起来更好，分层痕迹较少。但是，物体表面上有一些深色痕迹。

使用Shape-E创建3D物体

对于我的下一个实验，我使用了OpenAI的开源AI模型Shape-E [1]，它可以根据文本提示创建3D网格。Shap-E的名称是对他们的DALL-E AI模型的一个变种，该模型可以根据文本提示创建2D图像。以下是他们论文中的一些示例图像。

Shap-E 模型

2023年5月，OpenAI发布了一款名为 Shap-E 的文本到3D模型。该系统旨在通过生成隐式函数的参数来创建3D网格，从而实现详细的3D可视化渲染。他们采用了两步训练过程，首先将3D资源映射到参数，然后使用条件扩散模型对结果进行优化。这种方法可以高效地根据文本提示生成各种各样的3D模型。每个样本在GPU上生成大约需要13秒[1]。OpenAI在GitHub上以MIT开源许可证发布了训练模型的源代码和权重。

该系统使用了三个AI模型，详见OpenAI的