“FURNITURE”：融合AI与AR的智能家具应用探索

### “FURNITURE”：融合AI与AR的创新家具应用 在科技飞速发展的今天，人工智能（AI）和增强现实（AR）技术的融合为我们带来了全新的体验。“FURNITURE”应用就是这样一款创新的移动AR应用，它将AI/ML与AR技术相结合，为用户提供了独特的家具识别和增强现实体验。 #### 1. 技术选择与背景 使用云库虽然先进，但云计算和存储存在额外成本。为了进行本次研究，选择了AutoML框架，并利用谷歌云服务的免费试用版。AutoML可在Vertex平台上免费进行ML模型训练，这为研究提供了便利。 #### 2. “FURNITURE”应用的概念 “FURNITURE”应用具有两个互补的功能： - **家具风格验证**：使用ML训练模型判断家具图像是否符合预定义的风格，验证结果以相似度百分比表示，70% - 100%的相似度被认为验证通过。 - **增强现实展示**：当家具的真实性得到验证后，为其添加该家具风格的历史信息和3D模型。 与以往研究不同的是，本次研究的AR增强效果不仅针对与参考图像相同的对象或图像，还可针对相似的对象或图像触发，并且受ML过程结果的限制。这使得应用的使用范围更广，适用于学生、专业人士和公众等不同用户群体。 #### 3. 应用的主要流程 “FURNITURE”应用主要包含以下三个流程： - **AI/ML流程** - **ML模型训练**：对展示家具对象的图像进行简单识别和分类，判断其是否属于选定的家具风格。该过程至少需要100张图像的数据集，随着可用图像的增加，ML模型将重新训练以提高识别和分类的准确性。首次阶段，识别分数在70% - 100%之间的图像将被视为验证通过。 - **ML模型执行**：执行ML模型并得出相似度分数。 - **AR流程**：选择能代表所选家具风格的优质图像，并准备与之关联的AR增强效果。只有当图像验证的相似度分数至少为70%时，AR流程才会被触发。 - **用户体验流程** - 启动应用后，显示用户拍摄或制作的图像。若没有图像，会提示用户提供照片并保存到指定文件夹。 - 选择图像后，点击“验证”按钮，应用将进入AI/ML流程对图像进行分类。 - 若验证相似度分数至少为70%，图像上会显示绿色标记，并出现进入AR流程的按钮；若低于70%，仅显示红色标记，AR流程将被禁用。 - 进入AR流程后，设备的摄像头将打开，相关增强效果（如3D模型和历史风格解释）将叠加在家具对象或其图像的真实场景上。 #### 4. 以Guéridon桌为例的应用展示 - **家具信息与增强内容**：本次研究选择了Guéridon桌作为研究对象。Guéridon桌是一种小圆桌，有直腿或弯腿支撑，可能有木雕或镀金青铜的拟人化装饰。它于17世纪中叶出现在法国，材质多样，至今仍在现代环境中使用。应用中关于Guéridon桌的增强信息包括其详细描述、文化历史背景、物理背景、包含该家具的博物馆或古董店位置以及销售现代仿制品的商店位置（可选）。 - **3D模型的获取**：为了实现应用概念，对一张19世纪末 - 20世纪初在法国生产的Guéridon桌进行了3D扫描。通过摄影测量技术，从不同角度拍摄多张重叠图像，创建该桌子的数字复制品。具体工作流程如下： 1. **图像预处理**：使用Photoshop消除背景。 2. **图像处理**：在Agisoft Metashape中进行处理。 3. **3D模型生成**：在Agisoft中生成3D模型。 4. **图像后处理**：使用Autodesk Meshmixer、Instant Meshes和Agis