科技E观察：搭建学术研究与工业落地的桥梁，阿里巴巴开源大型3D家具数据集阿里巴巴淘系技术部与英国伦敦大学伯贝

阿里巴巴淘系技术部与英国伦敦大学伯贝克学院SteveMaybank教授（FellowoftheIEEEandaMemberoftheAcademiaEuropaea,theKoenderinkPrizein2008）、悉尼大学陶大程教授（FellowoftheIEEE,ACMandAustralianAcademyofScience）等国际知名学者合作，与3月30日正式开源业界首个饱含纹理细节的大型3D家具数据集（3D-FUTURE），共同推动3D家居智能研究。并面向全球3D几何与视觉研究爱好者同步启动第一届阿里巴巴3D人工智能挑战赛暨IJCAI-PRICAI2020Workshop 。
什么是3D-FUTURE？

文章图片
在过去十多年里，科学家们在3D视觉及几何的研究投入了巨大的努力，但是3D人工智能的工业落地任然困难重重，尤其是在家居家装行业。阿里巴巴淘系技术部协同躺平设计家也在持续不断地探索数字化家居建设。以真实家居场景为背景，定义了许多新问题，进行了大量的知识重建，并结合3D人工智能技术初步打造了场景化数字营销，推出了智能设计搭配服务。同时，在相关团队的技术研发过程中发现，海量的高质量3D模型与纹理，以及专业的房屋设计布局是推动未来数字化家居建设的基础。为了启发高质量3D模型理解与重建，并且建立学术研究与工业应用的桥梁。阿里巴巴针对家居场景开源大型3D数据集3D-FUTURE（3DFurnitureshapewithTextURE）。

文章图片
其初版包含20,000+高清室内场景专业设计渲染图，与10,000+精细的高质量3D家具模型及对应的高清且饱含信息的纹理，数据积累沉淀于阿里巴巴官方家装家居设计平台-躺平设计家。目前提供家具实例分割标注，完全真实的2D到3D的对准标注，以及专业的细粒度家具属性标注。阿里巴巴希望持续建设3D-FUTURE ，不断为3D几何及视觉研究提供需求的标注以及新特征，包括但不限于已有数据扩充，完整房屋布局信息提供， 3D模型分割标注等，以推进学术尖端科技的工业落地。
为什么需要3D-FUTURE？

文章图片
当前大型开源3D数据集都存在一些不足，不足以支持工业级的3D模型重建与纹理恢复等领域的深入细致研究。首先，已开源数据集的大多数3DCAD模型(家具类)都是从网上收集的，因此普遍存在细节缺失以及无纹理或纹理信息度低等问题，且没有多样专业的属性标签。针对此现象， 3D-FUTURE提供多种不同风格且带有丰富细节的高质量3D家具模型，并配备了高清饱含信息的纹理以及多样化的属性标签。其次，目前学界暂无组织较好的大规模室内仿真图像数据集。 3D-FUTURE通过最先进的工业3D渲染引擎，在专业设计师所设计的5,000多个场景中渲染产生了20,000+图像，填补了这一空白。最后，现有数据集只提供2D-3D伪匹配，即根据2D图中物体，人工从开源3D模型池里选择与之相似的3D模型作为匹配结果。这种标注过程极有可能忽视掉一些局部的形状细节特征，导致提供的2D-3D匹配结果并非完全一致。因此难以支持数据驱动的高质量三维重建以及高精度形状检索等相关3D研究。与之相比， 3D-FUTURE提供的10,000+3D模型都是与2D渲染图中的物体真实配对的。我们相信， 3D-FUTURE这些特性可以启发高质量3D模型理解和重建等领域的创新研究。
阿里巴巴3D人工智能挑战赛暨IJCAI-PRICAI2020Workshop？
阿里巴巴淘系技术部联合来自于悉尼大学、英国伦敦大学伯贝克学院、墨尔本大学、中国科学院计算所的顶尖学者举办基于3D-FUTURE的第一届3D人工智能挑战赛暨IJCAI-PRICAI2020Workshop 。 3D几何与视觉研究是广受关注的基础研究领域，是建设未来3D智能世界必经之路。淘系技术部在人工智能国际顶级会议IJCAI-PRICAI举办workshop及竞赛，旨在总结目前最先进的3D几何与视觉技术，启发高质量3D模型理解与重建，并且建立学术研究与工业应用的桥梁。