AR应用可让虚拟人物在用户家中表演一首欢快版贝多芬经典作品据外媒NewAtlas报道

据外媒New Atlas报道，增强现实技术已经可以让人们在购买前将家具摆放在房间里，将照片拍得栩栩如生，并在街头进行游戏。现在，增强现实技术可以让一个栩栩如生的虚拟人物在人们的前厅表演一首欢快版的贝多芬经典作品。
文章插图
The Piano Guys与AR/VR开发商Massive Technologies合作，让乐队的Jon Schmidt“坐在”人们家里的钢琴前或虚拟的钢琴前。
Massive Technologies已经生成了一个逼真的Schmidt头像，可以 “以完全的视觉和音乐精度 ”进行表演。智能手机或平板电脑用户只需启动AR Pianist iOS/Android应用，将设备的后置摄像头对准任何一架钢琴，应用就会将Schmidt放在键盘前。
文章插图
该应用利用机器学习将虚拟演奏家放置在钢琴旁，精确度在一厘米之内，设备持有者可以在空间内移动6个自由度，从任何角度观看他的演奏。如果用户想用这种体验向大师学习，播放速度可以放慢100倍。
弹奏时突出音符的乐谱也会在应用中滚动，以帮助学习，还有一个视图会在屏幕上亮起并对琴键进行颜色编码，让学生在自己的钢琴上 “与Jon一起演奏” 。这款应用可以利用移动设备的麦克风听出音调的差异，并能提供实时反馈。
【AR应用可让虚拟人物在用户家中表演一首欢快版贝多芬经典作品】当然，现实世界中钢琴的琴键不会移动，乐器也会保持静音，但在屏幕上，弹奏区域会栩栩如生，移动设备的扬声器也会响起个人在家音乐会的音符。也就是说，如果用户有一台配备MIDI的原声钢琴或数码钢琴，这款应用可以无线触发音符在家中钢琴上发出声音。
文章插图
“任何88键的键盘乐器，无论是原声的还是数字的，都可以工作，但如果一个人根本没有钢琴，这也不是什么障碍， ”视频制作经理和The Piano Guys的官方 “技术人员”Craig Knudsen解释说。 “在这种情况下， AR Pianist将识别一个清晰的地板空间或桌面，并提供一个详细的雅马哈C7 Neo音乐会三角琴的3D模型，在The Piano Guys的许多唱片和专辑封面上都有体现。 ”
The Piano Guys为他们在AR Pianist上的首次亮相所选择的曲目来自他们的最新专辑《10》--其中包括一首贝多芬《致爱丽丝》的改编版，正好赶上这位古典作曲家下个月的250岁生日。这款应用还包括一个不断增长的由世界级演奏家演奏的曲库，但只有《致爱丽丝》的特色是Jon Schmidt的动作捕捉3D头像。其他的则是一个普通演奏家的头像。
文章插图
据报道，该应用兼容过去几年发布的大多数智能手机和平板电脑，但那些包装激光雷达技术的设备，如iPhone12 ，或ToF传感器，如三星Galaxy S20 ，将有一个改进的体验。
AR Pianist应用是免费下载的，但需要每周支付2.99美元或每年59.99美元的订阅费，就可以无限次使用所有歌曲和高级功能。该应用的未来计划包括一个完整的AR/VR版本，将与Oculus Quest等头显配合使用。