添加微信号：AIGC_Tech，公众号小助手会拉你进群！点击下方名片关注AIGC Studio公众号！
点击下方名片关注AIGC Studio公众号！获取最新AI前沿应用/AIGC实践教程！
不用专业棚、不用深度相机，一部手机 + 普通日光就能重建高保真 3D Avatar，2K@120FPS 实时驱动，渲染延迟 < 8 ms。
由阿里巴巴集团，上海交通大学在SIGGRAPH Asia 2025提出的HRM²Avatar可通过单目智能手机扫描创建具有逼真服装动态效果的高保真虚拟化身，在 iPhone 15 Pro Max 上可实现 2048×945@120FPS 的分辨率，在 Apple Vision Pro 上可实现 1920×1824x2@90FPS 的分辨率，并采集 533,695 个斑点。每个受试者的数据均使用单部 iPhone 采集 5 分钟。代码已开源，淘宝旗舰店同款上线。
相关链接
论⽂：https://acennr-engine.github.io/HRM2Avatar/TaoAvatar 主⻚：https://acennr-engine.github.io/HRM2Avatar/ 仓库：https://github.com/alibaba/Taobao3D/tree/main/HRM2Avatar
一句话看懂 HRM²Avatar
| 单目手机视频 | ||
| iPhone 直驱 120FPS | ||
| 显式网格 + 3DGS 混合建模 |
为什么"手机 3D 人"总翻车？
几何稀碎
手机拍得远，衣褶、头发等高频细节全被磨成"棉花糖"。动作—外观耦合
一抬手，布料、光照、阴影全搅在一起，模型直接"失忆"。移动端算力天花板
纯 3DGS 点数一多，带宽爆炸，iPhone 也卡成 PPT。
> 一句话：又要高清、又要能动、还要在手机跑，等于让单反装进口袋。
人类裁缝怎么做衣服，AI 就怎么捏人
HRM²Avatar 把流程拆成"裁缝三部曲"：
| ① 量体 | 静态扫描 | ||
| ② 裁片 | 动态扫描 | ||
| ③ 上料 | 网格+3DGS 混合 |
> 网格当"骨架"，3DGS 当"真皮"，既不会穿模，也不会掉帧。
方法概述
基于对受试者的两阶段手机扫描数据，构建了一个穿戴衣物的网格驱动高斯化身。静态、纹理丰富的图像对高斯属性 𝗴 施加严格的监督，而动态、运动密集型序列则优先优化形变 ΔVd和光照L。通过形变多层感知器 (MLP)、光照 MLP 和 GPU 驱动的高斯渲染管线，可以在移动设备上实现逼真化身的实时渲染和动画。
实验结果
| HRM²Avatar | |||
|---|---|---|---|
| 0.057 | |||
| 26.7 | |||
| 120 | |||
| 8 h |
> Neuman 数据集跨姿态测试：衣袖褶皱、袖口印花全程在线，0 漂移。
结语
当 3D 重建从"专业影棚"走向"口袋手机"，数字人才真正迈出实验室。HRM²Avatar 用一套"量体-裁片-上料"的裁缝思维，把扫描成本砍到 0、训练时间砍半、渲染帧率拉满，让每个人都能 5 分钟捏一个 120FPS 的自己。
> 下一步，也许我们只需对着镜子挥挥手，就能让数字分身替我们直播、开会、跳广场舞——Avatar 时代，真的来了。
感谢你看到这里，添加小助手 AIGC_Tech 加入官方 AIGC读者交流群，下方扫码加入 AIGC Studio 星球，获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等，欢迎一起交流学习💗～
没有评论:
发表评论