ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

李飞飞深度解读Atlas:多模态世界模型突破传统,或成通往AGI基础原语!

李飞飞深度解读Atlas:多模态世界模型突破传统,或成通往AGI基础原语! Atlas核心亮点李飞飞拉上World Labs另外两位联创做客a16z解读「全球首个」多模态世界模型Atlas。Atlas亮点颇多基本动作是换位置继续看预测新视角将生成和重建合二为一用相机位姿连接同时处理多模态大幅减少3D采集工作量三部iPhone也能拍出《黑客帝国》式子弹时间应用领域广泛可助力机器人不止于逼真画面未来还将补上动态等功能其「新视角预测」或成通往AGI的基础原语。Atlas详细介绍Atlas是什么为什么重要Justin介绍Atlas有生成、重建和模拟世界三项基本能力。它擅长以相机为条件的生成和稀疏3D重建还可用于模拟。子弹时间视频说法源于《黑客帝国》现在用Atlas只需三台iPhone就能拍摄并重新设计镜头。Atlas核心是新视角预测与LLM和视频模型不同。Ben指出Atlas输入帧有明确空间意义与其他视频模型不同。放大的视频模型还是新架构Justin认为Atlas是新架构它首次将生成和重建放入同一模型且是多模态模型原生处理多种模态。Justin解释3D采用深度图表示多模态共同处理。李飞飞补充Atlas实现了像素生成和重建的统一以视角为锚点结合二者非常强大。空间智能以及新视角预测的重要性李飞飞表示空间智能要实现多种功能理解空间几何是关键Atlas在这方面迈出重要一步。World Labs成立两年半之前的Marble模型与Atlas输出模态不同后者以新视角预测为基本原语。Ben讲述从多视角得到3D的过程稠密重建繁琐现在想降低采集数量。李飞飞提到斯坦福演示很神奇。Justin表示生成和重建需配合Ben指出重建与生成的关系Atlas能做到而Marble有输入限制。你们一开始就知道它会成功吗李飞飞和Justin都对项目有信心但没想到效果这么好这么快。Justin认为目前架构扩展受算力限制。李飞飞分享小故事团队看到模型效果后决定推进项目。应用场景创意、游戏与机器人Ben表示创意流程需要生成式视角合成Marble能提供3D基础未来希望为用户提供更多控制扩展到建筑等领域。李飞飞称收购的SceniX公司技术与Atlas结合可解决机器人领域数据问题Atlas还可连接动作规划等。Justin补充训练机器人策略与其他AI应用不同仿真很重要Atlas未来有潜力。绕不开的问题视频模型与世界模型Justin表示Marble是静态模型Atlas支持动态发布视频中有动态展示。他认为重建3D与动态不冲突Atlas预训练接触大量动态未来会改进。我们能走进4D视频吗Ben想推进多模态李飞飞解释为可编辑性是关键。Ben想提升编辑能力到工业级难点是不牺牲质量。李飞飞表示空间智能要形成闭环。Justin认为Atlas新视角预测具有AI完备性李飞飞从演化视角说明其重要性。最后主持人祝贺发布并期待未来模型。
返回列表