在A100上用310M模型，实现每秒超30帧自回归视频生成，同时画面还保持高质量！
通过实现帧内并行采样，帧间自回归的方式，NFD让视频生成在保持较高生成质量的同时，生成效率大幅提升。
或许不久之后的游戏，就是玩家直接跟模型交互打游戏了，无需通过传统的游戏引擎。
比如在《我的世界》中，下面每个视频在NVIDIA A100 GPU上生成只需约0.48秒
值得一提的是，前段时间在X上火了的一款基于Minecraft的交互式自回归世界模型——MineWorld，也是这个微软研究院的团队做的。
当前多数的自回归视频生成模型如VideoPoet采用类似于Language Model的方式，将视频编码成离散视频Token，并逐个生成Token。
然而这种方式在生成的时候既没法利用GPU并行计算的能力，也破坏了帧内的相关性。
因此，研究人员采用了Next-Frame Diffusion(NFD)的方式来建模视频，其使用帧内双向注意力，帧间因果注意力机制的方式来建模视频，并采用扩散模型多步迭代生成连续Token。
这样做的好处是可以在生成的时候逐帧采样来流式生成视频，并在帧内并行生成以提高推理效率。
为进一步提高生成效率，研究人员进一步通过以下技术来减少推理时的总采样次数：
将一致性蒸馏扩展到视频领域，并专门针对视频模型优化，从而少量采样步骤，实现高效推理；提出了投机采样方法。由于相邻帧常常动作输入相同，模型使用当前动作输入生成多个后续帧，若输入动作发生变化，则丢弃投机生成的帧，以充分利用并行计算能力。
具体来说，NFD的架构包含一个将原始视觉信号转换为Token的Tokenizer，以及生成这些Token的基于扩散的Transformer模型。在Transformer内，研究人员使用了块状因果注意力机制，结合帧内的双向注意力和帧间的因果依赖，高效建模时空依赖性。
相比计算密集的3D全注意力，该方法将整体成本减少50%，支持高效地并行预测下一帧所有Token。
研究人员基于Flow Matching构建训练流程，追求简单和稳定性。对于视频帧xi，分配一个独立时间步t，并通过线性插值生成加噪版本：
在采样阶段，研究人员采用DPM-Solver++，通过以下公式对同一帧的所有Token去噪：
虽然NFD在推理阶段支持并行Token采样，受限于扩散模型的多步采样，实现实时视频生成仍具挑战性。
因此，研究人员首先将一致性蒸馏扩展到视频领域，通过数学变换将流匹配模型转换TrigFlow模型，从而简化了连续时间一致性模型的训练，并针对视频数据的特性进行调整。
鉴于这个发现，研究人员进一步提出了一种投机采样技术，通过并行预测多个未来帧加速推理。
在投机生成后，将预测动作与实际后续动作输入进行比较。一旦检测到预测与真实动作不一致，丢弃之后的所有投机帧，并从最后验证的帧重新开始生成
下表从视频内容的生成效率和视觉质量两个角度对比了本工作的方法和当前最先进方法。
其中，NFD指使用Flow Matching目标训练并通过DPM-Solver++进行18次采样的模型；NFD+为加速版本，通过一致性蒸馏实现4步采样，并结合了投机采样技术。
NFD+通过高效采样策略显著加速：130M和310M模型分别达到42.46FPS和31.14FPS，远超所有基线。
即使速度提升，NFD+仍保持竞争力的视觉质量，310M模型在PSNR上达到16.83，FVD为227，与更大的MineWorld模型表现相当。
最后总结来说，团队认为当下视频生成模型在各个领域百花齐放，有诞生像Sora、可灵、Veo3这样的产品，也有Genie、MineWorld这样的游戏世界模拟器，为未来世界模型的实现提供了巨大意义。随着视频模型广泛的应用，更灵活、更高效的生成范式变得越来越重要。
06月10日，广州塔1小时内6次“吸”闪电，凯发娱乐官网网页版入口，云顶娱乐app手机版，立博在线登录，新濠天地手机版
06月10日，福建春节全力保供稳价促消费 引导商贸流通企业节日期间正常营业，欧宝官网APP，龙8登录网站，age官网官方入口，缅华纳国际线日，雷军现身珠海航展，并登上运油-20参观，龙域游戏大厅，国际跳棋真人秀，龙王捕鱼下载，中欧官网体育
06月10日韩国就岸田文雄向靖国神社献祭品深表失望和遗憾亚美平台娱乐是不是真的天博体育最新版下载澳门新新银河e世博在哪里玩
06月10日藏医白淑军：破解藏医药传承“密码”万博网页登录页面设置优德2022世界杯乐虎国际足球亿博电子网投
06月10日“赣鄱粮仓”收粮记：智能守护科技收储视讯真人游戏投注登录博胜国际新匍京娱乐场ag9官网……
06月10日，串联九华山黄山旅游线路 池黄高铁开始联调联试，优博体育官方，beat365官方app下载手机，欧洲足球平台，棋牌游戏下载送88现金
06月10日，辽宁辽阳兰河河道塌陷面积约500平方米 未造成人员伤亡，现金网注册送钱28，凯发娱乐注册页面在哪里，九游会登录网站吗，vwin德赢体育欢迎
06月10日2024中国（长沙）民营企业科技创新发展大会在长沙召开188体育比分直播下载MG真人入口登录众慱棋牌官网个人中心天博体育APP苹果
06月10日，四川乐山官方通报男子翻越围栏爬佛头情况，三亿体育app，澳博体育在线登陆，乐动体育，扑克牌二八杠大小
06月10日，江苏扬州（泰州）直飞泰国曼谷国际客运航线复航，易博yb，亚博体育官方，大富豪官方网网址，bbin官网地址
06月10日，（新春走基层）上海浦东换上“新春装扮” 缤纷活动邀民众“欢喜过大年”，188体育开户，米乐在哪玩，乐虎国际体育外围，体育平台app大全下载
06月10日今年中国将强化教育医疗等民生领域价格执法检查体育彩票官网站下载平博国际平台太阳城网站是多少必威会员登录
06月10日国台办：“九二共识”是两岸对话协商的共同政治基础bb贝博狼堡德甲狼堡亚太下载九州体育在线买球百姓彩票登录平台跑狗
06月10日宁夏整治乡村振兴领域腐败和作风问题 2023年整改问题3183个乐虎国际手机客户端App下载好的足球外围app大发888竞彩官网亿博体育官网入口
如何看待重庆燃气换表后费用暴涨，邓超用孙俪的精油没晒伤航拍北齐古长城：色彩斑斓秋意浓188金宝愽百老汇足球BET9九卅娱乐真人游戏爱游戏体育下载官网
日本电商网站上线页面，明日方舟罗德岛第四届选美大赛“维护国家安全-全民问答挑战赛”启动礼在港举办可以赢线cm登陆金牌德州出什么事了彩6苹果下载地址
燕云十六声公测进度95%，向佐把李胜利拍进短剧中新健康丨过度运动或致急性肾损伤 专家：适度锻炼 警惕肌肉严重酸痛彩票官网下载app365bet体育客户世界杯玩法凤凰彩票体育APP
李子柒熊猫蜀锦裙是自己缝的，海贼王1114线“HADO”世界杯将“落户”上海pg电子麻将胡了bbin在线登陆真人娛乐国际厅英亚体育官方入口
网友评选21世纪最伟大的游戏，陈芋汐第三跳惊呆解说英国王室调整对慈善机构和团体的赞助kb体育app注册送金币的游戏MG真人在哪里玩ag真人正规平台网站
哥伦比亚大量人口失踪后无从寻觅，远离肠癌4种食物要少吃“十四冬”雪上项目比赛 黑龙江队再添1枚金牌现金网有哪些线上现金直营永利注册网雪缘圆
CBA全明星阵容公布，我脑海中的二向箔京津冀地区首艘智利直航“车厘子快线”抵达天津尊龙凯时人生就是博!线上炸金花手游足球滚球manbetx体育注册官网吗