USDT Casino USDT Casino 分类>>
一块4090搞定实时视频生成!Adobe黑科技来了USDT Casino - 全球热门USDT游戏娱乐平台,安全稳定,极速出款
USDT Casino - 全球热门USDT游戏娱乐平台,安全稳定,极速出款(访问363050.com 领取888USDT)
游戏直播等实时渲染门槛要被击穿了?Adobe 的一项新研究带来新的可能。
近年来,视频合成技术已经取得了显著突破。其中,基于双向注意力机制的扩散 Transformer(DiT)可以生成具有复杂时序动态的逼真内容,但其非因果性设计导致无法满足实时流媒体等场景需求。
相比之下,另一类自回归(AR)模型虽然具有天然时序因果性优势,却因依赖有损向量量化技术而难以达到顶尖画质。
当前,融合两者优势的「教师强制」(Teacher Forcing,TF)和扩散强制( Diffusion Forcing ,DF)方法仍存在误差累积和曝光偏差等核心问题:前者因训练与推理的条件分布差异导致质量衰减,后者虽引入噪声上下文却牺牲了时序一致性。
这些局限性深刻制约着视频生成模型在实时交互应用中的性能边界。近日,Adobe 联合联合德克萨斯大学奥斯汀分校的研究者,在一项新研究中提出了名为 Self Forcing 的新颖算法,旨在解决自回归视频生成中的暴露偏差问题
该方法受到早期 RNN 时代序列建模技术的启发,通过在训练期间显式地展开自回归生成过程,来弥合训练与测试分布之间的差距。具体而言,每一帧的生成都以先前自生成的帧为条件,而不是依赖于真实的帧。
这种机制使得模型能够运用整体分布匹配损失函数(holistic distribution-matching losses)对完整的生成视频序列进行监督。通过迫使模型在训练中面对并从其自身的预测错误中学习,Self Forcing 算法能有效减轻暴露偏差并减少误差的累积。
尽管由于 Self Forcing 的序列特性会阻碍并行训练,乍看之下似乎在计算上代价高昂,但该研究证明,它可以高效地作为训练后阶段的一种算法来实现,此时模型在该阶段并不需要大量的梯度更新即可收敛。
通过采用少量步数的扩散主干网络以及精心设计的梯度截断策略,Self Forcing 算法的效率出乎意料地优于其他并行策略,在相同的实际训练时间内实现了更优的性能。此外,该研究还引入了一种滚动 KV 缓存机制,进一步提升了视频外推的效率。
该模型能够在单个 H100 GPU 上以 17 FPS 的帧率实现实时视频生成,延迟低于一秒,同时在生成质量上与近期较慢的双向和自回归视频扩散模型相比具有竞争力或更优。
这些进步为真正的交互式视频生成用例 —— 如直播、游戏和世界模拟 —— 打开了大门,在这些场景中,延迟预算以毫秒而非分钟为单位进行衡量。
研究者表示,采用 Self Forcing 的模型可以生成 480p 的准高清视频,首帧延迟约为 0.8 秒。在持续生成速率方面,单块 H100 GPU 约为 17 帧每秒,单块 RTX 4090 在优化后约为 10 帧每秒。目前可以生成基础的 5 秒视频以及外推延展后更长的 10 秒视频。
Prompt:这是一个奇幻剧风格的电影场景,描绘了一个人走过一片宁静的田野,到处都是漂浮的灯笼。每走一步,灯笼就会亮起来,散发出温暖、飘渺的光芒。这个人穿着飘逸的东方传统服装,动作优雅,表情安详而又略带沉思。背景是宁静的夜空,点缀着几颗星星和一轮新月,营造出梦幻般的氛围。相机的角度从背后,从中镜头的角度捕捉人物,突出他们的自然动作和发光的灯。
Prompt:一个老人穿着飘逸的绿色连衣裙,戴着一顶宽边太阳帽,在令人惊叹的日落中悠闲地漫步在南极洲冰冷的地形上。他饱经风霜的脸和慈祥的眼睛映照出夕阳的暖色调,夕阳投下长长的影子,使大地沐浴在金色的光芒中。这个男人的姿势直立,自信,双手放在背后。背景是崎岖的冰层和遥远的山脉,天空被涂成橙色、粉红色和紫色。这张照片有一种怀旧和梦幻的感觉,捕捉到了极地的宁静之美。
Prompt:灾难电影风格的戏剧性和动态场景,描绘了一场强大的海啸席卷保加利亚的一条狭窄小巷。河水汹涌而混乱,海浪猛烈地撞击着两岸的墙壁和建筑物。这条小巷两旁是饱经风吹雨打的老房子,它们的外墙部分被淹没和破碎。镜头角度较低,捕捉到海啸向前涌动的全部力量,营造出一种紧迫感和危机感。可以看到人们疯狂地奔跑,加剧了混乱。背景以遥远的地平线为特征,暗示着广阔的世界。
Self Forcing 的核心思想是:在训练阶段就采用与推理时相同的自回归展开方式生成视频。具体实现包含两个关键技术突破:
然而,即便采用少步扩散模型,若直接对整个自回归扩散过程执行反向传播,仍会导致内存消耗过大。为解决这一难题,研究者提出以下创新策略:
首先进行梯度截断。仅对每帧的最终去噪步骤进行反向传播,将梯度计算范围限制在关键环节。
然后是动态步数采样。突破推理阶段固定使用 T 步去噪的约束,在训练时对每个样本序列随机采样 1 至 T 步去噪步骤,并以第 s 步的去噪结果作为最终输出。这种随机采样机制确保所有中间去噪步骤都能获得监督信号。
最后是梯度流隔离。通过限制梯度向 KV 缓存嵌入的传播,在训练过程中切断当前帧与先前帧的梯度关联。
受大语言模型研究的启发,研究者为自回归扩散模型提出了一种滚动 KV 缓存机制,可以实现无限长视频生成且无需重新计算 KV 缓存。
如图 3 (c) 所示,研究者维护固定大小的 KV 缓存区,仅保留最近 L 帧的 token 嵌入。当生成新帧时,首先检测缓存是否已满,若达到容量上限则移除最旧的缓存条目后再存入新数据。在保持 O (TL) 时间复杂度的同时,确保生成每一新帧时都能获得足够的上下文信息。
配合 VBench 和用户偏好研究,研究者同步评估了生成视频的视觉质量与语义对齐度。同时,严格测试了 Self Forcing 在实时应用中的效率表现。在单个 NVIDIA H100 GPU 上,研究者综合评估了吞吐量和首帧延迟两项指标,全面衡量实时生成能力。
如下表 1 所示,研究者提出的分块自回归方案在 VBench 评估中全面超越所有基线模型,同时在人类偏好度测试中取得最优成绩。该方案还能实现 17 帧 / 秒的实时吞吐量,配合亚秒级首帧延迟,足以支持直播等实时视频流应用场景。
下图 4 展示了用户调研结果,将分块 Self Forcing 模型与多个重要基线模型进行了比较。
结果显示,本文方法在所有对比中持续获得最高偏好度,包括作为模型初始化基础的 Wan2.1 多步扩散模型。其中,帧级变体版本在保持强劲生成质量的同时,实现了最低延迟(0.45 秒),特别适合对延迟敏感的实时应用场景。这些实验结果均采用 DMD 损失函数作为优化目标。
采用 SiD 和 GAN 目标函数训练的模型在消融实验中表现出了类似的性能。如下图 5 所示,CausVid 存在误差累积问题,导致饱和度随时间推移不断增加。本文方法在画质上略优于 Wan2.1 或 SkyReels-V2,同时延迟时间缩短约 150 倍。
06月07日,河南将培育一批具有“独门绝技”的国有创新型企业,藏宝图,九州体育手机版登录入口,九游会官方入口吗,新宝6唯一官方网站登录
06月07日,【理响中国·人民至上@中国式现代化】推动物质文明和精神文明比翼齐飞,威尼斯人体育在线欢迎您,bv伟德入口,manbetx,万豪国际娱乐
06月07日,以科技创新塑造发展新优势 杭州怎么做?,365官方网站是多少,KU体育手机网址,bobber官网,钱柜0413
06月07日新闻周刊丨高效办成一件事 各地推出便民利企新举措→赌钱奔驰宝马AG管网博发网址沙巴体育app联系方式
06月07日“大冻梨”再宠“小金豆”:聚中央大街品东北美味迎龙年新春森林舞会游戏10博网址kok手机版注册天博网址是多少
06月07日中老铁路磨憨铁路口岸成为世卫组织认证首个“国际卫生陆港”万博官方登录万博登陆首页真钱信誉赌城亿博体育网址是多少……
06月07日,专家学者共赴闽北绿色之约 探索生态资产转化,癞子斗地主,银河网上开户官网,凤凰登录器官网,葡京体育最新地址
06月07日,聚焦“蓝色粮仓”建设 海洋领域专家共话海洋渔业创新发展,竞技宝官网测速站网址,新澳门赌盘,BC体育平台登录,胜负彩足球彩票官网
06月07日当年轻人的烦恼“穿越”到养老院asiAGame官方网站必赢网址谁知道了银河国际版德赢登入
06月07日,第二届“京津冀协同发展杯”公路自行车邀请赛河北大厂开赛,万博官网手机登录入口,永利集团旧网址,AG直达亚洲集团网站,银河开户平台
06月07日,在电影院里看奥运:氛围感满分 解锁体育消费新场景,新美高梅线上娱乐,澳门皇宫app,亚新快速登陆,MG电子在哪开户
06月07日,(财经天下)鲍威尔“泼冷水”,美联储降息节奏或放缓,鼎博手机下载版,伟德线上体育,万博网页版man手机版,晓游游戏大厅
06月07日新华社社评:为推进中国式现代化汇聚智慧和力量——热烈祝贺全国政协十四届二次会议胜利闭幕cc网投平台黄大仙救世A玩pg电子有什么技巧米乐到不了账为什么
06月07日兴业银行2024年半年报:持续打造价值银行 营收利润增速回正扑克牌二八杠大小千亿PT游戏必赢亚洲体验官网凤凰娱乐登录地址十
06月07日安徽池州:一根竹子兴村庄卖全球ManBetX实名认证开云app平台九游会官网ag登录皇冠体育网站正规
山东蒙阴冰雹大面积砸烂蜜桃,逆水寒 男装花神澳门上半年本地生产总值增长15.7%澳门棋牌游戏网宝马注册亚新官方网站万赢娱乐网站正式版
宋木子李飞给我笑点上强度了,你的肌肤有多自律亚洲杯国足0:1不敌卡塔尔 排名小组第三出线待定AG电子漏洞升博体育app下载飞禽走兽单机手机版乐动体育登陆
王曼昱把埃及选手打生气了,马嘉祺 淡淡的情绪密集的笑点东西问·中法建交60周年|徐波:民间交流如何共叙中法“甲子”情谊?河北唐山:1200名青年李大钊故里诵读红色经典 传承五四精神杏鑫app必威手机官网登录不了牛牛发4张牌抢庄心得乐鱼体育官方下载
杰伦·布朗冲向总决赛FMVP,自驾阿姨苏敏离婚手续仍未办成【东西问】专访俄罗斯国立东方艺术博物馆馆长 百年博物馆如何“走出”院墙?彩票365官网app188终身网站聚星平台登录快手澳门游戏官网平台
赵立坚妻子自曝患癌,主厨的餐桌:面条美方就黎以局势表态:停火协议没有破裂pg电子游戏试玩模拟器乐鱼登陆注册葡京平台直营雷竞技在线官网进入
芒果年会,网游新规草案链接被删世界民众如何看中国?经济强国认可度最广鸿博体育网投平台威尼期人线路检测拉斯维加斯之夜Vegas HustleAG真人厅
美将建一港口距台湾不到200公里,路人把棉衣绑成绳救起落水学生“板书老师”走红,也是对“PPT依赖症”说不澳门电子游戏银河网站九州备用网址多少手机怎么买足球比赛亚盈怎么下载
2025-06-17 11:26:37
浏览次数: 次
返回列表
友情链接:





