现正在恰是「文本生视频」赛道百花齐放的时期，并且其使用场景尽头众，例如天生创意视频实质、创筑逛戏场景、创制动画和影戏。以至有切磋解=说还 能将视 频 天生用作 确切寰宇的模仿器，例如 OpenAI 今岁首就颁发过一份将视频天生模子举动寰宇模仿器的手艺通知。

　　文本生视频模子的这些近期使用既希望杀青互联网范畴级此外常识转移（例如从天生人类视频到天生机械人视频），也希望打通杀青通用智能体的道道（例如用单个政策限度 区别境况中区别状态 的机械人来履行众种○众样的职分）。

　　然而，实际情状是，文本生△视○频模子 的下逛使用○还▽ =很有 限，缘故包罗幻觉题目 以及 天生的视频实质不适应实○际物理机制等。

　　固然外面上可能通过放大数据集和模子巨细来有▽用减轻这些题目，但对视频天生模子来说柔性LED显示屏处理器小间距LED显示屏20足球赌注软件正规赌足球的软件24，，这会很难题。

　　局部缘故是标注◁和拾掇 □视频○的人力本钱很高。其它，视频天生 ○方面还没有一个尽头适合 …大范畴扩展的■架■构。

　　除了放大范畴，那文本生视频模子也能受益于=这一思绪吗？

　　为明晰答这一题目，一个众所机构的切磋团队寻求了视频□天生模◁子能自然取得的两种反应类型，即来自□视觉 - 措辞○模子（VLM）的 AI 反应和将天生的视频转换成运动限度时获得简直切寰宇履行反应。

　　区别于将天生的视频直接转换成○运动限度的政策，VideoAgent 的陶冶主意是操纵来自预陶冶 VLM 的反应来迭代式地优化天生的视频计划。

　　正在推理阶段，VideoAgent 会查问 VLM …以抉择最佳的更正版视频计划，然后正在…境况中履行该计划。

　　正在正在线履行历程中，VideoAgent 会侦察职分是…否已获胜落成欧洲杯投注入口，并遵循来自境况的履行反应和从境况网罗的其它数据进一步更正视频天■生模子。

　　该团队受划一性模子的胀动，提出了用于视频扩散模子的自我▽治疗划一性（self-conditioning consistency），其可改日自视频扩散模子的低质料样本进一步优化成高质料样本。

　　当可正在线拜望境况时，Vid eoAgent 会履行今朝 视频政 策并网罗其它获○胜轨迹，以进一步正在获胜轨迹上微调视频天生模子。

　　他们 起首研商的是 基于第一帧和措辞的视频天生，即遵循措辞刻画找到从初始图像入手的一个图像帧序○列。日常来说，当某个样从来自一个视频天生 模子 ○时，个中一局部更确切（入手局部），另一局部则充满幻觉（末端 局部）。

　　也即是说，固然天生△的视频计划可以无法十足落成指定的职分，但它能供给存心义的音讯，以助助进○一步更正以杀 青无误的计○划。

　　为了运用 如许的局部发展，该团队操纵了一个视频划一性模子，即基于之前的自我天生的样本为 gr ound tr uth 视频履行扩散，如许模子就可能◁学会保存视频简直切…局部，同时优化个中的幻觉局部。

　　其它，除了基□于之前天生的样从来 优化视频，该团队还纳入了反应，包罗来自□人类的反应和来自 VL=M 的反应。这被称为反应教导的自我治疗划一性。

　　正在陶冶了视频天生模子和视频优化模子之后，可采样★视频天生模子然后迭代式地操纵优化模○子来杀 青视频优化。

　　全体来说，VideoAgent 起首会基于第一帧和措辞的视频天生来「猜度」视频计划。

　　算法 2 则给出了正在推理年华天★生、优化和抉择○视频计划 （从新计划）的方法欧洲超级杯小间距LED显示屏？。足球赌注软件视频处理器柔性LED显示屏。

　　除 了 上面刻画的基 于自我治疗划一性的视频优化，该团队还进一步 将视频天生和视频细化的组合刻画为一种政 策，该政策可能通过正在线交互时候从境况中网罗的格外确切数据实行陶冶，从而杀青更正。

　　为 了评估 VideoAgent，该团队实行了众个实践，包罗 该模子的端到端获胜○率、区别组件的○ 成效以及能否擢升确切机械人视频的质料。

　　Meta-World：11 个机械人操作职分，由模仿的 ■Sawyer 机械○臂 履行，视频演示是从三个区别的摄像机角度拍 摄的。

　　iTHOR：一个模仿的 2D▽ 主意导航基准，个中智能 体正在四种 房间类型◁中寻找指定的主意物○体。

　　可能看到，自我治疗划 一性一经能让 VideoAgent 的总体获胜率超越基线%），个中极少职分更是大幅擢升，例如正在合上水龙头（faucet-close）职分上的获胜率从 12% 猛增至 46。7%柔性LED显示屏。

　　而假设再进一步○引入正在线微调柔★性LED显示屏，获胜率还能进一步擢升，而且众迭代一次都市=众一点擢升。

　　引入从新计划后，VideoAgent 的上风如故存正在，而且总体职分获胜率抵达了 50。