技術(shù)趨勢(shì):視頻生成正在由檢索生成、局部生成走向依靠自然語(yǔ)言提示詞的全量生成,生成內(nèi)容更加靈活豐富,應(yīng)用空間廣闊
檢索生成主要是對(duì)現(xiàn)有的視頻素材根據(jù)關(guān)鍵詞和標(biāo)簽進(jìn)行檢索匹配,再進(jìn)行相應(yīng)的拼接和排列組合
特點(diǎn)
1 采用傳統(tǒng)的跨模態(tài)視頻檢索技術(shù),通過(guò)視頻標(biāo) 簽的或者視頻語(yǔ)義理解的方式從數(shù)據(jù)庫(kù)中的檢 索,再將這些素材進(jìn)行剪輯、組合拼接在一起, 本質(zhì)上還是鍵值對(duì)匹配的邏輯
2 例如短視頻平臺(tái)的知識(shí)類視頻、解說(shuō)類視頻, 通過(guò)文本關(guān)鍵字在數(shù)據(jù)庫(kù)中進(jìn)行素材檢索,然 后在進(jìn)行拼接組合生成
3 創(chuàng)意空間有限,沒(méi)有貢獻(xiàn)增量素材,但成本極 低,生成速度極快
僅針對(duì)視頻的一部分進(jìn)行生 成,例如視頻中人物角色、 動(dòng)作、背景、風(fēng)格化、特殊 效果等
特點(diǎn)
1 采用傳統(tǒng)的計(jì)算機(jī)視覺(jué)(Cv)、計(jì)算機(jī)圖形學(xué) (CG)技術(shù),但生成功能有限,主要是一些局 部的垂點(diǎn)功能
2 例如效果生成,在現(xiàn)有視頻上添加多種效果, 如濾鏡、光影、風(fēng)格化、美顏特效等。也可以 做局部動(dòng)態(tài)化,如人物的面部表情生成、搞笑 表情、爆款特效、舞蹈動(dòng)作生成等
3 有一定創(chuàng)意空間,生成部分新元素,成本低但 應(yīng)用的場(chǎng)景有限
通過(guò)文字、圖片、視頻作為提示 詞來(lái)進(jìn)行憑空生成,不依賴外部 素材,核心在于大模型的能力
特點(diǎn)
1 采用基于Transformer或者擴(kuò)散模型的大模型路 線,可以通過(guò)自然語(yǔ)言或者指導(dǎo)圖進(jìn)行全局生成 (但也可以嵌入已有內(nèi)容),視頻的內(nèi)容、風(fēng)格、 長(zhǎng)短、分辨率、寬高比都可以進(jìn)行靈活調(diào)整
2 例如生成天馬行空的創(chuàng)意視頻、藝術(shù)視頻、卡通 視頻等等,非常靈活
3 創(chuàng)意空間無(wú)限,所有的元素都是全新生成,現(xiàn) 階段成本高昂,但天花板高,應(yīng)用場(chǎng)景廣泛
附件:AI視頻生成研究報(bào)告-由檢索生成、局部生成走向依靠自然語(yǔ)言提示詞的全量生成
商用機(jī)器人 Disinfection Robot 展廳機(jī)器人 智能垃圾站 輪式機(jī)器人底盤 迎賓機(jī)器人 移動(dòng)機(jī)器人底盤 講解機(jī)器人 紫外線消毒機(jī)器人 大屏機(jī)器人 霧化消毒機(jī)器人 服務(wù)機(jī)器人底盤 智能送餐機(jī)器人 霧化消毒機(jī) 機(jī)器人OEM代工廠 消毒機(jī)器人排名 智能配送機(jī)器人 圖書館機(jī)器人 導(dǎo)引機(jī)器人 移動(dòng)消毒機(jī)器人 導(dǎo)診機(jī)器人 迎賓接待機(jī)器人 前臺(tái)機(jī)器人 導(dǎo)覽機(jī)器人 酒店送物機(jī)器人 云跡科技潤(rùn)機(jī)器人 云跡酒店機(jī)器人 智能導(dǎo)診機(jī)器人 |