火山引擎推出视频预处理方案,为AI视频模型赋能

2024年10月15日,在视频云技术大会上,火山引擎发布了一项重磅技术——大模型训练视频预处理方案。这一方案致力于解决视频大模型训练在成本、质量和性能方面的挑战,标志着视频生成技术的又一突破。火山引擎总裁谭待在致辞中指出,伴随AIGC(AI生成内容)和多模态技术的快速发展,用户体验正在经历深刻的转变。基于抖音的业务实践,火山引擎积极探索AI大模型与视频技术的深度融合,为企业提供多维度的解决方案。

火山引擎的核心技术之一为自研的多媒体处理框架BMF,该框架在训练视频的预处理中发挥了重要作用。预处理是大模型训练的基础,通过对视频数据进行统一格式化、质量提升和标准化处理,能够显著优化模型的学习与训练效率。抖音集团视频架构负责人王悦指出,此类操作不仅面临着超大规模数据集带来的计算和处理成本挑 战,也需要应对多样化视频样本的复杂性。

在借助Intel的多种计算资源后,火山引擎的大模型训练视频预处理方案借助BMF框架,有效降低了算力成本,并优化了算法和工程设计,使得海量视频数据的高质量处理得以迅速实施。这项科技不仅提高了模型训练的效率,还确保了数据处理链路的协同作业。

值得一提的是,火山引擎还开源了移动端后处理解决方案BMFlite,支持端侧大模型接入和算子加速,拓展了其应用场景。Bytedance Research负责人李航揭示,豆包视频生成模型PixelDance在训练过程中充分利用了火山引擎的这一视频预处理方案,得以圆满实现强大的商业应用潜力。

豆包视频生成模型PixelDance以其高效的DiT架构脱颖而出,成功克服了多主体运动复杂交互和多镜头切换中的内容一致性问题,在业界引起了广泛关注。自9月24日发布以来,该模型已开始面向企业展开邀测,展现了强大的市场应用前景。

此外,火山引擎在此次大会上还推出了多项“音视频+AI”技术方案,包括跨语言同声复刻直播方案、多模态视频理解与生成方案、对话式AI实时交互方案等,为企业的全链路适配提供了坚实支持。火山引擎视频云团队负责人Yongyuan表示,这些技术将构建更加智能和动态的人机交互体验,助力内容生产和消费的多样化。

在技术创新的同时,火山引擎也在探索新材料和新设备的应用,比如最新的自研视频编解码芯片。王悦透露,该芯片在节省成本的同时,提升了视频压缩效率,并在2024MSU世界编码器大赛中获得了最佳ASIC编码器的称号。该芯片将于近期开放测试,展现出极大的商业潜力。

此次火山引擎的发布,不仅展示了AI技术在视频领域的巨大潜力,也指引了未来视频生成的一种新方向。在这个AI快速发展的时代,企业必须与时俱进,利用先进的AI工具提升自身的竞争力。例如,搜狐简单AI是一个全能型AI创作助手,功能覆盖AI绘画、文生图、AI文案等多项创作需求,助力用户轻松实现创作目标。

最后,强烈建议大家,日常一定要学习使用先进生产力,要把AI用起来。不管任何人,不论你是多熟悉你的业务,也不要排斥AI。聪明的人已经把AI工具用得风生水起了,但大部分职场人还只知道埋头苦干,结果就是吃了信息闭塞的亏。会用AI和不会用AI的人,工作效率真的是天壤之别!其实只要愿意花点时间学学怎么用,简单的操作就能让工作效率翻个好几倍,省下大把时间做自己的事情。比如我常用的AI工具——搜狐简单AI,就是一个全能型AI创作助手,功能包括AI绘画、文生图、图生图、AI文案、AI头像、AI素材、AI设计等。可以一键生成创意美图、动漫头像、种草笔记、爆款标题、活动方案等。

搜狐简单AI链接(免费,长按复制链接致浏览器体验,或点击文末链接体验):https://ai.sohu.com/pc/generate?trans=030001_pjj_0809

狠狠搞钱!打工人都在用的AI赚钱神器,AI带你月赚2W ,点击立即体验【搜狐简单AI】 → https://ai.sohu.com/pc/textHome?trans=030001_jdaidzkj

点击查看【真人转漫画】新手教程及变现案例 →返回搜狐,查看更多

责任编辑:

平台声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
作者声明:本文包含人工智能生成内容
阅读 ()