PP电子的官方网站10月15日,火山引擎在视频云技术大会上发布了大模型训练视频预处理方案,助力解决视频大模型训练的成本、质量和性能等方面的技术挑战。目前,该技术方案已应用于豆包视频生成模型。
火山引擎总裁谭待表示,在AIGC、多模态等技术的共同推动下,用户体验在多个维度上经历着深刻转变,“基于抖音业务实践和与行业客户共创,火山引擎视频云正积极探索AI大模型与视频技术的深度融合,在技术底座、处理链路和业务增长层面为企业寻找解法。”
据介绍,对训练视频进行预处理是保障大模型训练效果的重要前提。预处理过程可以统一视频的数据格式、提高数据质量、实现数据标准化、减少数据量以及处理标注信息,从而使模型能更高效地学习视频中的特征和知识,提升训练效果和效率。
抖音集团视频架构负责人王悦表示,对大模型厂商而言,上述过程中面临着诸多挑战。
“首先,超大规模视频训练数据集导致计算和处理成本激增,”王悦说,“其次是视频样本数据参差不齐,然后是处理链路环节多、工程复杂,最后还面临着对GPU、CPU、ARM等多种异构算力资源的调度部署。”
借助Intel的CPU、GPU等不同资源,火山引擎此次发布的大模型训练视频预处理方案依托于自研的多媒体处理框架BMF,能有效应对模型训练的算力成本挑战。
此外,该方案还在算法和工程方面进行了调优,可以对海量视频数据高质量预处理,短时间内实现处理链路的高效协同,提高模型训练效率。值得一提的是,火山引擎本次还发布并开源了移动端后处理解决方案BMF lite版本。BMF lite支持端侧大模型接入和算子加速,更加轻量、通用。
Bytedance Research 负责人李航介绍,豆包视频生成模型PixelDance在训练过程中采用了火山引擎的大模型训练视频预处理方案,充分利用了大量潮汐资源,为模型训练提供了有力支撑。火山引擎视频云团队提供的点播解决方案还为PixelDance生产的视频提供了从编辑、上传、转码、分发、播放的全生命周期一站式服务,让模型的商业化应用有了保障。
据了解,豆包视频生成模型PixelDance于9月24日发布,该模型采用 DiT 架构,通过高效的DiT融合计算单元和全新设计的扩散模型训练方法,突破了多主体运动的复杂交互、多镜头切换的内容一致性难题,在业界引起广泛关注。目前,豆包视频生成模型已通过火山引擎面向企业开启邀测。
此次活动中,火山引擎还发布了跨语言同声复刻直播方案、多模态视频理解与生成方案、对话式AI实时交互方案和AIG3D&大场景重建方案,从视频的生产端、交互端到消费端,全链路融入了AI的能力。
火山引擎视频云负责人表示,在AI视频时代,人和AI交互变得更加动态和生动,这要求处理链路更加智能和交互。
以对话式AI实时交互方案为例,依托豆包大模型和火山引擎视频云自研的多项算法,火山引擎为用户提供了智能对话和自然语言处理的强大能力,可实现毫秒级人声检测和打断响应,以及丝滑稳定的端到端响应体验。
在沉浸式消费体验方面,火山引擎通过AI生成3D内容和大场景重建方案,为山西高平二郎庙金代戏台和北京正乙祠两座珍贵的历史建筑生成了3D数字资产,并以虚拟直播间的形式应用于抖音的戏曲直播场景。
大会上,王悦还透露了字节自研视频编解码芯片的最新进展,经过抖音集团内部的实践验证,该芯片在同等视频压缩效率下,成本节省了95%以上,还在2024MSU世界编码器大赛中一举夺得最佳ASIC编码器。
据悉,该芯片将于近期正式对外开放测试,招募首批种子用户,共同探索商业价值的可复制性。(科文)
今年7月,国务院学位委员会发布了《新增博士硕士学位授权审核专家核查及评议结果公示》,与2020年上一轮评审相比,本轮评审拟大幅新增博士点831个。这意味着博士生培养规模将进一步扩大。
日前,国家发改委发布2024年全国优化营商环境十大创新实践案例,一大批具有创新意义、可复制可推广的典型案例脱颖而出。
10月14日是第55个世界标准日。今年世界标准日的主题为“美好世界的共同愿景”,中国主题为“强化标准引领,促进高质量发展”。
我国探月工程在不断书写月球探测新篇章的过程中铸就的探月精神,既是“两弹一星”精神、载人航天精神的传承和延续,又富有鲜明的新时代特质。
14日16时许,随着一声响亮的汽笛,首趟中老铁路“京滇·澜湄线吨老挝香蕉从云南省昆明市王家营西站驶出,一路向北京市平谷区疾驰,标志着中老铁路国际冷链班列暨“京滇·澜湄线”国际货运列车正式开行,打通了一条连接中国北京、云南与东南亚国家的国际货运通道。
2023年总被引频次进入本学科排名前1/4的中国期刊共有37种,比2022年增加2种;影响因子进入本学科排名前1/4的期刊有149种,比2022年增加12种。
最近一个特殊门诊引发社会关注。媒体报道,10月8日,上海某研究机构设立的“空间与数学学习困难门诊”正式开诊。
近年来,昭通积极构建“政府引导+平台推动+政策赋能+管家服务”的返乡创业“昭通模式”,推出促进创业就业“二十条措施”。2023年以来,昭通回引6.59万人返乡创业,带动18.64万人就地就近就业。
党的二十届三中全会通过的《中央关于进一步全面深化改革、推进中国式现代化的决定》提出,要“完善推动新一代信息技术、人工智能、航空航天、新能源、新材料、高端装备、生物医药、量子科技等战略性产业发展政策和治理体系,引导新兴产业健康有序发展”。
一颗来自熔融行星核心的铁陨石(左)和一颗来自原始未熔融行星的球粒陨石(右)。当人们在寻找宇宙中其他可能孕育生命的行星时,了解这些挥发性物质是如何被输送到行星表面的知识将至关重要。
制出清洁氢气的同时发现3D石墨烯(显微镜图)。这项研究为石墨烯的应用开辟了更多可能性,其中最为重要的用途之一是研制锂硫电池。研究团队随后意外地发现,直径仅为人头发丝千分之一的微型管阵列,在没有外加电源的情况下产生了电信号。
邓秀新、刘旭、张守攻、陈温福、金宁一、张洪程、蒋剑春、包振民、张佳宝9位中国工程院院士走进黑土地,围绕粮食增产、黑土保护等关键领域开展调研。院士们边走边看,对黑龙江省农科院通过优选品种、菌肥培土、大垄密植等一系列科学管理措施取得的成效,给予高度评价。
10月11日10时39分,我国在东风着陆场成功回收首颗可重复使用返回式技术试验卫星——实践十九号卫星。卫星搭载的植物及微生物育种载荷、自主可控和新技术验证试验载荷、空间科学实验载荷、社会公益和文化创意载荷等回收类载荷已全部顺利回收。
我们身边有不少朋友爱玩电子游戏,有时为了通关甚至不惜晚睡熬夜。熬夜意味着睡眠时间大幅减少,睡眠质量严重下降,这样不仅会影响工作状态和学习效率,还会损害身体健康。
据最新一期《风湿病学》杂志发表的一项研究表明,多摄入一些,或能为心脏健康加分。为了降低心血管风险,目前医生给出的建议大都与减少炎症有关,包括少服用可的松药物、不吸烟、降低胆固醇,以及控制高血压等。
近日,由东北林业大学森林植物生态学教育部重点实验室承担的课题“伊春森林芬多精成分解析与释放规律”通过了科技成果评价。经查新,此前未见相关报道,该项目为全国首次对伊春森林康养功能成分的定性定量科学研究。
记者10日从中山大学获悉,该校医学院施莽教授团队与阿里云李兆融团队将人工智能(AI)技术应用于病毒鉴定,发现了传统研究方法未能发现的病毒“暗物质”,探索了病毒学研究的新路径。
有人欢呼雀跃,认为这是对科技进步的高度认可;有人忧心忡忡,担心这是否预示着人类科学家时代的衰竭。将诺贝尔奖颁发给人工智能(AI)领域的成就,并非意味着人类科学家的地位受到动摇。
江俊强调,这种理论与实践交融的研究范式,能从数百万种可能的配方中迅速识别最佳组合,极大地加速了新物质的发现过程。《自然》报道也指出,AI“科学家”通过自动化实验设计、数据分析、论文写作等功能,显著提高了研究效率,减少了科研成本,并加速了科学发现的进程。
Copyright © 2019-2023 PP电子「中国」平台网站 版权所有 备案号:鄂ICP备12015236号