隔屏对话、如在现场,云转播助力提升冬奥视频服务******
在北京2022年冬奥会期间17个场馆的新闻发布会中,北京冬奥会新闻发布会视频服务系统(Info-AV)这项创新技术被广泛应用。据了解,自1月30日服务本届冬奥会首场正式新闻发布会至冬奥会闭幕,Info-AV系统将249场新闻发布会素材便捷传递至全球媒体记者和工作人员,素材总时长达8049分钟。
Info-AV系统为北京国际云转播科技有限公司基于自研的云转播平台实现。该系统的应用,使本届冬奥会的视频服务水平得到提升。
什么是云转播?北京国际云转播科技有限公司首席技术官张鹏洲介绍,云转播通过云化采、编、播技术,实现传统转播设备云端化、人员服务远程化。与传统采集中制作人员都在现场的模式不同,现在仅需要拍摄人员在现场,制作、导播人员远程接入网络就可以完成信号制作。原有需要在转播车内完成的多项工作,也可分解为多个团队分别在不同地点通过云转播协同完成。
传统转播模式以现场制作为主,需要配备大型导播制作团队,还需要采用昂贵的转播车,设备成本高、人员投入大。相较于传播转播模式,云转播的优势则体现在“两降一升一创”——“两降”指降低转播成本、降低制作节目专业门槛,“一升”指团队效率提升,“一创”指转播模式的创新,为观众提供新体验。
作为一项新兴视频直播技术,云转播的实际应用效用如何?在2月16日举行的2022北京新闻中心新闻发布会上,北京冬奥组委技术部部长喻红介绍,Info-AV能将现场拍摄的多角度视频和多音轨音频(包括现场声及同声传译)编码后推送至云端,利用云计算的存储、计算、网络传输等资源,将音视频流进行合成、导播、制作及存储,并输出具有多音轨(HLS格式)的音视频直播流,同时支持收录和点播。该服务依托现代网络、通信及云计算技术,实现大流量、高并发的直播应用,当前可并发支持5场发布会直播。
此外,本届冬奥会期间,远程虚拟同框采访系统支撑了多场连线活动。运用该系统,多方连线人能够置身于虚拟直播间,在低时延的交互下远程连线互动,可使用手机完成各方信号的采集及回传。
记者了解到,本届冬奥会前的“相约北京”系列测试赛中,已多次使用云转播及相关衍生服务。在五棵松体育馆、首都体育馆、国家体育馆、国家速滑馆和国家跳台滑雪中心,云转播和基于云转播技术的远程无人混合采访、远程新闻发布系统投入应用,并成功完成冰球、短道速滑、速度滑冰、花样滑冰、跳台滑雪等多场赛事和相关活动的转播服务。
“远程无人混合采访包含现场混采区(运动员端)、云转播平台和远端记者3个部分。”北京国际云转播科技有限公司产品和解决方案部产品总监郭真提到,利用5G网络的高速率、低延时等特点,通过摄像机和显示屏等视频采集设备和展示屏幕,保证运动员和记者之间的采访实时传输。总体来看,使用5G+云转播技术,不仅减少了现场技术人员聚集,还进一步提升了赛事转播安全。
“基于核心底层大视频的能力和一系列云转播的产品和技术能力,未来云转播可以在若干领垂直领域发挥作用。”北京国际云转播科技有限公司董事长崔涛表示,例如,在教育行业,云转播和5G技术能力的结合,将能够为群众文化体育活动、青少年的体育教育培训提供更好的服务和创新体验。(孔繁鑫)
让“无声世界”感受赛场魅力!带你看看冬奥手语数字人有哪些奥秘******
2022年2月4日,第24届冬季奥林匹克运动会在北京举行,让世界目光再次聚焦中国。本届北京冬奥会秉持绿色、共享、开放、廉洁的办赛理念,凝聚中国科技力量,面向世界、面向未来,向全球奉献了一场精彩、非凡、卓越的奥运盛会。
本届冬奥会运用最新科技手段,为全世界观众提供了惊艳的现场转播和全方位覆盖报道,北京冬奥会也成一场上科技含量高的奥运会。赛事活动期间,为了让各类人群都能平等地享受本届冬奥盛会,北京电视台上线了智能手语播报数字人,在《北京新闻》和《北京您早》等节目中进行冬奥专题手语播报,为听障人士带来精彩赛事报道。
最新数据显示,我国听障人群超过2700万,这部分人群与健听人一样,他们对教育、社交、娱乐等信息获取都有巨大的需求。但长期以来,传统人工手语翻译工作量大,且主持人和手语主持人配合难度极高。手语动作表情复杂,语序与正常语序差异大,正常情况下想要熟练掌握手语大约需要2年左右的时间,还要结合语境进行猜测。
受北京市科委科技冬奥专班委托,北京电视台联合凌云光、智谱AI等业内科技公司,在北京市残疾人联合会和市残联聋人协会等支持下,用3个多月时间,让手语播报数字人完成了近10万条手语语料学习,且翻译准确率高达90%。
在如此短的时间内实现这项高难度动作,智能手语数字人是如何做到,在这背后又有哪些技术创新难点?
在多位业内人士看来,近年来人工智能体系建设重点布局在算法层和应用层,数据层建设远远不足,并且针对数字人相关产业,底层数据库的数量、质量和开源程度还明显不足。尤其是国内现有的手语语料数据库数量少,且多以图像、视频等二维平面为主,无法满足AI(人工智能)训练的需求。
同时,因手语语序与中文语序差异大,方言分化更加复杂,且需要通过表情、口型、动作等方式来传达信息。除了传统的二维平面图像、视频采集,三维肢体运动、表情信息数据采集及结构化参数表达外,手语语料数据库建设对三维运动信息捕捉也十分重要。
凌云光手语数字人产品相关负责人介绍,在建设高质量手语语料库的同时,他们充分调研了2022北京冬奥专用手语术语,并联合北京市残联、聋人协会等相关组织机构,进行数据标注,建设手语语义映射关系,不仅完善了国内手语数据库的建设,也为手语推广和AI研究留下了宝贵的数据资产。
该负责人举例说,基于“悟道2.0”超大规模人工智能模型的技术支撑,手语数字脑用计算机模仿听障人士的大脑,将看到的中文文本信息转换成手语词汇序列,包括中文语义蒸馏模型和AI手语分词快编算法的研究。中文语义蒸馏模型用于从输入的文稿或文本中提取出关键的语义信息,将中文文本语义提炼和精简,形成精准匹配适合手语表达的文本;AI手语分词快编算法则用于将蒸馏得到的中文文本,根据冬奥手语语料库划分成相应的手语词汇序列,供数字人做表达输入。
该负责人还提到,数字人是冬奥手语播报的载体和展现形式,通过高精度写实数字人全流程制作方案,可实现一键数字建模,高度还原真人发肤,重新毛孔等细节,更加真实亲切。同时,通过跨模态拟人生成算法,还可以将手语词汇序列,生成相应的动作信息,驱动数字人模型做出相应的动作、手势和表情。(姚坤森)
(文图:赵筱尘 巫邓炎)