《抖音同人》上线:卡顿、黑屏、模糊,这些技术可以解决

来源:爱酷猪责编:网络时间:2024-09-29 13:38:01

但并不是每家公司都有能力招募大量技术人才并从头开始开发短视频解决方案。

不久前,字节跳动To B业务“火山引擎”对外开放视频点播服务。

也就是说,市面上各类有播放需求的应用都可以拥有与抖音、西瓜视频相同的播放器,可以最大程度地减少卡顿、黑屏等情况的发生概率,实现流畅稳定的视频播放。经验丰富。一些垂直社区应用已经使用了与抖音相同的播放器,实现了丝般流畅的播放体验。

这些技术是抖音、西瓜视频、点车地、皮皮下等众多内部产品长期使用和多年迭代的结果。今天我们就来看看,火山引擎视频点播服务背后,你可能还不知道的字节跳动科技成果。

不卡不崩的TT Player

首先我们看一下播放器本身提供的点播功能。

千千静听是一款适用于Android和iOS的播放器SDK。可以达到秒开首帧的效果。也就是说,打开视频时不需要加载。只需等待约0.2秒,视频的第一帧就准备好了。会显示在您的屏幕上。

事实上,字节跳动产品最早的移动播放器是Android的ijk开源播放器和iOS的苹果系统播放器,但效果并不理想。 2016年就有超过100名用户反映每天黑屏、无法播放。打开视频后,手机黑屏,根本无法显示视频内容。

于是,火山引擎智能视频云团队开始自研移动播放器,完成了大量的播放策略优化,如预加载策略、播放控制策略、缓冲优化以及面向网络的适配等。千千静听推出。

TT Player自主开发完成后,先后在今日头条、抖音上使用。此前,用户打开一个视频大约需要0.8秒。经过多次测试和优化,已缩短至0.2秒。

团队工程师解释说,首帧打开时间每缩短0.05秒,对用户体验影响巨大。半秒以上的速度提升,已经是非常明显的提升了。

现在,千千静听播放15秒以内的短视频时,延迟率已降低至0.58%。几乎每打开172个视频都会遇到卡顿的情况。

崩溃率也下降到了百万分之一以下,这意味着玩家平均每百万次游戏只会崩溃一次。假设用户每天观看1000条短视频,平均需要3年左右。只会遇到1个播放器崩溃的情况,比之前使用的ijk开源播放器和苹果系统播放器要低很多。

这是怎么做到的?

例如,为了保证用户观看短视频的流畅体验,工程师做了预加载,提前下载了用户即将观看的下一个短视频,并且还渲染了下一个短视频的第一帧,并制作了视频不播放声音。这样,当用户到达下一个短视频时,就可以直接播放。

火山引擎智能视频云团队的工程师表示,一般业务场景下,如果视频第一帧没有加载,系统会直接使用封面图。通过这种预加载方式,无需下载封面图片,可以帮助用户节省封面图片的流量和带宽。

再比如,为了让硬件解码器适配全球不同的手机型号,工程师联系了大量的SoC厂商和手机厂商进行优化。如果他们能解决问题,他们就会调整它。如果他们无法适应,他们就会改用软件解码器。目前,千千静听的硬件解码覆盖率在Android机型上达到80%以上,在iOS机型上覆盖率接近100%。

对于移动用户切换分辨率来说,部分玩家会遇到切换分辨率时卡顿的问题。为此,火山引擎智能视频云解决方案团队的工程师想出了一种关键帧对齐的方法,即将之前分辨率的最后一帧与新分辨率的第一帧完美对齐。

《抖音同人》上线:卡顿、黑屏、模糊,这些技术可以解决

在实际播放时,每个视频按照一定的长度被切割成若干个视频片段。例如,一个1分钟的视频可以被切割成6个10秒的视频片段,每个片段有360p、480p和720p。1080p等不同定义的版本。

关键帧对齐方法是在从720p切换到1080p时,将720p的最后一帧与1080p的第一帧完全对齐,确保它们完全一致,这样在播放完前面10秒的720p片段后,切换可以顺利。在随后的10秒1080p片段中,不会出现滞后问题。

Web端的西瓜播放器

TT播放器是移动端的播放器,Web端则通过西瓜播放器实现火山引擎的点播能力。

这款播放器来自字节跳动的网络多媒体团队,是团队工程师自下而上一步步研发的成果。之前技术范也详细报道过。

除了纯UI层面的创作之外,西瓜播放器还有更多底层功能,可以流式传输mp4格式的视频。用户在观看视频时可以无缝切换清晰度,还可以节省视频流量。

此外,西瓜播放器还集成了对flv、hls、dash格式的点播和直播支持,在GitHub上获得了超过3600个star。

智能高清低码:高清视频不怕卡顿

除了播放器本身之外,影响用户体验的另一个关键点就是网络传输。如今,视频的清晰度越来越高,传输视频的带宽成本也会增加。如果用户在地铁、地下室、山区等网络条件较差的地方观看视频,很容易出现卡顿或者被迫观看标清的情况。

为此,火山引擎多媒体实验室还训练了智能高清低码相关的算法,即通过智能编码,在提升视频质量的同时,也降低了视频码率,从而可以以最低比特率传输。最清晰的视频。

这样的功能如何实现呢?

首先,通过去除噪声和失真,压缩效率可以节省20%以上,而相应的传输带宽需求仅为原来的4/5以下,视频质量也能得到提升。

其次,要优化人眼观看视频时的兴趣点。例如,当我们观看讲座时,我们会关注演讲者的脸部;当我们观看美食视频时,我们的注意力集中在食物上。这样,只要提高人眼关心的部分的图像质量,弱化人眼不易注意到的区域,就可以保证用户体验与比特时一样好。率降低10%。

最后,需要内容自适应编码根据视频的领域、情感和对象特征自适应地选择视频编码配置,从而在保持视频质量的同时节省10%以上的带宽。

说到视频编码,就不得不提字节跳动自主研发的视频编码器BVC1。该视频编码器在相同分辨率下可将带宽减少30%。

BVC1还可以针对手机、PC、平板电脑等不同设备进行定制,利用现有的计算能力来优化质量提升和带宽节省。

在视频会议屏幕共享场景下,借助独创的视频上采样方案和超分辨率技术,也能实现更清晰的文字显示。

当然,字节跳动的高级视频团队也在编码器技术上不断迭代。 2020 年,BVC1 编码器比上一年实现了20% 的比特率节省。

《抖音同人》上线:卡顿、黑屏、模糊,这些技术可以解决

视频封面选择困难症?让AI来帮你挑

上面提到的是视频播放和传输,但是在视频创作阶段,火山引擎的技术团队也做出了很多努力。

为了实现这个功能,系统会从视频中选择一些比较漂亮的帧并提供给用户。为此,火山引擎团队的机器学习工程师训练了一套审美质量评估算法,可以让人工智能按照大多数人类的审美来评估图片或视频是否美观。

比如这张相对专业的湖中岛屿风景照:

满分为100分。在AI眼中,AI给出的分数是86.54分,算法也认为画面很美。

看看这张由非专业摄影师拍摄的休闲照片:

AI给出的分数是71.98分。虽然还是很漂亮,但是整体质量比之前差了很多。

这是怎么做到的?

事实上,人工智能评价美丑的标准来自于人类已经评价过的图像数据集。

根据类似的评价标准,人类首先对图像的一部分进行评分。

比如下图第一排的照片,色彩搭配合理,构图雄伟,人们可以打出70、80的高分;而第三排的照片图像不完整,画面元素杂乱,只能得分不到40分。

这样,大量的图片和相应的分数作为训练数据输入到神经网络中,成为AI的学习材料。它可以从艺术风格、画面构图、色彩应用等多个方面评价一张照片或视频在人眼中的外观是否足够漂亮?

视频质量好不好,VQScore都知道

除了主观美丑之外,视频好坏的另一个评价指标就是视频的清晰度。

VQScore 是由Volcano Engine 团队的工程师训练的一种算法,用于评估视频清晰度。它可以独立评估和评分视频清晰度,无需参考视频的帮助。

与上述审美质量评估算法一样,VQScore也是一种基于人类对视频清晰度的主观评分数据训练的深度学习算法。

例如,上面的视频看起来相当模糊并且有很多噪音。该算法给出的清晰度得分为40.23 分。

效果较好的视频可以获得63.31分。

《抖音同人》上线:卡顿、黑屏、模糊,这些技术可以解决

如果视频质量较高的话,可以获得75.17分。

此外,VQScore还可以根据人类视觉对视频压缩失真、噪声水平、对比度是否过低等进行判断,自动分析视频质量。

视频糊了?靠算法实现画质增强

通过上述算法判断后,如果得出视频质量确实比较低的结论,为了提高用户体验,可以采用超分辨率、视频插帧、降噪算法等各种技术以提高视频质量。

例如,对于几十年前的老电影,可以对老电影进行修复,解决老电影中常见的噪点、划痕、色彩对比度和分辨率等问题。

比如经典电影《刘三姐》中,下图右侧修复后,人物的面部轮廓和服装细节更加清晰:

1994年香港电影《精武英雄》中的场景也能达到类似的效果。

现在西瓜视频上,很多90年代的老电影,比如《精武门》、《方世玉》,都被还原成了高清版本。用户在观看这些经典老电影时可以获得更清晰的观看体验。

另外,如果用户自己拍摄的视频作品清晰度较低,该算法还可以提升其质量。

比如下面的视频,从视频素材到匹配文字,右边修复后的图片看起来比左边原图清晰很多。

在更广泛的用户测试中,80%的人可以看到修复版本的清晰度得到了显着提高。

这项技术来自火山引擎多媒体实验室,团队已经研究了一年多。

2020年初,在深圳市人民政府主办的首届“全国人工智能大赛”AI+4K HDR比赛中,由该实验室工程师组成的团队荣获比赛第三名,成为第一支参赛队伍团队在业内得分最高。

可用性超99.999%的融合CDN

CDN 指内容分发网络。不同节点上的许多服务器通过互联网互连,形成分布式网络。它是一个互联网基础设施。当用户想要观看视频时,离他最近的节点上的服务器可以快速响应,减少用户观看视频的延迟。

火山引擎CDN利用强大的融合技术、大数据处理、智能预测等算法,在客户端实现快速灾难恢复和早期避免单一故障源。从过去无法玩到用户几乎察觉不到,可用性超过99.999%。对于普通用户来说,应用程序崩溃的频率会降低。

此外,在内容传输过程中,火山引擎CDN还利用机器学习模型来预测带宽,仔细计算网络带宽,大幅降低成本。

在分配过程中,利用大数据、智能分析等手段,建立全局网络拓扑性能分析链路,选择最优分配链路。这样用户在观看视频时就不会因为网络问题而容易出现卡顿,质量和性能都会提升100%。

用户评论

病房

我真没想到下载了这个号称与抖音类似的播放器后竟然会如此失望。

    有6位网友表示赞同!

←极§速

在用抖音上看到大家都在使用这个新的播放器功能时,我以为这能给我的视频体验带来突破呢。结果却是卡顿和黑屏频发,真的很让我泄气。

    有11位网友表示赞同!

▼遗忘那段似水年华

我尝试调整网络设置并清理缓存,还是没能摆脱那模糊的画面和断断续续的音乐。希望开发者能找到解决方案让用户体验改善。

    有9位网友表示赞同!

来自火星球的我

这款播放器的流畅度差到出奇了,即使是简单的视频预览都得不停顿顿、卡一卡,这真的让人无法接受。

    有15位网友表示赞同!

单身i

对于爱分享抖音上的短视频的人来说,这个问题更显严重。我在尝试发布时就遭遇黑屏现象,真是太尴尬了!

    有5位网友表示赞同!

抚涟i

对技术不精通的用户来说很难通过手动方式来解决播放器的这些问题,感觉像是自己得找半天答案才能让软件恢复到基本稳定。

    有12位网友表示赞同!

刺心爱人i

从抖音的流畅性和用户体验来看,这新播放器似乎还有一段很长的距离要走。希望后续更新能让这个问题得到处理。

    有11位网友表示赞同!

无寒

我希望能给开发者一些反馈,尤其是在他们宣布为解决现有问题而启动技术攻关阶段。让我们一起期待最终会更稳定好用吧!

    有18位网友表示赞同!

清原

偶尔的模糊画面和卡顿对于一个多媒体播放器来说简直是灾难。在等待解决方案的时候,我都在思考是否需要寻找其它替代品。

    有18位网友表示赞同!

命该如此

如果想要拥有一个稳定的视频播放体验,这款抖音同款播放器显然还需打磨许多。希望后续版本能带来质变。

    有10位网友表示赞同!

残留の笑颜

每次打开想看看短视频时都担心会碰上黑屏或者卡顿的问题,这让我对能否顺利看完整个视频充满疑虑。

    有9位网友表示赞同!

我绝版了i

尝试了不同类型的网络环境和设备都无法规避播放质量的低落点,对于一个软件产品的稳定性和兼容性要求很高。

    有16位网友表示赞同!

墨染年华

希望技术团队能够利用资源和技术背景去解决这些问题。用户们在寻找满足需求且优质的娱乐体验时不应该遭遇如此困扰。

    有18位网友表示赞同!

心贝

在社交媒体上看到很多人推荐这个新的播放器,但我的体验真是大相径庭,卡顿和画面波动真的让人头疼不已。

    有7位网友表示赞同!

赋流云

我最担心的是这款播放器如果不能解决卡顿、黑屏等问题,会如何影响那些依赖高质量流媒体服务的用户。

    有5位网友表示赞同!

孤城暮雨

现在我在寻找替代方案的时候也考虑到了这个播放器的问题。技术改进确实应该是一个优先级很高的方面。

    有7位网友表示赞同!

心安i

这新出的抖音同款播放器让我又兴奋又失望。希望开发商能尽快完善技术以满足期待。

    有17位网友表示赞同!

别伤我i

我希望使用体验上的改善能够很快到来,因为对于依赖视频内容的用户来说,这一点是很重要的。

    有11位网友表示赞同!

陌上花

我在等待这款播放器后续版本的发布,希望能解决这些问题,然后成为一个出色且稳定的产品。

    有8位网友表示赞同!

ゞ香草可樂ゞ草莓布丁

从我个人角度来说,我发现这个播放器远未达到预期。改进技术和稳定性将是提升用户体验的关键所在。

    有11位网友表示赞同!

猜你喜欢
最新游戏更多
热门专题更多
最新资讯更多