小鸟科技带您剖析分布式系统的前世今生

最近一段时间,专业视听领域掀起一股有关分布式系统争论的旋风,诸多厂家纷纷提出各自的看法。小鸟科技作为业内以技术研发起家的企业,血液中流淌着工程师基因,坚信好的产品会说话,并不擅长参与各种江湖纷争。本想拿个小板凳静静做个吃瓜群众,奈何很多业内友商及合作伙伴纷纷来电,希望小鸟君也谈谈对分布式的理解。理解一款产品,要清楚这款产品的历史,才能看清楚发展方向。所以今天小鸟君先带着大家,回顾分布式系统发展的历史,一起了解分布式系统的前世今生,同时给大家介绍小鸟科技的全系列分布式产品。

(一)

分布式系统的诞生

2008年

在二十一世纪初,出现了视频分布式系统的雏形:基于视频压缩算法的视频传输交换系统。但由于当时科技水平的限制,这类分布式系统都采用PCIE架构,基于传统的MJPEG/MPEG-4/H.263等视频压缩方式,实现视频的传输和播放。这类系统一般用于监控安防领域,但是无法满足会议室、指控中心等场景的应用。同时,由于其产品形态和使用限制很多,随着时间的推进,逐渐消失在大众视野中。

经过小鸟君这几日的仔细调研,发现真正意义的第一代分布式系统,是2008年美国的Jupiter公司出品的PixelNet系列产品。之所以将其称为真正意义的分布式系统,是因为其产品形态和使用方式,跟我们今天所看到的分布式系统架构非常类似。采用了编码器+交换机+解码器的组网方式,实现视频矩阵切换、大屏拼接等功能。今天我们国内能看到的分布式产品,都采用了类似的组网架构。小鸟科技的创始人李厚鹏先生有幸在2011年和Jupiter的创始人Eric Wogsberg先生有过一次深入的交流,深感分布式系统可能给行业带来的变革。从那时起分布式的概念就在小鸟科技的血液中开始流淌。

(二)

分布式系统的蛰伏期

2008年-2015年

自Jupiter提出分布式系统的概念和产品后,国内外的一些厂家纷纷效仿。由于当时技术的局限性,图像压缩严重,网络占用带宽较大,没有配套的网络交换设备;加之设备和网络的采购部署成本非常高,导致当时的分布式系统在推广过程中遇到比较大的阻力,在相当长的一段时间内无法成为业内主流的音视解决方案。但在此期间,很多业内的厂家都对分布式系统保持高度关注,都在讨论分布式系统的未来及前景。小鸟科技也一直对分布式系统保持极大的热情,虽然受限于成本和技术瓶颈,分布式在市场端的接受度很低,但是我们依然组建核心团队对分布式系统进行各种核心技术的预研工作。

与分布式的蛰伏不同,2005-2015年却是集中式矩阵、拼接器发展的黄金十年。将FPGA算法引入专业视听领域,通过FPGA的超高处理能力,可以实现视频画面毫无损失的传输处理控制,并且随着技术的发展,集中式设备具备越来越完善的功能,包括矩阵交换、拼接处理、坐席管理、运维管控等所有能想到的功能。比如小鸟科技2017年出品的UniStation一体化坐席管理系统,就是集上述所有功能为一体的集中式高端音视频解决方案

(三)

分布式系统的黄金期

2015年-至今

从2015年开始,随着客户对更大规模音视频解决方案需求的提升,以及网络交换机技术的高速发展,分布式系统优势又重新被大家所关注。分布式系统之所以可以重登历史舞台,是因为其具有很多优秀特性,下边是小鸟君总结分布式系统最重要的几个特性:

a) 海量接入,无限扩容

b) 部署灵活,易于建设

c) 信息互通,多方协作

d) 整体运维,全面管控

随着分布式系统概念的逐步兴起,各厂家都开始加大分布式系统的研发及投入。但是由于业内厂家的技术背景以及对分布式系统的理解各不相同,导致大家采用了不同的分布式架构。小鸟君觉得当前行业内有以下三种主流的分布式形态:

1、深压缩分布式系统

深压缩分布式系统顾名思义,是将视频信号进行深度压缩,实现矩阵、拼接、坐席、管控等功能。一般业内厂家采用的都是H.264/H.265的压缩算法。由于深压缩算法的压缩原理,导致其优点和缺点都非常明显。

深压缩分布式系统的优点

 网络带宽占用低

深压缩算法将一路1080P视频信号(3G带宽),压缩为一路网络信号,通常为2M-50M带宽,因此对网络传输带宽要求较低,在广域传输、跨网传输情况下有非常明显的优势。

 标准化协议对接

采用标准的H.264/H.265传输协议,可以实现标准网络视频输入,例如网络摄像头和各种解码平台。并且可以简单的通过浏览器或者软件实现可视化的预监和回显功能。

 系统功能完善

深压缩采用的H.264/H.265编解码技术,都是来自于1997年ISO(国际标准化组织)和ITU(国际电信联盟)两个组织共同提出的新一代数字视频压缩格式。发展历史悠久,经过监控和安防行业的推进,有完整的解决方案。

划重点

DB

深压缩分布式系统的缺点

 YUV420采样导致图像损失较大

我国行业内绝大多数的深压缩分布式厂家,都是以华为海思编解码芯片为核心器件,进行二次开发而来。但是由于海思芯片对视频采样都是YUV4:2:0的采样形式,这就导致了行业内的深压缩分布式系统的视频色彩空间不足。此弊病在自然图像的视频下不明显,但是在文字图像和不同的底色情况下,显示的尤为明显。

 高压缩比导致画面质量损失较大

由于深压缩算法的压缩比可以达到50-150倍,所以高压缩比带来的必定是画质的降低。这一点不论是从香农定理还是信息论基本原理来讲,都是必然的,虽然可以通过各种算法降低画面损失,但是仍然无法达到视觉无损的显示效果。只能尽量通过降低压缩比,提高传输带宽,才能达到更好的视频效果。

 帧间压缩算法导致延迟较大

由于H.264/H.265采用的大都是帧间压缩算法,这种算法在编码和解码时会引入2-3帧的画面延迟,总共会引入4-6帧的延迟,虽然在视频显示的时候可以接受,但是如果在KVM应用下,则会让用户感觉到比较明显的迟滞感,降低客户使用的满意度。

 单播分布式通信导致拼接大屏同步性差

由于深压缩分布式系统,一般采用的是单播通信,因此画面在实现多屏显示的时候,发送端需要将视频一个接一个的发出去,加之解码端没有同步机制,画面会出现不同步和较为明显的撕裂现象。

小鸟B系列 深压缩分布式优势

小鸟科技从2015年开始,就推出了AVCNet-B系列分布式产品,实现多系统间的互联互通。2019年推出的新一代B系列深压缩分布式系统,针对上述深压缩分布式的缺点,都进行有针对性的系统优化,通过FPGA+DSP的全新架构,弥补了深压缩分布式的缺点:

 YUV4:4:4采样及传输

采用FPGA+DSP的底层架构,实现视频信号的YUV4:4:4采样,并且通过自主知识产权的增强编码传输的方式,实现YUV4:4:4画面的有效传输及解码,最终得到低带宽高画质的显示效果。

 AI码流自适应技术

采用独创的AI码流自适应技术,根据网络情况和屏幕显示需求,自动匹配最适合的码流,在实际有效带宽的情况下,可以得到最优质的视频显示效果和延迟效果。

 全网同步算法

通过小鸟自主知识产权的全网同步算法,可以实现所有输入输出视频的全网同步,加上系统支持组播建网模式,可以进一步提高拼接的同步性,多屏显示的时候同步性也可以达到纳秒级别,可以和集中式设备的同步性相媲美。

2、浅压缩分布式系统

浅压缩分布式是针对深压缩分布式而言,采用浅压缩算法,例如VC-2/JPEG等视频压缩算法。浅压缩信号可以通过千兆网进行传输,并且最大限度的使用千兆网的带宽资源。同样的浅压缩分布式系统也有其优缺点:

浅压缩分布式系统的优点

 视觉无损的压缩算法

浅压缩算法将一路1080P视频信号(3G带宽),压缩为一路网络信号,通常为300M-900M带宽,采用YUV4:4:4的采样形式;视频压缩率低,画质较深压缩有非常明显的优势。

 超低的视频延迟

浅压缩算法的压缩算法比较多,最优秀的视频压缩算法,是将视频按照每行的画面进行压缩,并马上传输后解压缩,因此一般浅压缩算法的延迟,不超过一帧,按照1080P分辨率而言,延迟在微秒级别,已经完全感觉不到分布式系统引入的延迟。

 完美的拼接同步性

由于采用组播传输模式,加上网络的全互通部署,所以每一路视频信号都有其独立的传输通道。加上全网同步技术,不论大屏显示还是单屏显示,都可以达到纳秒级的同步。

 协议私密,安全性高

国内做浅压缩分布式的厂家,大都采用各自的私有协议;或者在标准压缩格式的基础上进行改造。基本没有标准的编解码协议,这就意味着即使视频码流被截取,也无法恢复出原始视频。提高了视频传输的安全性。

浅压缩分布式系统的缺点

 交换机带宽压力大

由于一路1080P信号就要占用几百兆的网络带宽,因此对于交换机的数据吞吐量提出非常高的要求。并且无损分布式系统一定要和对应的接入交换机、汇聚交换机、核心交换机进行深入的适配,才能达到最优的网络传输效果。

 无法实现域间视频互通

由于浅压缩码流占用带宽很大,因此在跨域传输的时候,无法承载这么大的网络压力;因此无法单独实现域间传输。一般需要将网络信号转化为标准的电信号,再通过其他设备进行深压缩,以实现跨域传输。

小鸟H系列 浅压缩分布式优势

小鸟科技早在2015年就开始投入研发力量进行无损算法的技术预研,以国际领先的VC-2的压缩算法为基础,加入自身对算法的实现和改进,于2016年推出国内首款无损分布式系统AVCNet-H系列产品。2017/2018年InfoComm展会上,受主办方邀请,小鸟科技创始人李厚鹏先生就针对无损分布式系统做了精彩的分享。

小鸟科技的AVCNet-H系列无损分布式产品,以其卓越的视频压缩算法和全套的解决方案,一经推出就成为业界翘楚,应用于多个超大型项目中,将分布式系统解决方案推到了行业的风口浪尖。并且经过多个大型项目的历练,AVCNet-H无损分布式系统已经非常成熟稳定,具备上边提到的所有优点,并且通过自身的不断努力以及对客户的进一步了解,解决了传统无损分布式系统的缺点,形成完整的解决方案:

 与交换机厂家协作形成标准方案

由于浅压缩系统对网络带宽占用的特殊性,最初主流的交换机厂家都无法满足网络需求。小鸟科技和华为、华三、锐捷等交换机厂家,通过长时间的研发交流,最终明确需求,和主流交换机厂家形成了完整的解决方案。针对小、中、大、超大型项目,都有完整的解决方案,有效地降低无损分布式系统的部署难度。

  双码流模式转换器

针对浅压缩分布式系统不易实现跨域传输,码流格式不标准的缺点,自主研发双码流模式转化器,可以通过一个设备实现浅压缩码流和深压缩码流的格式转换。既可以降低带宽实现跨域传输,也可以形成标准的H.264/265码流,进行预监回显和录播回放等功能。

3、双码流分布式系统

顾名思义,双码流分布式系统是集合了深压缩分布式和浅压缩分布式的特性。但是双码流系统绝不是将两种制式简单的放在一起,进行简单的双系统并行传输。而是将两种制式的系统相互融合,形成更完善的解决方案。小鸟科技创始人李厚鹏先生,在2019年InfoComm展会上,就针对双流分布式产品进行详细的阐述。(相关链接:分布式即是产品为核心的Service、Solution、Support)

小鸟科技的AVCNet-T系列产品,是小鸟最新的双流分布式产品,具有以下一些卓越特性:

 域内无损的视频传输

高达4K@60,YUV4:4:4的视觉无损传输系统

 超低的分布式延迟

逐行压缩算法,传输延迟可达微秒级

 拼接大屏画面完美同步

大屏拼接纳秒级同步

 完善的音视频解决方案

矩阵交换、大屏拼接、坐席管控、可视化操控

 卓越的坐席管控功能

鼠标滑屏,OSD级鼠标操作、OSD级预监、席位互动及大屏联控等

 完美BS端可视化操控

可视化操控,多系统联控,第三方设备控制等

 全系统可视化运维管控

对整个分布式系统的集中运维管理,以及第三方设备的状态监测

当然除了上述三种主流的分布式系统之外,还有一些比较小众的分布式系统,由于各种原因,还未成为业内主流系统,因此在这里不进行详细介绍。对于这三种主流的方案,我们不认为是三代产品,而是针对不同用户需求的三种技术解决方案,并不存在前后代际关系。只有深刻理解用户需求,设计最优化的方案,才是真正的解决用户痛点。

(四)

分布式系统的的未来

随着近几年业内对分布式系统的追捧,分布式系统已经成为专业视听行业内公认的未来;相信随着时间的推移,分布式音视频系统将会成为音视频解决方案的首选。

同时,越来越多的客户在选择分布式,也一定会对分布式产品的稳定性、可靠性、易用性、显示效果等方面提出更高的要求。在分布式系统高速发展的过程中,谁能做到全系统的分布式解决方案、谁能够紧跟客户需求、谁能更准确地解决客户痛点,做到真正的以客户为核心;谁才能在分布式系统的浪潮中拔得头筹,成为分布式系统真正的第一品牌

相信专业视听的这一方江湖,必定会因为分布式系统的兴盛,引来一场血雨腥风。欲知江湖后事如何,各位请听下回分解。