写在Lytro十年--杂谈光场相机的不足、优势、应用(yòng)和展望（上）

Lytro 公司在2011年向市场推出了第一代光场相机，距今已经过去了近十年。 这款号称“一次拍摄，多(duō)次对焦" 的成像设备，在进行首次商(shāng)业发布之时，在摄影界、科(kē)技届和媒體(tǐ)届都引发了不小(xiǎo)的轰动。 相比于传统的单反摄影相机，它主打的卖点是不需要繁琐的对焦和寻找摄影角度，单次拍摄后即可(kě)得到不同焦深和角度的照片。 光场相机的发明者、同时也是Lytro的创始人Ren Ng的博士论文(wén)获得了ACM Dissertation Award，而他(tā)本人也获得了"MIT Tech Review's TR35" ,"Fast Company's 100  Most Creative People in Business" ,"Silicon Valley Journal's 40 under  40" 等一系列称号。光场相机可(kě)谓一时风光无限，在被誉為(wèi)一项颠覆性的技术发明的同时，甚至有(yǒu)人视其為(wèi)单反相机的历史终结者。

然而十年过去了，负责研发、推广这款产品的公司Lytro在2018年以宣布倒闭告终，公司的CEO、同样也是这款相机的发明人Ren Ng选择了重回學(xué)术界任职，成為(wèi)UC Berkeley的一名教授。这款相机经历了严重的高开低走，就如同消失在了消费者的视野一般。

尽管在To C端， 光场相机的表现可(kě)谓惨不忍睹，使用(yòng)者的反馈也是恶评如潮，但是在To B端和學(xué)术界，光场相机依然延续着比较旺盛的生命力，不仅學(xué)术文(wén)章在陆续的被发表，拓展光场相机的应用(yòng)范围，同时國(guó)内外少数科(kē)技独角兽也将该技术在某些应用(yòng)领域进行落地(比如德國(guó)的Raytrix和國(guó)内的上海奕目科(kē)技，他(tā)们可(kě)谓是光场成像在工业应用(yòng)领域的两大领头羊）

甚至有(yǒu)基于光场成像的技术发明获得了國(guó)家重大科(kē)技进步奖项，世界最顶级學(xué)术期刊上也可(kě)以见到它的身影（比如清华深圳研究生院的戴琼海课题组，在光场成像的生物(wù)医學(xué)显微应用(yòng)上，有(yǒu)着较大的影响）。
这种仿佛是一个技术，在经历着某种兴衰变革，在技术史上不乏某种技术几起几落的兴衰交替的现象，驱使着學(xué)界和业界的人们一哄而上、一哄而散，不断参与或者离开某个技术领域。

就光场相机而言，本文(wén)试图从纯技术角度去回答(dá)一个对该现象反思式的问题： 光场相机的优势和劣势在哪那里？什么原因使得它被消费者抛弃的同时却又(yòu)在工业届延续着自己的生命？ 落地应用(yòng)的现状如何？  本文(wén)既是自问自答(dá)，也是抛砖引玉，希望各位从事本行业的看官，能(néng)多(duō)多(duō)发表自己的高见。

一、不足篇

欲扬先抑，回顾该设备的不足，也是对光场相机在To B市场逐渐被抛弃的一个回顾和解释。光场相机由于其本身的硬件构造，无法避免的存在三大先天缺陷。
1. 空间分(fēn)辨率低

光场相机结构（源于《基于仿生视觉的单相机光场成像及3-3维直接转换基础》）

由于光场相机為(wèi)了采集不同视角的信息，在CCD前放置了一个微透镜阵列。但是相机可(kě)以采集的总信息量却是受限于成像芯片上CCD像素的尺寸和数目，角度信息和空间信息的关系可(kě)以简单描述為(wèi)：

两者相互折中和制约，如同我在另一个回答(dá)所指出的，单个视角下的光场图像的大小(xiǎo)，等于微透镜阵列中微透镜的个数，由于单个微透镜下的像素数目介于100到200之间，因此微透镜个数相当于原始CCD像素数目的100倍级别的压缩，对于一个1000万像素的光场相机，经过视角信息的折中压缩后，得到的单视角有(yǒu)效像素数目，居然只有(yǒu)十万像素量级！ 相比起传统单反相机几千万像素的纤毫毕现, 这个数量级的空间分(fēn)辨率，对用(yòng)于摄影的消费者而言如同玩具。这也是光场相机在消费者市场遇冷到消失的最大因素。即使Lytro后续推出了2.0代光场相机，以进一步压缩角度分(fēn)辨率的方式来提高空间分(fēn)辨率，上述问题，依旧没有(yǒu)得到彻底的解决。不过，这个缺陷应该辩证看待，角度信息和空间信息的相对取舍，取决于应用(yòng)场景。

2. 基線(xiàn)过短
基線(xiàn)问题的長(cháng)短问题，消费者对其不敏感，然而在宏观成像和测量领域，比如航空摄影测绘、双目立體(tǐ)视觉、卫星遥感成像，却是一个及其重要的参数。

基線(xiàn)和视差关系示意图

在多(duō)目视觉中，图像接受者（人，机器）对于深度信息的感知，源于目标在不同相机（眼睛）上的视差，视差大小(xiǎo)随着目标物(wù)离相机的距离变化。相机之间的距离長(cháng)度被称為(wèi)基線(xiàn)長(cháng)度，在同等距离条件下，基線(xiàn)長(cháng)度越大，则视差越大，对深度的分(fēn)辨能(néng)力也越高。

对于双目视觉，它的基線(xiàn)長(cháng)度可(kě)以由大致平行布置的两个相机之间的间距表示，而对于光场相机，它的基線(xiàn)長(cháng)度如何计算？如下图所示，因為(wèi)每个微透镜都记录着入射点光源的一部分(fēn)信息，此时你把每个微透镜都当成是一个小(xiǎo)相机，那么你就可(kě)以直观的得到答(dá)案，由于多(duō)个”小(xiǎo)相机“的存在，光场相机存在多(duō)个基線(xiàn)，但是光场相机的最大基線(xiàn)長(cháng)度，是被点亮的间隔最遠(yuǎn)的两个微透镜的距离。 但是这个基線(xiàn)長(cháng)度，存在两个特性：首先是基線(xiàn)長(cháng)度随着点光源的离焦距离变化，离焦平面近的时候，只有(yǒu)少数个微透镜下被点亮，因此最大基線(xiàn)長(cháng)度比较短，但是离焦平面遠(yuǎn)的时候，更多(duō)的微透镜被点亮，最大基線(xiàn)長(cháng)度变大（这也是光场相机在焦平面附近，景深分(fēn)辨率最差的原因）；尽管如此，微透镜的基線(xiàn)長(cháng)度，无法超过CCD芯片尺寸本身。

这种差距，和双目视觉对比，尤其明显，比如上图右边的光场基線(xiàn)長(cháng)度，大致在2~3个微透镜的直径左右。由于光场相机的基線(xiàn)过短，在被测物(wù)距离较遠(yuǎn)的情况下，深度分(fēn)辨率将会受到很(hěn)大限制。

3. 相机的动态范围HDR被压缩
利用(yòng)上一个点光源的分(fēn)析案例可(kě)以发现，当点光源在焦平面附近时，只有(yǒu)少数微透镜被点亮，必然有(yǒu)更多(duō)的光能(néng)量，集中到少数CCD上；当点光源离焦平面院时，多(duō)个微透镜被点亮，即点光源的能(néng)量分(fēn)布更加分(fēn)散。 在这种条件下，為(wèi)了让相机CCD不过曝或者过暗，被拍摄物(wù)體(tǐ)的亮度只能(néng)在一个比较小(xiǎo)的动态范围内，使得物(wù)體(tǐ)离焦近时不至于过曝，离焦遠(yuǎn)时不至于过暗。

点光源离焦平面不同距离时的能(néng)量分(fēn)布

上述三大问题，严重限制着光场相机的应用(yòng)领域，也是光场相机在过去十年，不被消费者所接纳的主要原因。然而，寸有(yǒu)所長(cháng)，尺有(yǒu)所短，在To B端以及學(xué)届，光场相机却有(yǒu)着诸多(duō)独特优势，能(néng)完成传统成像设备所不能(néng)的任務(wù)。 上述三大不足，在这些应用(yòng)领域，都得到了相应的克服和一定程度的解决。此外，以动态的目光看，随着像素尺寸的缩小(xiǎo)、芯片上像素数目的增長(cháng)、更高动态范围芯片的出现（甚至有(yǒu)些芯片号称，开发了永遠(yuǎn)不过曝的技术），上述问题有(yǒu)望得到根本性的解决。

技术的兴衰往往如此，峰回路转又(yòu)一村，吸引着每一个十年中的人们”Boom and Bust“。