谷歌解释了Pixel 4上的天文摄影工作原理


像素相机之所以出色,有很多原因,其中之一就是夜视功能 。今年Google发行了Pixel 4和4 XL时,它加入了Astrophotography模式,使该功能更加出色 。在新的博客文章中,Google深入了解了如何设法获得以前认为仅适用于数码单反相机的照片模式 。
如果您不熟悉Night Sight,则简单来说,它会使照片在光线不足或几乎没有光线的情况下看起来像是在更多光线下拍摄的 。Google详细说明了这种缺乏发光的处理过程:
【谷歌解释了Pixel 4上的天文摄影工作原理】为了克服这一问题,Night Sight将曝光分为多个帧,这些帧具有较短的曝光时间和相应较少的运动模糊 。首先对齐帧,以补偿相机抖动和场景内运动,然后将其平均,并仔细处理无法完美对齐的情况 。尽管各个帧可能相当粗糙,但合并后的平均图像看起来要清晰得多 。
至于可以使用Pixel 3或更高版本拍摄的梦幻星空照片,Google添加了新的Astrophotography模式 。虽然可以使用手机握住Night Sight的照片,但需要将手机放在三脚架上或支撑在物体上来拍摄银河系的照片 。
很少有人愿意等待四分钟以上的图像,因此我们将单个Night Sight图像限制为最多15帧,每帧最多16秒 。
在拍摄这些出色的恒星照片时,要在屏幕上正确构图可能会有些挑战 。这是因为当您打开手机并切换到Night Sight时,在屏幕上看到的效果很好-黑色 。设置好手机后,在接下来的四分钟内将其保持不动,然后按快门按钮,倒数开始,并且视图改变 。
对于低照度照片,Google需要考虑的其他因素是“暖像素”和“热像素” 。由于某种叫做“暗电流”的东西,听起来像是《哈利·波特》书中的东西,即使没有,也使CMOS图像传感器看到少量的光 。随着照片的曝光时间延长,这个问题成为一个更大的问题 。发生这种情况时,照片中的那些“暖像素”和“热像素”会变成明亮的光 。
可以通过比较同一帧内以及为照片记录的帧序列中相邻像素的值,并查找异常值,来识别热像素和热像素 。一旦检测到离群值,就用其邻域的平均值替换其值以将其隐藏 。由于原始像素值被丢弃,因此会丢失图像信息,但是实际上这不会显着影响图像质量 。
夜景照片进行最终处理后,Google会添加另一个技巧,为您提供令人惊叹的照片,那就是天空的处理 。知道非常暗的图像看起来可能比实际的亮度明亮,并且会在实际拍摄照片的那一天影响观看者的解释-Google提供了解决方案 。天空处理有效地知道照片中的天空应该看起来比它要变暗,因此可以调整该部分而不更改非天空部分 。
在夜视仪中,可以通过在昏暗的场景中选择性地使天空变暗来抵消这种效果 。为此,我们使用机器学习来检测图像的哪些区域代表天空 。设备上的卷积神经网络经过训练,通过跟踪天空区域的轮廓对手动标记的超过100,000张图像进行了训练,将照片中的每个像素标识为“天空”或“非天空” 。

    推荐阅读