Pixel 3如何透過Super Res Zoom技術，不需變焦鏡頭就能拍出清晰照片

長久以來數位變焦都不是太受歡迎的相機功能，拍攝出來的效果也無法與光學變焦相比，所以就衍生出大型相機上的複雜光學與機械系統，是無法被輕巧的行動裝置取代的印象。但是Pixel 3就透過聰明的Super Res ZOOM技術與演算法強化拍攝品質，讓智慧型手機能夠拍出更加清晰的照片。

數位變焦的挑戰

Google的軟體工程師Bartlomiej Wronski與數位影像研究人員Peyman Milanfar、Lead Scientist在Google AI部落格發表文章，詳細說明Pixel 3所使用的Super Res Zoom技術。

說穿了Super Res Zoom就是強化版的數位變焦，數位變焦指的是透過重建在取樣過程中遺失的細節的方式，將解析度比較低的照片升頻為解析度比較高的版本，以白話來解釋，就是將小圖片放大產生大圖片。

重建細節的困難之處，在於原始小圖片資料的不完整，造成在放大的過程中該如何填補新產生的空缺像素，就是個棘手的問題。如果單純放大而不處理，大圖片就會有很多馬賽克鋸齒，如果使用傳統常見的線性內插法（也稱為補差點，可以理解為將臨近像素取平均，填入新像素），則會讓大圖片變的模糊。如果需要進一步提升品質，就需仰賴如研發團隊先前提出的RAISR演算法 （可參考筆者先前的文章），在放大圖片時，透過機械學習的協助重建圖片的邊緣、紋理的銳利度。

▲ 放大圖片常會遇到的問題就是充滿鋸齒或變得模糊。

紅、綠、藍三色分離與合成也是痛點

數位變焦的另一大挑戰，就是現在的數位相機大多採用拜爾濾色鏡將紅、綠、藍等三原色過濾後，再投射到感光元件上，讓感光元件的每個像素都只會接觸到固定的1種顏色，如此一來運作時感光元件只需測量光線的強度，而不需分辨光線的顏色。

由於人眼對綠色比較敏感，所以典型的拜爾濾色鏡是以2 x 2像素為基本單位，其中包含2個綠色與紅、藍各1。

現在問題來了，因為要將透過拜爾濾色鏡感應到的光線訊號，回復成連貫的彩色資訊，就需經過去馬賽克（Demosaicing）的手續，而過程也會遇到臨近像素缺乏各色訊號的問題。例如紅色濾色鏡周圍的區域就無法感應紅色訊號，需要透過內插法或其他更複雜演算法推測空缺的區域的訊號。

由於大型相機的感光元件可以捕捉更多訊號，所以重建各色資訊的品質會比較好，但對於智慧型手機來說，重建品質就不會太理想，如果再搭配以數位變焦的方式放大照片，最終的照片品質可想而知不會太好，

▲ 拜爾濾色鏡會將紅、綠、藍等三原色光線分離，再投射到感光元件的不同像素。（圖片來源：維基百科，本圖採用創用CC姓名標示-相同方式分享，作者為Cburnett）

▲ 典型的拜爾濾色鏡採「紅、綠、藍、綠」方式排列。（圖片來源：Google，下同）

▲ 要如何重建各色缺乏的資訊，也考驗相機廠商調校演算法的功力。

（下頁還有的如何解決拜爾濾色鏡問題的方式）

抖動一下，就能重建資訊

在天文攝影的領域中，Drizzle是種已經有超過10年歷史的攝影手法，其概念為拍攝時些微移動相機並拍攝多張照片，再將照片疊合在一起，便能在光線條件良好的情況下達到2~3倍變焦的效果。這個過程也稱為多畫格超高解析度成像（Multi-Frame Super-reSOLUTION imaging），我們可以從下方的圖片範例中瞭解其原理。

在一般情況下，相機內的感光元件會因拜爾濾色鏡的限制，每個實際像素只能記錄紅、綠、藍3種顏色其中1種的資訊，但如果我們在拍攝的時候讓相機往右、往下、往右下各移動1個像素的微小移動（專業術語為Microstepping）並拍攝，然後把得到的影像疊合在一起，就能將原本像素中各色空缺的資訊補齊。

然而這種技術有著許多限制條件，最重要的關鍵就是鏡頭處理細節的能力需要高於感光元件，否則就會產生混疊（Aliasing現象，進而讓照片出現摩爾紋（Moiré patTERN）等瑕疵，而造成照片失真的問題。

▲ 即便拜爾濾色鏡限制了感光元件接觸三原色的能力，但拍攝時讓相機往右、往下、往右下各移動1個像素，就能解決這個問題。

▲ 如果在相機運作過程中產生混疊的話，就會出現如本圖右下方的摩爾紋。（圖片來源：維基百科，本圖採用創用CC姓名標示-相同方式分享，作者為Cburnett）

▲ 左方的圖片是高解析度的單張照片。右方則為多張連拍，可以看到因混疊讓像素跳來跳去並產生不正常顏色。

不使用角架反而成為優勢

有些數位單眼相機提供搭配角架使用的超高解析度成像模式，需要在機身穩定不晃動的前提下，透過機身內感光元件與光學機構的偏移，達成多畫格超高解析度成像所需的微小移動。這種方式對智慧型手機相當不切實際，我們總不能期望使用者會為了小巧的手機攜帶笨重的角架。

然而只要反過來活用在手持手機拍攝時無法避免的晃動，也能讓這個缺點成為優勢。一般而言光學影像穩定器（OIS，即防手震功能）可以抵消1/30秒內5~20個像素的偏移，而無法抵消更快或更微小的手部自然顫抖，所以我們可以利用這個特性，將僅有幾個像素的微小顫抖利用於多畫格超高解析度成像。

在拍攝過程中，Pixel 3會連續拍攝多張照片，並將其中1張照片當作參考基準，把其他連拍的照片疊合在一起，並透過內插方式修正手部顫抖（因為並不會以1像素為單位精準移動），模擬為多畫格超高解析度成像所需的微小移動，達到提升畫質的鄉同效果。

不過如果因使用角架反而沒有任何手部顫抖的話，Pixel 3就會強迫光學影像穩定器進行抖動（與專業數位單眼相機相同），來滿足多畫格超高解析度成像的條件。

▲ Pixel 3會將連拍的照片大致疊合之後，就會產生如多畫格超高解析度成像所需的微小移動。

▲ 使用者可以將Pixel 3完全固定，並將變焦開至最大，就可以發現光學影像穩定器會讓畫面產生橢圓形抖動以產生微小移動。

（本圖因技術問題無法顯示，請暫時移至此連結觀看圖片）

（下頁揭曉Pixel 3採用的解決方式）

疊合圖片還有其他挑戰

在瞭解了多畫格超高解析度成像的基礎知識後，我們可以深入探討最關鍵的圖片疊合部分。雖然將圖片疊合聽起來很簡單，但在實際運作的過程中，還是會面臨許多問題。

舉例來說，即便在光線良好的情況下，高速連拍的照片組可能還是會充滿雜訊，因此演算法就需考慮到雜訊可能會影響對齊圖像時的精準度，進而干擾圖片疊合，也需降雜訊過濾，以免產生的大圖片也充滿雜訊。

另一方面，連拍的各張照片除了會反映「故意施加」的微小移動之外，也可能包含水流、車輛、人物的移動，甚至風吹草枝擺、火燄、煙霧等複雜的隨機性移動，都會在前後多張照片的細部造成差異，因此很難透過統一的方式推測移動的趨勢，因此Super Res Zoom演算法需要能在動態預測不完美的情況下也能疊合圖片。

即便我們可以推測移動的趨勢，照片中的景物也可能會有分佈不均的問題，在某些區域比較密集，而在其他區域比較稀疏，由於多畫格超高解析度成像的關鍵之一為內插法，這種不規則的資訊分佈會增加產生高解析度圖像的困難度。

▲ 左方的為充滿雜訊的單張照片。右方則為經疊合的多張連拍，可以看到雜訊已被消除，畫面清晰許多。

▲ 照片中的景物會有分佈不均的問題，讓各色像素資訊的分佈也會不均勻，比方左側圓圈內就包含較多像素資訊，右側圓圈內則較少。

施展魔法，完美疊合照片提升清晰度

Google的團隊為了解決這些問題，開發了穩定而精確的強化演算法，以利在Pixel 3上達成Super Res Zoom的效果。

首先Pixel 3會分析連拍各照片的影像邊緣，在權衡細節、解析度、消除雜訊、平滑度等要素之後，沿著各物件的邊緣將照片對齊並疊合，以取得降低雜訊與強化細節的平衡。

此外為了處理如人、車、樹葉等複雜的移動物件，Google開發了可靠的演算法模型來偵測物件並降低疊合的錯誤，系統會選擇照片組的其中1張作為參考基準，並只將其他照片中經演算法確認為正確的部分，貼合至參考基準，能夠有效降低模糊與鬼影的狀況。

▲ 左方照片採用次佳的權衡參數，右方則為最佳參數，可以看到右方圖像的框與文字更加平滑且清晰。

▲ 左方照片未採用可靠模型，圖中有許多鬼影。右方為採用的情況，圖像明顯清晰許多。

▲ 左方為使用Pixel 2以7倍變焦拍攝的圖像，右方為相同條件下Pixel 3的表現，可以看出Super Res Zoom確實很有效。

▲ 這組圖片為Pixel 2與Pixel 3在2倍倍變焦拍攝的圖像，高下立判。

超高解析度成像概念的出現至少比智慧型手機早了10年，也是許多學術專家研究的題材，現在則透過Pixel 3走入尋常百姓家，讓一般使用者也能輕鬆拍出清晰的照片。想要進一步瞭解Super Res Zoom實力的讀者，可以瀏覽這個由Google提供的範例相簿，其中的照片都是在Pixel 3上透過雙指縮放所拍攝，而非事後剪裁，能夠忠實呈現Pixel 3的攝影品質。