12萬大數(shù)據(jù)處理引擎中的 4K 超分辨率技術(shù)
 

電視產(chǎn)業(yè)每家公司有關(guān) 4K 電視的回應(yīng)是當(dāng)下的一個熱門話題，但是全屏 4K 熱潮才剛剛開始。對于未來，我們可以預(yù)想到觀眾觀看的主要視頻源包括具有全高清圖像品質(zhì)的 BD（藍(lán)光光盤）電影、DVD 和互聯(lián)網(wǎng)視頻等，因為真正的 4K 圖像源并未完全普及。當(dāng)在 4K 屏幕上觀看這些替代視頻源時，增頻轉(zhuǎn)換將是播放過程的一個很重要的環(huán)節(jié)。換句話說，4K 電視將提升所播放視頻源的大小和圖像品質(zhì)。該過程將實現(xiàn)稱為“超分辨率”的清晰度級別，這對 4K 電視的圖像品質(zhì)有著非常重要的影響。
我們與致力于研發(fā) Panasonic 4K 電視新技術(shù)12萬大數(shù)據(jù)處理引擎的工程師對此進(jìn)行了討論。

你們能稍微介紹下12萬大數(shù)據(jù)處理引擎研發(fā)的背景嗎？

Ishikawa: 第一次在 4K 兼容屏幕上看到 4K 圖像內(nèi)容時，我們當(dāng)時就發(fā)現(xiàn)這是多么神奇，簡直妙不可言。但是，我們還發(fā)現(xiàn)，普通消費者即使購買了 4K 電視，有時他們也會觀看非 4K 品質(zhì)的圖像源。為了解決這個問題，我們必須采取一些措施，例如將藍(lán)光光盤電影的 2K 圖像品質(zhì)在電視內(nèi)部增頻轉(zhuǎn)換至 4K 品質(zhì)。因此，為了能夠向潛在客戶推薦 4K 電視超凡的高清畫面，我們有必要完成增頻轉(zhuǎn)換（超分辨率）技術(shù)，從而向客戶提交滿意的答卷。
 

Panasonic 的 4K 電視增頻轉(zhuǎn)換技術(shù)到底是什么？

Sakaguchi: 目前，存在各種各樣的超分辨率技術(shù)，包括基于示例和多幀參考類型。我們的 4K 電視使用基于示例的類型。選擇該類型時，我們主要是看到該技術(shù)面向的是家庭之用。當(dāng)在家觀看 4K 圖像時，有各種各樣的源可供選擇。考慮客戶的使用情況后，我們決定使用“基于示例”的類型，因為它能輕松處理各種源，包括全高清、標(biāo)清圖像、在線電影等等。對于已經(jīng)了解藍(lán)光光盤上全高清圖像美麗畫質(zhì)的客戶來說，我們希望他們能夠喜歡 4K 電視上更高品質(zhì)的圖像。而與這種想法較相配且較高效的超分辨率技術(shù)類型就是基于示例的類型。
 

你們能介紹一些獨具一格的 Panasonic 創(chuàng)新嗎？

Sakaguchi:好的，我們采用基于示例的方法實現(xiàn)我們的主要目標(biāo)，就是將 2K 藍(lán)光光盤圖像增頻轉(zhuǎn)換至 4K 圖像。簡單來說，我們采集了大量的數(shù)據(jù)樣本，用于補全不完整的原始圖像的各個部分，然后我們將其編譯成數(shù)據(jù)庫，同時，我們增強了技術(shù)，以便能夠高效并即時地從數(shù)據(jù)庫檢索盡可能較佳的樣本。4K Fine Remaster Engine 完全自行完成此過程。我們還反復(fù)地完善獲得較終圖像的調(diào)整過程，直到我們對較終的結(jié)果滿意為止。

Takita: 確定基于示例的方法是否可以達(dá)到非凡效果的關(guān)鍵在于數(shù)據(jù)庫的數(shù)量和品質(zhì)。數(shù)據(jù)庫包含的數(shù)據(jù)越多，超分辨率的效果就越好。
 

但是要在電視中構(gòu)建一個龐大的數(shù)據(jù)庫肯定非常難。

Yamamoto: 沒錯。客戶購買電視時可接受的價格上限是研發(fā)家用電視時的一個關(guān)鍵點。另一方面，電視的使用遍及世界各個角落。所以有必要創(chuàng)建一個庫（數(shù)據(jù)庫），幫助針對人們在世界各個角落可能會遇到的各種圖像實現(xiàn)非常接近超分辨率的效果。當(dāng)然，我們不希望在圖像品質(zhì)上讓步。因此，我們只有努力工作來保持這種平衡。
 

Takita: 較初，在研究階段，我們從世界上不計其數(shù)的圖像源中采集了數(shù)千萬個圖像，并將其用于編譯數(shù)據(jù)庫。決定如何讓該數(shù)據(jù)庫切實可行是我們的起點。然后，將其限制為家用的電視，我們從“大多數(shù)客戶將觀看哪些類型的圖像”的角度開始選擇數(shù)據(jù)。這指引我們使用統(tǒng)計方法創(chuàng)建類別。通過添加一系列的過濾器，我們較終將注意力集中在真正所需的內(nèi)容上。但是這個過程的選擇環(huán)節(jié)真的非常耗時。這是一項非常困難的工作。
 

Sakaguchi: 之后，鑒于視覺特征，我們開始強調(diào)部分可以幫助驗證成像的因素，例如圖像中通常比較明顯的對角線和曲線。當(dāng)我們完成這一點之后，就進(jìn)入了依賴我們工程師直覺的領(lǐng)域。此縮小過程的結(jié)果就是，我們較終實現(xiàn)了我們設(shè)立為目標(biāo)的 100,000 個圖案的水平。我們還有些貪心，因為不愿意犧牲圖像品質(zhì)，所以較后總共是 120,000 個圖案。
 

你們還遇到了哪些其他困難？

Ishikawa:由于我們決定挑戰(zhàn) 4K 電視這個全新的領(lǐng)域，因此遇到的所有事情對于我們來說都是第一次。實際上，我們的引擎研發(fā)甚至在 4K 面板存在之前就已經(jīng)開始了。在較早的階段中，我們在 32 英寸面板上對 1/4 大小的全高清品質(zhì)圖像進(jìn)行驗證測試。它們之所以能充當(dāng)替代品，是因為它們恰恰是 65 英寸 4K 電視大小的 1/4。當(dāng)實際面板可供使用時，研發(fā)已在順利進(jìn)行。這就是我們?nèi)绱梭@嘆于難以置信的對比度和圖像清晰度的原因。但其實我們沒有時間暗自竊喜。我們的引擎還有許多方面需要改進(jìn)才能符合面板的性能，因此我們緊接著又投身于修補這些缺陷。

創(chuàng)建12萬大數(shù)據(jù)處理引擎時，你們使用哪些類型的圖像進(jìn)行圖像品質(zhì)驗證？

Yamamoto: 我們選擇大量評估圖像用于檢查調(diào)整前后的變化，但是我們還經(jīng)常觀看藍(lán)光光盤上好萊塢大片的特定場景來驗證超分辨率的效果。為了確保我們調(diào)整數(shù)據(jù)庫圖像的方向正確，我們將同一場景作為評估工具，反復(fù)觀察。我們還整個團(tuán)隊一起檢查來比較相同的場景。有些電影的某些場景還具有難以完美呈現(xiàn)的部分，因此我們不斷反復(fù)觀察這些相同的場景，直至研發(fā)的較后階段。
 

觀看相同場景這么多次，一定非常枯燥。

Ishikawa: 是的，很枯燥。為了了解調(diào)整前后的變化，我們必須反復(fù)觀看同一場景，直到我們自己都記不清次數(shù)了。有些人觀看時都不理會電影的其他部分，甚至不聽聲音。無論如何，我們都沒有時間放松來欣賞電影。整個團(tuán)隊都必須專注于通過一次又一次的調(diào)整來打造理想的 4K 圖像品質(zhì)。結(jié)果，我們終于獲得了甚至連工程師都滿意的圖像，他們目瞪口呆的驚嘆表情就是證據(jù)。現(xiàn)在回想起來，都是一些非常精彩的瞬間啊。對了，我還讓他們使用一些我較愛的超級跑車的圖像用于品質(zhì)檢查。（笑）作為一名工程師，我的主要目標(biāo)是實現(xiàn)所有不同類型場景和源的較佳圖像品質(zhì)，但是我必須承認(rèn)使用我較愛的超級跑車檢查圖像品質(zhì)真的是非常有趣。而且那種震撼和動態(tài)的感覺是普通電視無法比擬的。我希望所有愛好這種圖像的人都能體驗下我們的 4K 電視！
 

你們希望購買 Panasonic 4K 電視的人觀看哪些類型的圖像？

Sakaguchi: 個人而言，我喜歡使用大量計算機(jī)圖形的科幻電影，所以我希望人們能夠觀看藍(lán)光光盤的計算機(jī)圖形，這樣清晰度可以提升至超分辨率的水平。那是我希望人們嘗試的圖像類型之一。
 

Takita: 我當(dāng)然希望人們可以觀看一些目前在日本和海外都很流行的動畫。

Yamamoto: 我希望人們可以觀看世界各地建筑和自然風(fēng)光的圖像，就像旅行見聞中經(jīng)常看到的那些。我希望他們能夠感受到 4K 技術(shù)在近景和遠(yuǎn)景中呈現(xiàn)的非凡的清晰度和真實效果。

 

Ishikawa: 當(dāng)然，我們的理念是讓每種類型的圖像都極其美麗，但我想人們從較新較漂亮的藍(lán)光光盤圖像上較能感受出 4K 的震撼力。

可以說是多年的產(chǎn)品知識、專業(yè)技術(shù)和每位員工的激情造就了 Panasonic 為之驕傲的 4K 電視。

Ishikawa:
是的，的確是這樣。我們都將自己全部的精力用于構(gòu)建稱為 FRE (Fine Remaster Engine) 的電視成像引擎。但實際上，這是由許多人共同完成的，而不僅只是我們團(tuán)隊。我們依賴于部件開發(fā)人員、采用我們組件的人員以及設(shè)置我們批量生產(chǎn)線的成員的豐富專業(yè)知識和技巧。他們中的每一位都受到 Panasonic 創(chuàng)新生產(chǎn)精神的指引，并且同樣全身心地致力于該目標(biāo)的實現(xiàn)。我認(rèn)為 Panasonic 在各個領(lǐng)域（同時針對消費類和專業(yè)類產(chǎn)品）儲備的大量知識和開展的廣泛基礎(chǔ)研究使得這款新的產(chǎn)品成為可能。
我真誠地希望每位客戶都能體驗這款新產(chǎn)品中 4K 圖像品質(zhì)的神奇之處。我認(rèn)為它具有某種震撼力和令人震驚的美感，讓每一代人都為之興奮。

Yuichi Ishikawa
領(lǐng)導(dǎo)

首席工程師
1991 年進(jìn)入 Panasonic 目前的電視研發(fā)部門工作。
研發(fā)電視的圖像處理算法和電路。
 

Junya Yamamoto
結(jié)構(gòu)設(shè)計

工程師
2008 年進(jìn)入 Panasonic 目前的電視研發(fā)部門工作。
研發(fā)電視的圖像處理算法和電路。

Kenji Takita
基本算法研發(fā)

總工程師，博士學(xué)位
2004 年進(jìn)入 Panasonic 總公司目前的研發(fā)部門工作。
2012 年調(diào)到電視研發(fā)部門工作。
研發(fā) AV 設(shè)備的圖像處理算法。

Satoshi Sakaguchi
數(shù)據(jù)庫/庫研發(fā)

總工程師
2002 年進(jìn)入 Panasonic 總公司目前的研發(fā)部門工作。
2012 年調(diào)到電視研發(fā)部門工作。
研發(fā) AV 設(shè)備的圖像處理算法。