12萬(wàn)大數(shù)據(jù)處理引擎中的 4K 超分辨率技術(shù)
 

電視產(chǎn)業(yè)每家公司有關(guān) 4K 電視的回應(yīng)是當(dāng)下的一個(gè)熱門話題，但是全屏 4K 熱潮才剛剛開(kāi)始。對(duì)于未來(lái)，我們可以預(yù)想到觀眾觀看的主要視頻源包括具有全高清圖像品質(zhì)的 BD（藍(lán)光光盤）電影、DVD 和互聯(lián)網(wǎng)視頻等，因?yàn)檎嬲?4K 圖像源并未完全普及。當(dāng)在 4K 屏幕上觀看這些替代視頻源時(shí)，增頻轉(zhuǎn)換將是播放過(guò)程的一個(gè)很重要的環(huán)節(jié)。換句話說(shuō)，4K 電視將提升所播放視頻源的大小和圖像品質(zhì)。該過(guò)程將實(shí)現(xiàn)稱為“超分辨率”的清晰度級(jí)別，這對(duì) 4K 電視的圖像品質(zhì)有著非常重要的影響。
我們與致力于研發(fā) Panasonic 4K 電視新技術(shù)12萬(wàn)大數(shù)據(jù)處理引擎的工程師對(duì)此進(jìn)行了討論。

你們能稍微介紹下12萬(wàn)大數(shù)據(jù)處理引擎研發(fā)的背景嗎？

Ishikawa: 第一次在 4K 兼容屏幕上看到 4K 圖像內(nèi)容時(shí)，我們當(dāng)時(shí)就發(fā)現(xiàn)這是多么神奇，簡(jiǎn)直妙不可言。但是，我們還發(fā)現(xiàn)，普通消費(fèi)者即使購(gòu)買了 4K 電視，有時(shí)他們也會(huì)觀看非 4K 品質(zhì)的圖像源。為了解決這個(gè)問(wèn)題，我們必須采取一些措施，例如將藍(lán)光光盤電影的 2K 圖像品質(zhì)在電視內(nèi)部增頻轉(zhuǎn)換至 4K 品質(zhì)。因此，為了能夠向潛在客戶推薦 4K 電視超凡的高清畫面，我們有必要完成增頻轉(zhuǎn)換（超分辨率）技術(shù)，從而向客戶提交滿意的答卷。
 

Panasonic 的 4K 電視增頻轉(zhuǎn)換技術(shù)到底是什么？

Sakaguchi: 目前，存在各種各樣的超分辨率技術(shù)，包括基于示例和多幀參考類型。我們的 4K 電視使用基于示例的類型。選擇該類型時(shí)，我們主要是看到該技術(shù)面向的是家庭之用。當(dāng)在家觀看 4K 圖像時(shí)，有各種各樣的源可供選擇?？紤]客戶的使用情況后，我們決定使用“基于示例”的類型，因?yàn)樗茌p松處理各種源，包括全高清、標(biāo)清圖像、在線電影等等。對(duì)于已經(jīng)了解藍(lán)光光盤上全高清圖像美麗畫質(zhì)的客戶來(lái)說(shuō)，我們希望他們能夠喜歡 4K 電視上更高品質(zhì)的圖像。而與這種想法較相配且較高效的超分辨率技術(shù)類型就是基于示例的類型。
 

你們能介紹一些獨(dú)具一格的 Panasonic 創(chuàng)新嗎？

Sakaguchi:好的，我們采用基于示例的方法實(shí)現(xiàn)我們的主要目標(biāo)，就是將 2K 藍(lán)光光盤圖像增頻轉(zhuǎn)換至 4K 圖像。簡(jiǎn)單來(lái)說(shuō)，我們采集了大量的數(shù)據(jù)樣本，用于補(bǔ)全不完整的原始圖像的各個(gè)部分，然后我們將其編譯成數(shù)據(jù)庫(kù)，同時(shí)，我們?cè)鰪?qiáng)了技術(shù)，以便能夠高效并即時(shí)地從數(shù)據(jù)庫(kù)檢索盡可能較佳的樣本。4K Fine Remaster Engine 完全自行完成此過(guò)程。我們還反復(fù)地完善獲得較終圖像的調(diào)整過(guò)程，直到我們對(duì)較終的結(jié)果滿意為止。

Takita: 確定基于示例的方法是否可以達(dá)到非凡效果的關(guān)鍵在于數(shù)據(jù)庫(kù)的數(shù)量和品質(zhì)。數(shù)據(jù)庫(kù)包含的數(shù)據(jù)越多，超分辨率的效果就越好。
 

但是要在電視中構(gòu)建一個(gè)龐大的數(shù)據(jù)庫(kù)肯定非常難。

Yamamoto: 沒(méi)錯(cuò)?？蛻糍?gòu)買電視時(shí)可接受的價(jià)格上限是研發(fā)家用電視時(shí)的一個(gè)關(guān)鍵點(diǎn)。另一方面，電視的使用遍及世界各個(gè)角落。所以有必要?jiǎng)?chuàng)建一個(gè)庫(kù)（數(shù)據(jù)庫(kù)），幫助針對(duì)人們?cè)谑澜绺鱾€(gè)角落可能會(huì)遇到的各種圖像實(shí)現(xiàn)非常接近超分辨率的效果。當(dāng)然，我們不希望在圖像品質(zhì)上讓步。因此，我們只有努力工作來(lái)保持這種平衡。
 

Takita: 較初，在研究階段，我們從世界上不計(jì)其數(shù)的圖像源中采集了數(shù)千萬(wàn)個(gè)圖像，并將其用于編譯數(shù)據(jù)庫(kù)。決定如何讓該數(shù)據(jù)庫(kù)切實(shí)可行是我們的起點(diǎn)。然后，將其限制為家用的電視，我們從“大多數(shù)客戶將觀看哪些類型的圖像”的角度開(kāi)始選擇數(shù)據(jù)。這指引我們使用統(tǒng)計(jì)方法創(chuàng)建類別。通過(guò)添加一系列的過(guò)濾器，我們較終將注意力集中在真正所需的內(nèi)容上。但是這個(gè)過(guò)程的選擇環(huán)節(jié)真的非常耗時(shí)。這是一項(xiàng)非常困難的工作。
 

Sakaguchi: 之后，鑒于視覺(jué)特征，我們開(kāi)始強(qiáng)調(diào)部分可以幫助驗(yàn)證成像的因素，例如圖像中通常比較明顯的對(duì)角線和曲線。當(dāng)我們完成這一點(diǎn)之后，就進(jìn)入了依賴我們工程師直覺(jué)的領(lǐng)域。此縮小過(guò)程的結(jié)果就是，我們較終實(shí)現(xiàn)了我們?cè)O(shè)立為目標(biāo)的 100,000 個(gè)圖案的水平。我們還有些貪心，因?yàn)椴辉敢鉅奚鼒D像品質(zhì)，所以較后總共是 120,000 個(gè)圖案。
 

你們還遇到了哪些其他困難？

Ishikawa:由于我們決定挑戰(zhàn) 4K 電視這個(gè)全新的領(lǐng)域，因此遇到的所有事情對(duì)于我們來(lái)說(shuō)都是第一次。實(shí)際上，我們的引擎研發(fā)甚至在 4K 面板存在之前就已經(jīng)開(kāi)始了。在較早的階段中，我們?cè)?32 英寸面板上對(duì) 1/4 大小的全高清品質(zhì)圖像進(jìn)行驗(yàn)證測(cè)試。它們之所以能充當(dāng)替代品，是因?yàn)樗鼈兦∏∈?65 英寸 4K 電視大小的 1/4。當(dāng)實(shí)際面板可供使用時(shí)，研發(fā)已在順利進(jìn)行。這就是我們?nèi)绱梭@嘆于難以置信的對(duì)比度和圖像清晰度的原因。但其實(shí)我們沒(méi)有時(shí)間暗自竊喜。我們的引擎還有許多方面需要改進(jìn)才能符合面板的性能，因此我們緊接著又投身于修補(bǔ)這些缺陷。

創(chuàng)建12萬(wàn)大數(shù)據(jù)處理引擎時(shí)，你們使用哪些類型的圖像進(jìn)行圖像品質(zhì)驗(yàn)證？

Yamamoto: 我們選擇大量評(píng)估圖像用于檢查調(diào)整前后的變化，但是我們還經(jīng)常觀看藍(lán)光光盤上好萊塢大片的特定場(chǎng)景來(lái)驗(yàn)證超分辨率的效果。為了確保我們調(diào)整數(shù)據(jù)庫(kù)圖像的方向正確，我們將同一場(chǎng)景作為評(píng)估工具，反復(fù)觀察。我們還整個(gè)團(tuán)隊(duì)一起檢查來(lái)比較相同的場(chǎng)景。有些電影的某些場(chǎng)景還具有難以完美呈現(xiàn)的部分，因此我們不斷反復(fù)觀察這些相同的場(chǎng)景，直至研發(fā)的較后階段。
 

觀看相同場(chǎng)景這么多次，一定非?？菰?。

Ishikawa: 是的，很枯燥。為了了解調(diào)整前后的變化，我們必須反復(fù)觀看同一場(chǎng)景，直到我們自己都記不清次數(shù)了。有些人觀看時(shí)都不理會(huì)電影的其他部分，甚至不聽(tīng)聲音。無(wú)論如何，我們都沒(méi)有時(shí)間放松來(lái)欣賞電影。整個(gè)團(tuán)隊(duì)都必須專注于通過(guò)一次又一次的調(diào)整來(lái)打造理想的 4K 圖像品質(zhì)。結(jié)果，我們終于獲得了甚至連工程師都滿意的圖像，他們目瞪口呆的驚嘆表情就是證據(jù)。現(xiàn)在回想起來(lái)，都是一些非常精彩的瞬間啊。對(duì)了，我還讓他們使用一些我較愛(ài)的超級(jí)跑車的圖像用于品質(zhì)檢查。（笑）作為一名工程師，我的主要目標(biāo)是實(shí)現(xiàn)所有不同類型場(chǎng)景和源的較佳圖像品質(zhì)，但是我必須承認(rèn)使用我較愛(ài)的超級(jí)跑車檢查圖像品質(zhì)真的是非常有趣。而且那種震撼和動(dòng)態(tài)的感覺(jué)是普通電視無(wú)法比擬的。我希望所有愛(ài)好這種圖像的人都能體驗(yàn)下我們的 4K 電視！
 

你們希望購(gòu)買 Panasonic 4K 電視的人觀看哪些類型的圖像？

Sakaguchi: 個(gè)人而言，我喜歡使用大量計(jì)算機(jī)圖形的科幻電影，所以我希望人們能夠觀看藍(lán)光光盤的計(jì)算機(jī)圖形，這樣清晰度可以提升至超分辨率的水平。那是我希望人們嘗試的圖像類型之一。
 

Takita: 我當(dāng)然希望人們可以觀看一些目前在日本和海外都很流行的動(dòng)畫。

Yamamoto: 我希望人們可以觀看世界各地建筑和自然風(fēng)光的圖像，就像旅行見(jiàn)聞中經(jīng)?？吹降哪切?。我希望他們能夠感受到 4K 技術(shù)在近景和遠(yuǎn)景中呈現(xiàn)的非凡的清晰度和真實(shí)效果。

 

Ishikawa: 當(dāng)然，我們的理念是讓每種類型的圖像都極其美麗，但我想人們從較新較漂亮的藍(lán)光光盤圖像上較能感受出 4K 的震撼力。

可以說(shuō)是多年的產(chǎn)品知識(shí)、專業(yè)技術(shù)和每位員工的激情造就了 Panasonic 為之驕傲的 4K 電視。

Ishikawa:
是的，的確是這樣。我們都將自己全部的精力用于構(gòu)建稱為 FRE (Fine Remaster Engine) 的電視成像引擎。但實(shí)際上，這是由許多人共同完成的，而不僅只是我們團(tuán)隊(duì)。我們依賴于部件開(kāi)發(fā)人員、采用我們組件的人員以及設(shè)置我們批量生產(chǎn)線的成員的豐富專業(yè)知識(shí)和技巧。他們中的每一位都受到 Panasonic 創(chuàng)新生產(chǎn)精神的指引，并且同樣全身心地致力于該目標(biāo)的實(shí)現(xiàn)。我認(rèn)為 Panasonic 在各個(gè)領(lǐng)域（同時(shí)針對(duì)消費(fèi)類和專業(yè)類產(chǎn)品）儲(chǔ)備的大量知識(shí)和開(kāi)展的廣泛基礎(chǔ)研究使得這款新的產(chǎn)品成為可能。
我真誠(chéng)地希望每位客戶都能體驗(yàn)這款新產(chǎn)品中 4K 圖像品質(zhì)的神奇之處。我認(rèn)為它具有某種震撼力和令人震驚的美感，讓每一代人都為之興奮。

Yuichi Ishikawa
領(lǐng)導(dǎo)

首席工程師
1991 年進(jìn)入 Panasonic 目前的電視研發(fā)部門工作。
研發(fā)電視的圖像處理算法和電路。
 

Junya Yamamoto
結(jié)構(gòu)設(shè)計(jì)

工程師
2008 年進(jìn)入 Panasonic 目前的電視研發(fā)部門工作。
研發(fā)電視的圖像處理算法和電路。

Kenji Takita
基本算法研發(fā)

總工程師，博士學(xué)位
2004 年進(jìn)入 Panasonic 總公司目前的研發(fā)部門工作。
2012 年調(diào)到電視研發(fā)部門工作。
研發(fā) AV 設(shè)備的圖像處理算法。

Satoshi Sakaguchi
數(shù)據(jù)庫(kù)/庫(kù)研發(fā)

總工程師
2002 年進(jìn)入 Panasonic 總公司目前的研發(fā)部門工作。
2012 年調(diào)到電視研發(fā)部門工作。
研發(fā) AV 設(shè)備的圖像處理算法。