株式会社PALTEK > デザインサービス事業 > 自社開発製品 > 広角レンズ・魚眼レンズの画像の歪みを補正する

広角レンズ・魚眼レンズの画像の歪みを補正する

4K/8K魚眼映像リアルタイム補正システム「OCTARIC-LC001」

広角レンズ・魚眼レンズカメラは、広視野を一度に撮影することが可能で、監視カメラをはじめとして車両搭載用カメラ、医療・インフラ設備壁検査用カメラ、テレビ会議システムなどさまざまな用途に利用されています。
5G(第5世代移動通信システム)の活用により、今後セキュリティ監視や自動運転などさまざまな場面で広角レンズ・魚眼レンズで撮影した4K/8K映像を活用したサービスが展開されることが予想されます。そのうえで課題となることとはなんでしょうか。

魚眼レンズの原理

魚眼レンズは焦点距離が非常に短くて画角が180°近くになるレンズのことをいいます。通常の写真レンズは被写体を極力歪まさずに描写することを目指しているのに対して、魚眼レンズに関しては歪ませて広い範囲を描写しています。 そのため、広範囲の映像が必要なセキュリティカメラやVR映像、自動運転の映像取得などに幅広く利用されています。

広角レンズとの違い

広角レンズは人間の目で感じるよりも広い範囲を撮影することができるレンズのことで、一般的に35mmフィルム換算で35mm以下の焦点距離のレンズを指します。その名の通り広い範囲を写すことが可能です。魚眼レンズは超広角レンズの一種で、180度の画角で写るものが多く知られています。

レンズで広い範囲を撮影すると、画面の外側にいくほど歪みが出ます。いろんな種類の形状のレンズを使ってこの歪みを修正して真っすぐにしようとするのが広角レンズですが、歪みを修正しようとすると映像の端に写るものは正しい大きさに調整できず、端の方が本当のサイズより少し大きく写ります。
魚眼レンズはその歪みの修正をせず、ひとつの画像の中にたくさんの情報を写します。画面の外側にいくほど歪みが大きくなり、奥行きや高さの遠近感も強調され、広角レンズと比べると画面中央の被写体が大きく、周囲が小さく写るのが特長です。

魚眼レンズの歪みの補正

魚眼レンズには1台で180度前後の画像が得られることに加えて深い被写界深度があることから1台で広範囲で鮮明な画像を得られますが、一方で、画像にはレンズの端になるほど歪みが発生し、被写体の形状や大きさなどを判断することは難しくなります。
魚眼レンズを実際の製品に搭載して画像から視認しやすい正しい情報を得るためには、歪んだ映像を正しい像(正像)に戻すことが必要になります。

正像変換のためには、平面化・3次元座標変換が必要

ほぼ半球の空間範囲から入射した光線が魚眼レンズを通過して2次元のイメージ・センサの撮像面に投影されるので,1枚の2次元魚眼画像から3次元空間に任意に横たわる平面スクリーン(仮想球面に接する平面)を起こさなければなりません。
これらを解決する変換式はよく知られており、教科書やWEBサイトなどを参照して活用することができます。

魚眼画像を4K/8K対応機器で活用するうえでの課題

これからは、5Gの「高速・大容量」で「低遅延」な通信を活用して、4K/8K映像を配信するさまざまなサービスが展開されることが予想されます。
セキュリティ監視や自動運転などのさまざまな場面においても同様で、そこでは広角レンズ・魚眼レンズで撮影した画像の正確さと配信のスピードが求められます。
既存の製品やサービスでの課題を3つ挙げてみます。

① 映像が歪む
魚眼レンズカメラ(全方位カメラ)は広範囲の映像を撮影できる代わりに、映像が丸くゆがんでしまい、被写体の形状や大きさなどを判断することは難しいという課題があります。今後、人間の代わりにAI( Artificial Intelligence、人工知能)が判断することが増えると考えられますが、自動運転や監視カメラ、内視鏡などの医療機器で魚眼レンズカメラが活用される場合においては、人物像や物体の形の判断ができないと活用の場が狭くなってしまいます。
② 補正に時間がかかる
従来のPCなどを使ったソフトウェア歪み補正では、4Kや8Kの補正処理に数時間から数日かかってしまうため、スポーツの生中継やライブイベントのリアルタイム配信、自動運転の映像取得などには使用することができません。
③ ハードウェアの制約で高精細4K/8Kの大容量映像の伝送が難しい
ソフトウェアに比べ高速な映像処理が可能なハードウェアを用いて魚眼映像のリアルタイム補正を行う場合、従来手法ではHD(High Definition)映像程度の解像度であれば対応可能となります。しかし、それ以上の解像度、4K/8K魚眼映像の場合は、ハードウェア(特にメモリバンド幅)の制約でリアルタイム処理が困難です。また、映像の正像変換に特に注力がなされて、ユーザーが自然な映像として感じるのが難しい状況です。

PALTEKでは、これらの課題を解決する製品として、4K/8K魚眼映像リアルタイム補正システム「OCTARIC-LC001」を開発しました。

FPGAに搭載の「8K4K映像高画質信号処理エンジン」で課題を解決

4K/8K魚眼映像リアルタイム補正システム「OCTARIC-LC001」は、日本放送協会(以下、NHK)と株式会社ベクトロジーが共同で開発した「8K4K映像高画質信号処理エンジン」を、当社製品である映像処理プラットフォーム「Image CUBE 2」に搭載した製品です。
FPGA上に「8K4K映像高画質信号処理エンジン」搭載することにより、ユーザーが自然に感じられる映像をリアルタイムに映し出すことができます。

また魚眼補正を行う際に画素の移動の際に画像にジャギーやノイズが発生しますが、NHKと株式会社ベクトロジーでは新型の魚眼用バイリニア補完処理方式を開発し、Image CUBE 2に搭載しました。

4K/8K魚眼映像リアルタイム補正システム「OCTARIC-LC001」

4K/8K魚眼映像リアルタイム補正システム「OCTARIC-LC001」の特長

FPGAで構成されており、魚眼画像をリアルタイムで正距円筒投影画像に変換
変換することによりAIでの人物認識・手書き文字認識・対象物との距離を正確に測ることが可能となります。
自動運転研究や監視カメラ・遠隔映像伝送などのAI処理が容易になります。

魚眼画像例
正距円筒投影画像
  • 文字認識などにも使えない
  • AIによる物体認知では誤認識をする
  • ステレオカメラによる測距ができない
 
  • 180°の広視野角でAIによる物探認知ができる
  • ステレオカメラによる測距ができる
  • リアルタイム化により車載でも採用できる
  • 広い店舗の監視カメラでも監視や分析にAIが使える
最新の「魚眼用バイリニア補間処理」方法を開発
魚眼レンズから射影変換した場合、従来方式のニアレストネイバー補間方式ではジャギーノイズが発生し、元映像の再現性は低くなっていました。一方で今回開発したバイリニア補間方式ではジャギー発生が少なく、顧客の映像体験の向上またAI処理の容易化に貢献します。
マルチFPGAシステムFiC(Flow-in Cloud)と連結可能
4K/8K魚眼映像リアルタイム補正システム「OCTARIC-LC001」は、慶応義塾大学理工学部教授の天野英晴氏が中心となって提唱するマルチFPGAシステムFiCと連結可能です。4K/8K映像を、4K/8K魚眼映像リアルタイム補正システム「OCTARIC-LC001」で処理したあと、FiC型マシンであるハイパフォーマンスFPGAコンピュータ「HPFC」などでAI処理することが可能です。
ハイパフォーマンスFPGAコンピュータ「HPFC」に関する詳細は、5G時代の映像伝送遅延・消費電力の課題を解決 ハイパフォーマンスFPGAコンピュータ「HPFC」のページをご覧ください。

4K/8K魚眼映像リアルタイム補正システム「OCTARIC-LC001」の製品スペック

アルゴリズム 特許技術の効率化されたメモリアクセスにより一定のフレーム周波数で更新することができる(元のRGB情報を4画素1組単位で扱いメモリ上に配置すること)
魚眼用バイリニア補間処理 バイリニア補間処理方式では求める位置(x,y)の周辺の2×2画素(4画素)を使って、輝度を直線的に補間して、輝度を求めます。最も近い位置にある画素の輝度を参照するニアレストネイバー補完処理と比較して自然な映像が得られます
ハードウェア 映像機器開発プラットフォーム「Image CUBE 2」に搭載することにより、豊富なメモリバンド幅「DDR4メモリ3系統」を活用することができます
入力映像信号 4K(2160×3840、29.97p)
出力映像信号 4K(2160×3840、29.97p)
入力インターフェース 12G-SDI×1
出力インターフェース 12G-SDI×1
水平視野角 130度以上のパノラマ映像
サイズ 19インチラック 3U
消費電力 100W以下

関連製品

ご相談・ご質問は
下記よりお気軽にどうぞ。

ご相談・ご質問は下記よりお気軽にどうぞ。

お問い合わせはこちら

03-4241-2597 受付時間 9:00~17:00(土日・祝日除く)

株式会社PALTEK ソリューション事業本部 ODM担当