2021.2.12 情報処理学会SC29短期集中セミナー概要
日時: 2021年2月12日(金) 10:00～17:35(予定)
新生SC29によるJPEG/MPEG標準化最新動向
2020年度にSC29はポストHEVC映像符号化規格であるVVC(Versatile Video Coding)をはじめ点群符号化規格PCC(Point Cloud Compression)など多くの国際規格を標準化すると同時に、任期満了に伴う議長交代や1991年のSC29発足以降初となる大規模組織改革など大きな転換を経験した。本セミナーでは、SC29新体制の下でのJPEG/MPEG国際規格の標準化動向を、2021年1月会合の最新情報も反映しつつ俯瞰する。またVVC規格の実用的実装技術、将来に向けた検討状況として機械学習技術応用などについても国内外研究者より解説をいただく。
ISO/IEC JTC 1/SC 29 議長 ソニー 鈴木 輝彦
鈴木 輝彦（ソニー株式会社、SC 29国際議長、SC 29/MPEG VIDEO小委員会主査）
概要 ISO/IEC JTC 1 SC29 (音声,画像,マルチメディア,ハイパーメディア情報符号化)は、発足より 29年経った。映像音響信号の高能率符号化技術の国際標準化により映像音響機器、サービスの普及促進に貢献してきた。これまでJPEG（静止画符号化）MPEG（動画像符号化）の構成で標準化を進めてきた。しかしながら、センシング技術、認識技術、AI(人工知能)技術の発達から、映像技術も人間が見て楽しむエンターテイメントでの活用から、自動運転のように機械が認識して活用するという新しい応用分野が広がってきた。こうした将来の映像音響技術にも対応するよう、SC29のスコープScopeを発足以来、初めて見直し、拡張し、組織改編を行った。SC 29 の組織再編と、今後の展望を解説する。
鈴木輝彦（ソニー株式会社、SC 29国際議長、SC 29/MPEG VIDEO小委員会主査）
略歴 1992年 東京工業大学大学院理工学研究科 博士前期課程 修了、同年ソニー株式会社入社。以来、映像信号処理、符号化技術の研究開発に従事。1995年よりISO/IEC JTC1/SC29/WG11（動画像符号化）国際標準化に参加。Editor, AHG chair 等を担当。2017年よりISO/IEC JTC1/SC29 国際議長を務める。2007 年 情報規格調査会 標準化貢献賞、2008 年 経済産業省産業技術環境局長表彰、2016年 情報規格調査会 標準化功績賞、2020 年 経済産業省 経済産業大臣表彰、各受賞。
JPEGのこれから - JPEG AI, Fake media, JPEG DNA –
概要 ISO/IEC JTC 1/SC 29/WG 1 (JPEG)は、主として静止画像の符号化技術に関連する標準化を行うWGである。静止画像メディアを取り巻く環境は、ディープラーニング、いわゆる「AI」技術が隆盛を極めている。同時に「Deep Fake」に代表される画像の捏造がフェイクニュースの拡散に影響を与える等の問題も存在する。「AI」時代の画像符号化標準は、ディープラーニングとの親和性や、改ざん検知などの機能を持つことが望ましい。本講演では、JPEGにおける新しい試みであるJPEG AI、Fake media、およびJPEG DNAについて解説する。
渡邊修(拓殖大学、SC 29/JPEG小委員会主査)
略歴 2004年、東京都立大学大学院電気工学専攻博士課程修了、博士（工学）。同年、拓殖大学工学部助手、現准教授。2010年よりISO/IEC JTC 1/SC 29/WG 1国内小委員会（現JPEG小委員会）委員、2020年6月より主査。2019年情報規格調査会 国際規格開発賞、2020年情報規格調査会 標準化貢献賞。
Deep Learning Method for Image Compression
概要 Image compression technology is essential to relieve the burden of image transmission and storage. In the past few years, deep learning has shown a strong ability to improve the image compression ratio. This talk will introduce the recent technologies for both hybrid and end-to-end learning framework. For the hybrid framework, the existing component in the traditional codec such as intra prediction and loop filtering will be enhanced by deep learning. For the end-to-end framework, the developments are mainly focused on the network structure and entropy model. We will also discuss about remaining problems and future prospects at the end.
略歴 Heming Sun received the B.E. degree in electronic engineering from Shanghai Jiao Tong University, Shanghai, China, in 2011, and received the M.E. degree from Waseda University and Shanghai Jiao Tong University, in 2012 and 2014, respectively, through a double-degree program. In 2017 he earned his Ph.D. degree from Waseda University, where he is currently a junior researcher. He was a researcher at NEC Central Research Laboratories from 2017 to 2018. He is selected as JST PRESTO Researcher, during 2019 to 2023. His interests are in algorithms and VLSI architectures for image/video processing and neural networks. He is a recipient of IEEE VCIP 2020 Best Paper Award.
MPEG-7 Part 17 NNR標準化の最新動向
概要 MPEG-7は、静止画像・動画像コンテンツを検索するためのメタデータ体系を規定する国際標準規格である。近年、画像認識分野においてニューラルネットワーク（NN）を用いた技術の進歩は目覚ましく、MPEG-7においても、映像コンテンツ内の物体・シーンを検索するためのコンパクトな特徴記述子規格であるMPEG-7 Part15 CDVA（2018年10月規格化）にNNから得られる特徴記述子が採用されている。これを契機として、2019年からは大規模化するNNのモデル自身のコンパクト化を目的としたモデル圧縮方式の標準化がMPEG-7 Part17 NNR(Compression of neural networks for multimedia content description and analysis)として開始されている。本講演では、2021年4月に完了を迎えるNNR標準化の最新動向について解説する。
峯澤彰（三菱電機株式会社、SC 29/MPEG VIDEO小委員会委員）
略歴 2008年、東京理科大学大学院理工学部電気工学専攻修了。同年、三菱電機（株）入社。以来、画像処理及び符号化技術の研究開発に従事。2010年よりHEVC標準化活動、2017年よりMPEG CDVA標準化活動、2019年よりNNR標準化活動に参画。現在、ARIB映像符号化方式作業班委員。2018年、情報規格調査会 標準化貢献賞、2020年、情報規格調査会 国際規格開発賞、各受賞。
MPEG-H 3D Audioによる放送サービス高度化に向けた取り組み
概要 近年、放送に用いられる音響システムは、3次元音響およびオブジェクトベース音響へと進化してきた。3次元音響は、空間上のあらゆる方向から音を再生することで、これまでにない臨場感を実現している。またスピーカの位置や数による制約を受けないオブジェクトベース音響は、視聴者の好みに応じて再生音をカスタマイズできる音声サービスを提供可能になる。本セミナーでは、3次元音響およびオブジェクトベース音響に対応したMPEG-H 3D Audio による放送サービス高度化に向けた取り組みについて紹介する。
杉本岳大 (日本放送協会、SC 29/MPEG Audio小委員会幹事)
略歴 2001年、東京大学大学院工学系研究科修士課程修了。同年日本放送協会入局。2004年より同協会放送技術研究所にて、放送システムにおける音声符号化方式、3次元音響方式における信号処理、音響トランスデューサの研究開発およびMPEG・ARIBでの標準化活動に従事。2008年、第16回日本音響学会技術開発賞、2009年、第35回放送文化基金賞、2013年、第45回市村学術賞貢献賞、第21回日本音響学会技術開発賞、2015年、映像情報メディア未来賞フロンティア賞、2016年、第24回日本音響学会技術開発賞、2016年、第28回関東地方発明表彰奨励賞、2018年、国際規格開発賞、2019年、第34回電気通信普及財団賞、各受賞。博士（工学）。AES Fellow。
MPEG Point Cloud Compression
概要 映像信号処理技術の進化に伴い、ポイントクラウドに代表される３次元空間上の映像データが、様々な領域で活用されるようになってきた。一方で、空間をまるごと表現するVolumetric映像は、データ量の大きさが実用上の課題となる。MPEGでは、2017年頃より、ポイントクラウド映像の圧縮技術の規格化を進めてきた。本セミナーでは、その背景や目指すところ、および、V-PCC(Video-based Point Cloud Compression)、および、G-PCC(Geometry-based Point Cloud Compression)という２つの圧縮技術について紹介する。
中神央二 (ソニー株式会社、SC 29/JPEG小委員会委員、MPEG VIDEO小委員会エキスパート)
略歴 2004年、早稲田大学大学院国際情報通信研究科修士課程修了。同年、ソニー（株）入社。以来、映像信号処理・圧縮の研究開発に従事。2012年より国際標準化活動に参画。V-PCC(ISO/IEC 23090-5)およびG-PCC(ISO/IEC 23090-9) Project leaderを担当。
概要 全天球メディアから自由視点メディアまでをスコープとする最新技術規格であるMPEG-Iにおいて､全天球メディア配信規格であるPart2 Omnidirectional MediA Fomat(OMAF) Edition2規格化が完了し、ポイントクラウドメディアの配信規格である Part 10 Carriage of Visual Volumetric Video-based Coding (V3C) DataおよびPart18 Carriage of Geometry-based Point Cloud Compression (G-PCC) Dataの規格化はDIS段階まで規格化が進んでいる。本セミナーでは、OMAF/V3C等のイマーシブメディアのビデオ圧縮技術として利用されることが想定されるVVC Codecの配信技術(MPEG-4 14496-15)、および、V3Cを中心としたポイントクラウドメディアの配信技術について解説する。
平林光浩（ソニー株式会社、SC 29/MPEG SYSTEMS小委員会幹事）
略歴 1991年ソニー（株）入社。業務用AV機器開発、メモリースティック開発などを経て、2000年より、メディアフォーマットの研究開発に従事。2008年IEC/TC100標準化活動を経て、2011年よりMPEG Systems標準化活動(MPEG-DASH・ File Format)に参画し、現在MPEG Systems標準化活動 (VVC File Format/MPEG-I OMAF/PCC-systems)およびMPEG VVC標準化活動(High Level Syntax)に従事。2010年、IEC（国際電気標準会議）1906賞、2016年、経済産業省 国際標準化貢献者表表彰、2017年、情報規格調査会 標準化貢献賞、各受賞。
高橋遼平（ソニー株式会社、SC 29/MPEG SYSTEMS小委員会委員、MPEG-I Part 18 Carriage of G-PCC Dataエディタ）
略歴 2008年、東北大学大学院工学研究科修士課程修了。同年、ソニー(株)入社。2016年より次世代コンテンツ配信技術の研究開発・標準化活動に従事。現在、MPEG-I Part 2 OMAF, Part 10 Carriage of V3C data, MPEG-I Part 18 Carriage of G-PCC Dataを中心に、MPEG Systems標準化活動を行っている。
イマーシブメディアに向けたMPEGシステム技術の展望
概要 イマーシブメディアは、映像空間内を移動し自由な視点からの全方位映像を楽しみながら、あたかもその空間にいるような体験ができる高臨場感メディアである。そのような新しいメディアの実現に向け、MPEGはMPEG-I 「イマーシブメディアの符号化表現」(ISO/IEC 23090)の標準化を進めている。本セミナーでは、シーン記述やビデオデコーダインターフェースなど現在議論されている技術とあわせ、これから標準化を始めようとしている今後のシステム技術の展望を紹介する。
青木秀一(日本放送協会、SC 29/MPEG SYSTEMS小委員会幹事)
略歴 2003年、東京大学大学院工学系研究科修士課程修了。2013年、同情報理工学系研究科博士課程修了。2003年にNHK入局。以来、放送技術研究所にて4K・8K放送システムやイマーシブメディアの研究開発とMPEG、ATSC、ITU-R等での国際標準化に従事。2017年、通信文化協会 前島密賞、2017年、情報規格調査会 標準化貢献賞、2018年、経済産業省 国際標準化奨励者表彰、2019年、全国発明表彰 21世紀発明奨励賞、2020年、日本ITU協会 功績賞、各受賞。博士（情報理工学）。
MPEG-G MPEGによる遺伝子情報表現の高能率高機能標準化
概要 人間の全ゲノム読み取りは現在10万円程度までコストが下がり、遺伝子情報の利用は爆発的に拡大している。そこでMPEGがISO/TC 276/WG5と協調して取り組んでいるのがGenomic Information Representationの高機能・高能率の符号化方式である。すでにPart 1 Transport ～Part 5 Conformanceが完成した。2020年度にはPart 6 Annotation と compression の改良が進んでいる。本セミナーでは、Genomic Information Representationの最新状況と今後の展望を解説する。
金子格(名古屋市立大学、SC 29/MPEG SYSTEMS小委員会主査、SC 29専門委員会委員、SC 29/MPEG VIDEO小委員会エキスパート)
略歴 1980年、早稲田大学卒。2004年博士（情報科学）。1985年～（株）アスキー、2004年より東京工芸大学、2018年より現職。1980年代からはパソコンOS、システムLSI、アプリケーションソフトウエアの開発に従事。1990年以後は高能率オーディオ符号化、デジタル著作権、3D符号化などに取り組む。現在、情報処理学会/電子化知的財産社会基盤研究会運営委員。2008年、ISO/IEC Certificate of Appreciation、情報規格調査会 国際規格開発賞、2015年、経済産業省 国際標準化貢献者表彰 各受賞。
映像符号化規格Versatile Video Coding
概要 2020年7月に標準化が完了したVersatile Video Coding(VVC)は、2013年に登場したHigh Efficiency Video Coding (HEVC)の後継規格であり、主観画質において約2倍の符号化効率改善(1/2の符号量で同一画質)を実現している。VVCでは、符号化効率の改善と共に、可変ピクチャサイズ、ロスレス、360度映像、段階的リフレッシュなど新たな機能も盛り込まれている。本セミナーでは、VVC規格の概要、代表的な符号化ツールと共に、映像符号化の今後の展望について紹介する。
①遠間正真(パナソニック株式会社、SC 29/MPEG VIDEO小委員会委員)
略歴 2000年、松下電器産業(株)（現パナソニック(株)）に入社。蓄積メディア・放送などのアプリケーション標準化、画像処理関連の要素技術や医用画像機器の開発を経て、動画像符号化の技術開発に従事。2015年よりVVC標準化活動に参画。
略歴 1999年、シャープ株式会社入社。映像録再機器およびネット接続端末の開発に従事後、HEVCおよびSHVC/MV-HEVC/3D-HEVCの標準化活動に参加。現在、VVC の標準化活動に参画し、高ビット深度拡張のAHG活動などを主導。
概要 VVCに準拠したPCソフトウェアベースの4K/60fpsリアルタイムエンコーダを開発した。本セミナーでは、開発の背景や実現に向けたエンコーダの高速化・並列化処理の概要を紹介する。さらに、VVCにより実現される新しい映像伝送サービスの可能性について解説する。
河村圭(KDDI総合研究所、SC 29/MPEG VIDEO小委員会委員)
略歴 2010年、早稲田大学大学院国際情報通信研究科博士課程修了。同年、KDDI(株)入社。現在、(株)KDDI総合研究所超臨場感通信グループリーダー。2016年日本ITU協会 国際活動奨励賞 功績賞分野、2020年情報規格調査会 標準化貢献賞 受賞。主に、動画像符号化方式の研究・開発および国際標準化に従事。博士（国際情報通信学）。
VVenC and VVdeC: open, optimized VVC implementations
概要 The Versatile Video Coding (H.266/VVC) standard was finalized in June 2020, being jointly developed by ITU-T and ISO/IEC. The codec delivers around 50% subjective quality improvement at the same rate with regards to its predecessor HEVC/H.265. The coding gain comes at the expense of more complicated algorithms. During the development, an emphasis was put on keeping the decoding complexity low. The VVC complexity increase over HEVC, as measured by the reference software runtime, is around 2x for the decoder and 10x for the encoder. This talk will discuss the Fraunhofer Versatile Video Encoder & Decoder implementations, released just two months after standard finalization. For the decoder, an optimized an parallelized implementation is discussed, also touching on where the VVC complexity comes from. For the encoder, the optimized implementation has much less constraints. The talk will discuss on what approach we took to take most of what VVC has to offer at lowest possible complexity.
略歴 Adam Wieckowski received the M.Sc. degree in computer engineering from the Technical University of Berlin, Berlin, Germany, in 2014. In 2016, he joined the Fraunhofer Institute for Telecommunications, Heinrich Hertz Institute, Berlin, as a Research Assistant.
He worked on the development of the software, which later became the test model for VVC development. He contributed several technical contributions during the standardization of VVC. Since 2019, he has been a Project Manager coordinating the technical development of decoder and encoder solutions for the VVC standard.
Benjamin Bross (HHI, VVC Editor)
略歴 Benjamin Bross received the Dipl.-Ing. degree in electrical engineering from RWTH Aachen University, Aachen, Germany, in 2008. In 2009, he joined the Fraunhofer Institute for Telecommunications – Heinrich Hertz Institute, Berlin, Germany, where he is currently heading the Video Coding Systems group at the Video Coding & Analytics Department and in 2011, he became a part-time lecturer at the HTW University of Applied Sciences Berlin. Since 2010, Benjamin is very actively involved in the ITU-T VCEG | ISO/IEC MPEG video coding standardization processes as a technical contributor, coordinator of core experiments and chief editor of the High Efficiency Video Coding (HEVC) standard [ITU-T H.265 | ISO/IEC 23008-2] and the emerging Versatile Video Coding (VVC) standard. In addition to his involvement in standardization, Benjamin is coordinating standard-compliant software implementation activities. This includes the development of an HEVC encoder that is currently deployed in broadcast for HD and UHD TV channels. Benjamin Bross is an author or co-author of several fundamental HEVC and VVC-related publications, and an author of two book chapters on HEVC and Inter-Picture Prediction Techniques in HEVC. He received the IEEE Best Paper Award at the 2013 IEEE International Conference on Consumer Electronics – Berlin in 2013, the SMPTE Journal Certificate of Merit in 2014 and an Emmy Award at the 69th Engineering Emmy Awards in 2017 as part of the Joint Collaborative Team on Video Coding for its development of HEVC.
高村誠之(日本電信電話株式会社、SC 29専門委員会委員長)
