高解像VRコンテンツ制作(360カメラ編)


ここには、360カメラ専用ツールの操作に関しては記載しません。
360動画変換後の「FFMPEGのカット&マージ編集やCodec変換の手順」を記載します。

この手順により、360度カメラの撮影動画を、高解像VRコンテンツ(360VR動画など)
として出力できます。
今後、最新作品を多くの人にVR体験してもらうため、この高解像VRコンテンツ制作を
活用する事例が増えていくと考えています。

<目次>
 1.360カメラ専用ツールの動画変換
 2.FFMPEGの環境準備(ダウンロード、ffmpeg.exeのコピー方法)
 3.高解像VRコンテンツの作成手順(Codec変換、カット&マージ編集)
 4.注意事項と補足事項



1.360カメラ専用ツールの動画変換

 カメラ専用ツールには、大きく2タイプ存在します
 ①様々な映像編集まで可能な万能ツール(Insta360Studioなど)
  ⇒細かい動画編集ができるため、別途ツールを準備する必要はありません

 ②動画変換メインの専用ツール(Goproなど)
  ⇒基本的に撮影動画の出力のみとなります。
   そのため、別途ツール(FFMPEGなど)を準備する必要があります

 ①は、説明動画等が沢山ありますので、そちらを参考にしてください。
 以降は、②の別途ツールとしてFFMPEGを使用する手順を紹介します。


2.FFMPEGの環境準備

  FFMPEGのダウンロードとffmpeg.exeの取出し方を説明します。

  1)FFMPEGのダウンロード
   [Download_Site] https://github.com/BtbN/FFmpeg-Builds/releases
   
   次のファイルを選択してダウンロードする
   ①Auto-Build (2023-XX-XX XX:XX)をクリック
    (Latest Auto-Buildの次)
   ②ffmpeg-n5.1.3-15-g25cd95a9dc-win64-gpl-5.1.zipをダウンロード
    (強調部分が一致するファイル)

  2)ffmpeg.exeのコピー方法
   ZipファイルのBin配下にあるffmpeg.exeをコピーする
   作業フォルダの配下へ貼付けする


 3.高解像VRコンテンツの作成手順(Codec変換カット&マージ編集)

  <360カメラ撮影と360カメラ専用ツールの作業>
   1)360カメラの高解像(5.7K、8Kモードなど)で撮影する
   2)360カメラ専用編集ソフトで動画(H.265、ProRes422など)を出力する

  <作業領域の準備>
   3)空き領域のあるドライブに、作業フォルダを準備する
    (空き領域は、元動画ファイルの2倍ぐらい必要です)
   4)作業フォルダに動画ファイルをコピーする

  <ffmpeg.exeの準備>
   5)作業フォルダ内にffmpeg.exeをコピーする

  <Codec変換(VP9)のみ>
   6ーA)バッチファイルを作成する(FFMPEG_Editツール)

    

    ① 変換パターン、出力品質を選択し、チェックを付ける
     <変換パターン>
     ・MP4(H264)⇒WEBM(VP9)
     ・MP4(H265)⇒WEBM(VP9)
     ・MOV(prores422)⇒WEBM(VP9)
     <品質指定>
     ・Crf16(固定品質モード:16、ほぼ劣化なし)
     ・Crf12(固定品質モード:12、16以上の品質)
     ・Crf8(固定品質モード:8、12以上の品質)
     ・Bitrate 8M(ビットレート優先、サイズ小)
     ・Bitrate 16M(ビットレート優先、8Mのサイズ2倍)
    ②コマンド作成のため、[Cmd_Create]を押す
    ③コマンドに問題なければ、[Output_file]を押す
    ④表示された[prores422-vp9_c16.txt]などを押しダウンロードする
    ⑤ダウンロードフォルダから作業フォルダへファイルをコピーする
    ⑥「prores422-vp9_c16.txt⇒prores422-vp9_c16.bat」のように「拡張子」を変更する
    ⑦「prores422-vp9_c16.bat」などを右クリックし、プロパティの下にある
     「セキュリティ」の許可にチェックし[適用]する

   


   7ーA)input動画とバッチ処理のファイル名に合わせる
    H265の場合、「input01.mp4」にしてください。
    ProRes422の場合、「input01.mov」にしてください。
    または、バッチ処理側のファイル名を変更しても構いません。


  <カット&マージ編集+Codec変換(VP9)>
   6-B)バッチファイルを作成する(FFMPEG_Editツール)

    

    ① Videoの動画ファイルを[Select]で設定する(複数選択可能)
    ②カット&マージ編集の動画ファイルを選択する
    ③カット&マージ編集の[s]開始、[e]終了を設定し、[add]で追加する
     ※編集ボタンの使用方法※
      [add]追加:右リストの一番下に追加する
      [int] 挿入:右リストの挿入したい列をクリックし、[int]を押す
      [upd] 上書:右リストの列をダブルクリックし、時間を修正後に[upd]を押す
      [del] 削除:右リストの列をクリックし、[del]を押す
    ④カット&マージ編集が終わるまで②③を繰返す
    ⑤Conversion Parameterに、変換後の[Codec]、[Bitrate]を設定する
     [Codec]⇒[VP9]を選択する
     [Bitrate]⇒品質指定を参考に選択する(デフォルト:Crf16)
     <品質指定>
     ・Crf16(固定品質モード:16、ほぼ劣化なし)
     ・Crf12(固定品質モード:12、16以上の品質)
     ・Crf8(固定品質モード:8、12以上の品質)
     ・Bitrate 8M(ビットレート優先、サイズ小)
     ・Bitrate 16M(ビットレート優先、8Mのサイズ2倍)
    ⑥入力ファイルが「ProRes422」の場合、下記の設定を行う
     Conversion Parameterに「mov(ProRes422)」を設定する
    ⑦[Cut & Join]を選択し、チェックを付ける
    ⑧コマンド作成のため、[Cmd_Create]を押す
    ⑨コマンドに問題なければ、[Output_file]を押す
    ⑩表示された[ffmpeg_cmd.txt]を押しダウンロードする
    ⑪ダウンロードフォルダから作業フォルダへファイルをコピーする
    ⑫「ffmpeg_cmd.txt⇒ffmpeg_cmd.bat」のように「拡張子」を変更する
    ⑬「ffmpeg_cmd.bat」を右クリックし、プロパティの下にある
     「セキュリティ」の許可にチェックし[適用]する

   


   7ーB)input動画とバッチ処理のファイル名に合わせる
    画面よりファイル名が設定されるため、この作業はありません

  <バッチファイルの実行>
   8)次のバッチファイルをダブルクリックする
     Codec変換(VP9)の場合:「prores422-vp9_c16.bat」など
     カット&マージ編集+Codec変換(VP9)の場合:「ffmpeg_cmd.bat」

     ウィンドウ表示し、処理が開始される

  <動画ファイルの確認>

   9)出力された動画ファイルを確認する
    Codec変換(VP9)の場合:「output01_XX_XX.webm」
    カット&マージ編集+Codec変換(VP9)の場合:「output201.webm」


4.注意事項と補足事項
 
 1)高解像度コンテンツのCodec変換には、ディスク領域が必要になる【注意】
   高解像度コンテンツは、再生時間が数分でも数GB~数十GBの領域が必要です。
   作業用の空き領域は、多めに確保してください(256GBぐらいあると安心)

 2)高解像度コンテンツの再生には、GPU再生支援が必要になる【注意】
   「8K30pの動画ファイル再生」には、下記のGPU環境が必要になります
   ・Nvidia(GTX1060世代以降)のdGPU or IntelCPU(第7世代以降)のiGPU
    ※AMDは未検証ですが、RX5500XT世代以降のdGPUなら再生支援できるようです。

 3)4Kを超える高解像度コンテンツの編集は、編集ソフトが限定される【補足】
   8K対応の市販ソフトは、以下の通りです。
   「Adobe Premiere Pro or DaVinci Resolve Studio」
   また、この市販ソフトは、高スペックPCを準備する必要もあります。
   
   その他で8K動画編集とCodec変換(VP9)に対応できるのは「FFMPEG」ぐらいです。
   ただ、「FFMPEG」は、バッチ処理が必要となるため、素人には扱いずらいです。
   そのため、Raf-Director.では、FFMPEGバッチ作成ツール(FFmpeg_Edit)を提供しています。

   どちらの玄人向けなのですが、ここでは費用負担の少ない「FFMPEG」を推奨しています。

 4)HMD用3D高解像コンテンツは、左目と右目の映像を結合し制作できる【補足】
   Raf-Director.は、次の3Dフォーマットに対応しています
   ・360VR_3D(360パノラマの上下結合)※Insta360Titanの3Dフォーマットなど
   ・180VR_3D(180パノラマの左右結合)※Insta360Evoの3Dフォーマットなど

   例えば、360カメラを2台で左目と右目の映像を撮影します。
   その後の動画編集で上下配置に結合すると360VR_3Dを作成できます。
   (ただし、使用できるのは正面180度のみです。後ろは目の位置が逆なので)

   一応、この手順で作ることはできますが、8K以上の画質がないと厳しいです。
   現在の一般向け360カメラでは、過度な期待を持たない方がいいです。

 5)赤青メガネ用3D高解像コンテンツは、左目と右目の映像をステレオ合成し作成できる【補足】
   Raf-Director.には、ワイドスクリーンで175度(35度x5面)を表示するツールがあります。
   このツールで、VR360(360パノラマ)の赤青メガネ用3D高解像コンテンツを再生することで、
   赤青メガネを付けるだけで、ワイドスクリーンによる3D体験が可能になります。
   
   例えば、次のような手順で3Dコンテンツ制作ができます。
   ・ステレオフォトメーカーを使用する場合
    ①左右の動画を1フレーム毎の画像へ分解する(カメラ動画⇒H-001.png、M-001.png)
    ②左右の画像をステレオフォトメーカーで合成する(H-001.png、M-001.png⇒G-001.png)
    ③1フレーム毎の画像を動画へ変換する(G-001.png…⇒VP9動画)
    (ただし、使用できるのは正面180度のみです。後ろは目の位置が逆なので)

   <使用ソフト(フリーソフト)>
    ①③FFMPEG
    ②ステレオフォトメーカー:https://suto.bex.jp/jpn/stphmkr/index.html

   一応、この手順で作ることはできますが、8K以上の画質がないと厳しいです。
   現在の一般向け360カメラでは、過度な期待を持たない方がいいです。