RUNWAYを使うと、どんなことができるのでしょうか？
生成にかかる時間や、料金も気になりますよね。
このブログは、そんな疑問にお答えするために作りました。
どのくらい便利なのか、どのくらいのコストがかかるのか。
実際に使ってみた感想をもとにまとめています。
読み終えるころには、無制限プランがお得かどうかが
きっとわかりやすくなるはずです。
RUNWAYは英語表記ですが、パソコンからなら
Google Chromeを使えば、日本語で表示されるので操作に困ることはありません。
さらに、DeepLのアプリとスマホのGoogle翻訳アプリがあると安心です。
iphoneアプリはGen-3までしか対応出来ていません。
気軽に試せますが、プロンプトが英語のためPC版の方が圧倒的に使いやすいです。
まだ作成途中のため、読みにくい部分があるかもしれませんが
あたたかく見守っていただけると嬉しいです。
Unlimited（無制限モード）の生成時間について
| モード | ～8時頃 土日 | 夜 | コメント |
| Gen-4 10秒 | 約10～15分 | 約10分～ | |
| Gen-4 TURBO 10秒 | 約1分～3分 | ー | |
| GEM-3 | 約10～15分 | 約15分～ | 開始・終りの2箇所に イメージイラストを入れられる ※Act-One |
| GEM-3 TURBO | 約1分～3分 | ー | 開始・中間・終りの3箇所に イメージイラストを入れられる ※Act-One・Extend Video |
| イラスト生成 | 約1分～ | ー | 非常に良く使う機能 |
| Act-One | 約10分～ | ー | 約5秒で生成 |
※Act-One：あなたの顔の動き・口パク（リップシンク）を、用意した画像・動画のキャラクターに反映できる機能。
Runway Gen-4は、日本時間の夜21時から深夜3時ごろに
サーバーが混みやすくなります。
そのため、処理が遅れ画像や動画の生成に時間がかかります。
RUNWAY サーバー状況確認：https://status.runwayml.com
日中は比較的スムーズに使えます。
休憩時間にスマホでの生成も可能ですが、プロンプトが英語なのがネックです。
5月5日現在 スマホアプリにGen-4に対応していません。
Gen-3・Gen-3 turbo・Gen-2が使用できます。
（Gen-2は5月11日で使用できなる見込み）
100GBのストレージには、どの位の動画が保存できるのでしょうか？
これを見るとGEN-4だからGEN-3よりファイルが大きいくなるという事ではないようです。
GEN-4と表記のないファイルは全てGEN-4 10秒の動画になります。
仮に10秒3MBとすると約3万本になります。
PROプランからは500GBのストレージになるので、15万本分の容量になりそうです。
720Pを4K化して出力できるので1本10MBとすると5万本になります。
書き出し時のファイルの大きさと、RUNWAYの生データーの方がファイルサイズが大きいと思われますが、
それでも管理できないくらいの量を保管できそうですね。
Aiツール 15個
Video ツール
Generate Video：ビデオを作る
Text to Video
image to Video Gen3tとGen4は一度に2つまで生成できます。
サーバーが混んでいると1つになるらしいのですが、RUNWAYから処理重いとメッセージが出る（4/29）ことはあっても
同時に実行できる処理が1つになったことは未だありません。
RUNWAY サーバー状況確認：Runway Status↗
Video to Video:ドロップした動画をベースに動画を作成
Remove Background：背景除去
かなり高機能です。
CANVAやKeyNoreの簡易版ではなく、細かく追い込むことが可能です。
静止画だけでなく動画も除去できそうです。
静止画しか試していませんが、unlimitedプランだとクレジットは消費されませんでした。
ただし、PNG出力するとプレビューにも表示されず使えません。
MP4だと背景が黒いだけで透過されてません。
RUNWAY上で編集するなら透過は有効です。
バグなのでしょうか？
ファイル名を日本語から、英数字に変更しても改善されません。
原因は不明です。（これに変わるツールを開発中とのメッセージがあるので、それに期待しましょう）
ipadのKeyNoreなら無料で透過できます。
透過の境界線はCANVA同様に厚めです。
気になるときは、編集ツールで再加工して仕上げましょう。
Affinity PHOTOを購入したのでこのツールで透過も検証していきます。
Inpaint (インペイント):「消して埋める」:未検証
主な目的: 動画や画像から指定したオブジェクトを消去し、周囲のピクセルに基づいて自然に背景を補完することに特化しています。 使い方: 削除したいオブジェクトをブラシなどで選択し、Inpaint処理を実行します。AIが周囲の映像や画像を分析し、消えた部分を違和感なく埋めます。 得意なこと:
- 不要な人物、ロゴ、ゴミなどを映像から取り除く。
- 画像に写り込んだ不要物を消す。
- 比較的単純な背景の補完。
Erase and Replace (消去と置換)：消して置き換える 未検証
主な目的: 動画や画像から指定したオブジェクトを消去し、テキストプロンプトに基づいて新しいオブジェクトで置き換えることです。 使い方: 消去したい部分を選択し、その場所に置きたいオブジェクトをテキストで指示します。AIが指示に基づいて新しいオブジェクトを生成し、元の場所に自然に合成します。 得意なこと:
- 映像内の一つの物体を別の物体に置き換える。（例：車をバイクに変える、看板の文字を変える）
- 画像内のオブジェクトを別のものに変える。（例：リンゴをバナナに変える、古い看板を新しいデザインにする）
- より創造的な編集や修正。
画像ツール
Text to image：入力した指示（プロンプト）にしたがって、画像を生成します。
最近進化しました。
Image to image：画像イメージからイラスト作成。Unlimitedも5クレジット消費します。
画像イメージ+SEED値+プロンプトなどでコントロールするのですが、
Start a session や Generate Videoからプロンプトを入力し、
イラストを生成した方がunlimitedの場合はクレジット消費無しに画像を生成できるので便利です。
気に入ったモノが出来れば、すぐに動画に出来るので直感的に操作できます。
画像をドロップするとプロンプトに変換されます。
それを元に画像を生成します。一度に3個（4個×3処理まで実行可能）
オーディオツール
オーディオ生成（DreamMachineのように効果音を生成するのではなく、吹き替えを生成する）
例えば、自分の声を、19種類の音声のどれかを選択すると、その音声で吹き替えされます。
さらに、動画を音声に合わせて、口パク（リップシンク）も可能です。
音声：19種類の声から選べます。
リップシンク
Transcript：字幕をつける
クレジット消費はしません。
| タスクの種類 | 同時処理数 | 消費クレジット | 消費クレジット Unlimited | コメント |
| Gen-4 | 2 | 12×秒 | 0 | |
| Gen-4 Turbo | 2 | 5×秒 | 0 | |
| Gen-3 | 2 | 0 | ||
| Gen-3 Turbo | 2 | 0 | ||
| 4K化 | +1 | 不明 | 0 | GEN-4で2つ処理中でも4K化の追加処理は1つ可能だが、3つ行うには4K化を最後に追加する必要があります |
| Image | 2 | 32(4枚×8) | 0 | |
| Text to Image | ー | 0 | 0 | |
| image to Image | 5 | 5 | ||
| Remove Background | ー | 不明 | 0 | RUNWAY上で編集すれば 透過は有効 |
| Lip Sync | 不明 | 1秒ごとに5クレジット | 1秒ごとに5クレジット | 1会話40秒＆600文字以内 |
| Act-One | +1 | 5秒で50クレジット | 0 | 自分の表情でリップシンクが作れる |
| Transcript | ー | 0 | 0 | 字幕を作る |