RUNWAYを使うと、どんなことができるのでしょうか?
生成にかかる時間や、料金も気になりますよね。
このブログは、そんな疑問にお答えするために作りました。
どのくらい便利なのか、どのくらいのコストがかかるのか。
実際に使ってみた感想をもとにまとめています。
読み終えるころには、無制限プランがお得かどうかが
きっとわかりやすくなるはずです。
RUNWAYは英語表記ですが、パソコンからなら
Google Chromeを使えば、日本語で表示されるので操作に困ることはありません。
さらに、DeepLのアプリとスマホのGoogle翻訳アプリがあると安心です。
iphoneアプリがGen-4に対応しました。
PC版のよう使い勝手は厳しいですが、お昼休みなどに動画生成が出来る様になりました。

まだ作成途中のため、読みにくい部分があるかもしれませんが
あたたかく見守っていただけると嬉しいです。
Game WordsとAlephとAct-Twoの機能が追加されました。
Game Word(もうすぐ実装される?):アドベンチャーゲーム(紙芝居風)が遊べたり作れるのかな?
Aleph:動画に後から花火を追加したり、昼間を夜にしたり変更したり出来る機能。
Act-Two:真似ができる範囲が、Act-Oneが肩から上➯腰から上になって表現力アップ。
今年のRUNWAY MLは、ライバルに負けじと進化していますね。
Unlimited(無制限モード)の生成時間について
モード | ~8時頃 土日 | 夜 | コメント |
Gen-4 10秒 | 約10~15分 | 約10分~ | |
Gen-4 TURBO 10秒 | 約1分~3分 | ー | |
GEM-3 | 約10~15分 | 約15分~ | 開始・終りの2箇所に イメージイラストを入れられる ※Act-One |
GEM-3 TURBO | 約1分~3分 | ー | 開始・中間・終りの3箇所に イメージイラストを入れられる ※Act-One・Extend Video |
イラスト生成 | 約1分~ | ー | 非常に良く使う機能 |
Act-One・Act-Two | 約10分~ | ー | 約5秒間の長さの場合 |
※Act-One:あなたの顔の動き・口パク(リップシンク)を、用意した画像・動画のキャラクターに反映できる機能。
Runway Gen-4は、日本時間の夜21時から深夜3時ごろに
サーバーが混みやすくなります。
そのため、処理が遅れ画像や動画の生成に時間がかかります。
RUNWAY サーバー状況確認:https://status.runwayml.com
日中は比較的スムーズに使えます。
休憩時間にスマホでの生成も可能ですが、プロンプトが英語なのがネックです。
5月5日現在 スマホアプリにGen-4に対応していません。
Gen-3・Gen-3 turbo・Gen-2が使用できます。
(Gen-2は5月11日で使用できなる見込み)
100GBのストレージには、どの位の動画が保存できるのでしょうか?

これを見るとGEN-4だからGEN-3よりファイルが大きいくなるという事ではないようです。
GEN-4と表記のないファイルは全てGEN-4 10秒の動画になります。
仮に10秒3MBとすると約3万本になります。
PROプランからは500GBのストレージになるので、15万本分の容量になりそうです。
720Pを4K化して出力できるので1本10MBとすると5万本になります。


書き出し時のファイルの大きさと、RUNWAYの生データーの方がファイルサイズが大きいと思われますが、
それでも管理できないくらいの量を保管できそうですね。
Aiツール 15個
Video ツール
Generate Video:ビデオを作る
Text to Video
image to Video Gen3tとGen4は一度に2つまで生成できます。
サーバーが混んでいると1つになるらしいのですが、RUNWAYから処理重いとメッセージが出る(4/29)ことはあっても
同時に実行できる処理が1つになったことは未だありません。
RUNWAY サーバー状況確認:Runway Status↗
Video to Video:ドロップした動画をベースに動画を作成
Remove Background:背景除去
かなり高機能です。
CANVAやKeyNoreの簡易版ではなく、細かく追い込むことが可能です。
静止画だけでなく動画も除去できそうです。
静止画しか試していませんが、unlimitedプランだとクレジットは消費されませんでした。
ただし、PNG出力するとプレビューにも表示されず使えません。
MP4だと背景が黒いだけで透過されてません。
RUNWAY上で編集するなら透過は有効です。
バグなのでしょうか?
ファイル名を日本語から、英数字に変更しても改善されません。
原因は不明です。(これに変わるツールを開発中とのメッセージがあるので、それに期待しましょう)
ipadのKeyNoreなら無料で透過できます。
透過の境界線はCANVA同様に厚めです。
気になるときは、編集ツールで再加工して仕上げましょう。
Affinity PHOTOを購入したのでこのツールで透過も検証していきます。
Inpaint (インペイント):「消して埋める」:未検証
主な目的: 動画や画像から指定したオブジェクトを消去し、周囲のピクセルに基づいて自然に背景を補完することに特化しています。 使い方: 削除したいオブジェクトをブラシなどで選択し、Inpaint処理を実行します。AIが周囲の映像や画像を分析し、消えた部分を違和感なく埋めます。 得意なこと:
- 不要な人物、ロゴ、ゴミなどを映像から取り除く。
- 画像に写り込んだ不要物を消す。
- 比較的単純な背景の補完。
Erase and Replace (消去と置換):消して置き換える 未検証
主な目的: 動画や画像から指定したオブジェクトを消去し、テキストプロンプトに基づいて新しいオブジェクトで置き換えることです。 使い方: 消去したい部分を選択し、その場所に置きたいオブジェクトをテキストで指示します。AIが指示に基づいて新しいオブジェクトを生成し、元の場所に自然に合成します。 得意なこと:
- 映像内の一つの物体を別の物体に置き換える。(例:車をバイクに変える、看板の文字を変える)
- 画像内のオブジェクトを別のものに変える。(例:リンゴをバナナに変える、古い看板を新しいデザインにする)
- より創造的な編集や修正。
画像ツール
Text to image:入力した指示(プロンプト)にしたがって、画像を生成します。
最近進化しました。
Image to image:画像イメージからイラスト作成。Unlimitedも5クレジット消費します。
画像イメージ+SEED値+プロンプトなどでコントロールするのですが、
Start a session や Generate Videoからプロンプトを入力し、
イラストを生成した方がunlimitedの場合はクレジット消費無しに画像を生成できるので便利です。
気に入ったモノが出来れば、すぐに動画に出来るので直感的に操作できます。

画像をドロップするとプロンプトに変換されます。
それを元に画像を生成します。一度に3個(4個×3処理まで実行可能)
オーディオツール
オーディオ生成(DreamMachineのように効果音を生成するのではなく、吹き替えを生成する)
例えば、自分の声を、19種類の音声のどれかを選択すると、その音声で吹き替えされます。
さらに、動画を音声に合わせて、口パク(リップシンク)も可能です。
音声:19種類の声から選べます。
リップシンク
Transcript:字幕をつける
クレジット消費はしません。
タスクの種類 | 同時処理数 | 消費クレジット | 消費クレジット Unlimited | コメント |
Gen-4 | 2 | 12×秒 | 0 | |
Gen-4 Turbo | 2 | 5×秒 | 0 | |
Gen-3 | 2 | 0 | ||
Gen-3 Turbo | 2 | 0 | ||
4K化 | +1 | 不明 | 0 | GEN-4で2つ処理中でも4K化の追加処理は1つ可能だが、3つ行うには4K化を最後に追加する必要があります |
Image | 2 | 32(4枚×8) | 0 | |
Text to Image | ー | 0 | 0 | |
image to Image | 5 | 5 | ||
Remove Background | ー | 不明 | 0 | RUNWAY上で編集すれば 透過は有効 |
Lip Sync | 不明 | 1秒ごとに5クレジット | 1秒ごとに5クレジット | 1会話40秒&600文字以内 |
Act-One | +1 | 5秒で50クレジット | 0 | 自分の表情でリップシンクが作れる (肩から上) |
Act-Two | 不明 | 1秒ごとに5クレジット 3秒以上 (1秒でも15クレジット) | 0 | 腰から上の動きを真似させる |
Transcript | ー | 0 | 0 | 字幕を作る |
Aleph | 2 | 1秒ごとに15クレジット | 0 | 動画の中の対象物にエフェクトを追加できる |
Music Videoをつくろう
RUNWAYで口パクを作るには3つの方法があります。
1つ目は、Lip Sync
2つ目は Act-Twoです。(無理して古いAct-Oneは使わなくて良いはず)
3つ目は 編集で誤魔化す。
動画編集ソフトで無理矢理に口パクを合わすという事です。
Davinci Resolveならフリーズフレームで口の動きを止めて、ビデオトランジションのスームーカットでつなげば
フレーム間をAIが補完してくれるので、違和感がかなり減ります。
Lip Syncは、Unlimitedプランでもクレジットが必要です。
リップシンクは古い機能なので、人物じゃないとうまく出来ないとか、色々と制限があって成功したことはありません。
成功してないので、クレジットは消費しません。
途中でエラーになるからです。
アニメでリップシンクを使うと口の表現に違和感が出ます。
許容できないレベルが多いです。
Act-Oneはリップシンクと比較すると柔軟性があります。
といっても、コツをつかむまでは10回位は連続で失敗しています。
Act-One2が登場しました。
1と同じように目鼻がハッキリしていないと顔認識がいまいちという所は変わってないような気がします。

私はこのシリーズのBKを10年以上愛用しています。
トラックボールはマウス位置が固定されているので、狭い机や散らかった机で重宝します。
本の上や書類の上でもマウスが使えます。
BKの方がセールをしていたりするので安いことが多いです。
ホワイトは約8,000円位します。
キーボード・マウスは手で使う入力装置ですが
フットスイッチは足で使う入力装置です。
ゲームだけでなく普段の作業にも使えます。