comfyuiのカスタムノードの追加方法について結構注意点がある事を知った。
画像生成はautomatic1111から切り替えて、comfyuiを使っています。
今回はcomfyuiで拡張機能に関してご紹介します。
拡張機能だったりプラグインだったり、カスタムノードだったり、呼び方があるけど正解はカスタムノードだと思う。
comfyuiはwebui/custom_nodesフォルダーににダウンロードした拡張機能機能を配置します。
gitやpythonを理解している方は「git clone」と「pip -r install requirements.txt」で簡単に追加できます。<--私はこっち派。
そのためまず拡張機能を管理するComfyUI-Managerを入れてください。これを入れると今後の拡張機能の追加が楽になります。
comfyui manager導入のため、まずgitを入れます。
githubをダウンロードしインストールします。
「next」を押すだけの作業ですが分からない場合は
参考にしてください。
git が使える状態になったら comfyuiのcustom_nodesでコマンドを実行します。
git clone https://github.com/ltdrdata/ComfyUI-Manager comfyui-manager
導入完了したら、起動後右上にボタンが使いされ、comfyui manager menuを開くことができます。
controlnet auxを追加します。
このcomfyui managerと同様にgitでも可能ですが、せっかくなのでmanagerから追加します。
拡張機能でも同じような名前、同じような機能のものがたくさんあります。controlnetと検索しても本当に多くの物があり、どれを追加すればいいのか分かりません。
特にcontrolnetを理解する事に特に時間がかかりました。loraや,model,sdモデル、fluxモデルとcustom nodesに相性があります。civitai等でダウンロードしたcontrolnetのモデルに対してcustom nodesが対応してなく使えない状態が結構ありました。
そのため、何か機能を追加したい場合はまずカスタムノードを公開しているサイト(主にgithub,huggingface)のサイトから使い方、必要なモデルを確認してダウンロードするしかなさそうです...
個人的に使っているプラグインです。
オススメは、controlnet_aux ,essentials ,IPAdapter_plus ,Manager ,workspace-managerです。
とりあえずこの5つ入れて置いて間違いないです。
個別で記事を作成していきたい...
controlnetのプロセッサーを提供してくれます。
controlnet系は他にも色々なプラグインが存在しますが、これが一番使いやすくクオリティーも良かったです。
これは画像から特徴を抽出し、controlnetで使用できる画像にしてくれます。Examplesをご確認ください。
他のプラグインのサンプルで使用されていたので追加しました。 ImageResize+が便利です。縦横の比率、ピクセル数値を考慮し自動で余白を追加、削除してくれます。サイズ変更の際の手動で計算する手間が減ります。
IPAdapterが使えるプラグインです。IPAdapterはcontrolnetの強化版
画像に対してマスクの調整、ブラー、彩度調整などができます。
あんまり使ってないかな？
github
マスクを描くために使用しています。
必須ではあるが、ほとんど使ってない。
個人的な使い道は、サンプル開いた際、見つからないノードがあった時、なんのプラグインが不足しているのか確認ができる点。
eagleを使っているのでこのカスタムノードを追加しています。 画像の管理をeagleでできるので重宝している。
たくさんのモデルのサムネイル表示用に入れている。便利。
Comfyuiで画像、動画生成、あるいは3d,音声の生成が可能ですが、日本語の解説が本当に乏しく、かなり残念です。
automatic1111 (gradio)の方が難しい操作不要なので、普及しているのは理解できますが、新しい技術の対応速度はcomfyuiが早いです。
非プログラマーには少し難しい部分もありますが、もうちょっと普及して情報増えないかな...?
![[音声から文字起こし]faster-whisperで文字起こしをしてみる](https://res.cloudinary.com/dqp5w8kxi/image/upload/c_limit,w_640/f_webp/q_auto/v1/blog/blank?_a=BAVMn6ID0)
