MEMORAND

StableDiffusion ComfyUI

  • AI
  • StableDiffusion

RunPodではtemplateをComfyUIにすることで自動的にインストールされます
自前環境でもgithubからクローンすればよい

おそらく、

  • 8080：FileBrowser
    JupyterLabよりファイル移動が楽（ユーザ名：admin, パスワード：adminadmin12）
  • 8188：ComfyUI
  • 8888：JupyterLab
    主にターミナルを使用するとき使うと思う

ComfyUIの見た目

上のパズルピースのマークの"Manager"を押下して、下図のメニューから"Model Manager"を開きます

画像比較

“Manager"メニューから"Custom Nodes Manager"を開いて、rgthree-comfyをインストール

Image Comparer (rgthree)を使って

顔修正

“Manager"メニューから"Custom Nodes Manager"を開いて、ComfyUI Impact PackとComfyUI Impact Subpackをインストール


次に同じ"Manager"メニューから"Model Manager"を開いて、face_yolov8n_v2 (bbox)とViT-B SAM modelをインストール

ここまでやったら、RunPodに行ってReset Podする

追加するのはFaceDetailerとUltralyticsDetectorProviderとSAMLoaderの3つ

オプションの説明

  • guide_size：領域の短い辺の最小値。guide_size$=512$で、領域が縦500,横400の場合、横が512になり、アスペクト比を維持したまま縦も拡大される。この例なら$500\cdot512/400=640$なので、縦640,横512
    $\min(w,h) $$ \begin{align} \min(w,h)&\to x_{guide}\\ \max(w,h)&\to \max(w,h)\cdot \frac{x_{guide}}{\min(w,h)} \end{align} $$
  • guide_size_for：guide_sizeが判定する領域の定義。bboxは顔の大きさ、crop_regionは顔を含んで大まかに切り取られた領域
  • max_size：guide_sizeによって拡大された長い辺の最大値。先の例で言えば、max_size$=600$なら、縦640でmax_sizeより大きいので600に強制され、縦600,横512となる
  • seed,steps,cfg,sampler_name,scheduler,denoise：K samplerと同じ。denoiseはノイズ除去
  • feather

公式tutorial

1girl, kal’tsit \(arknights\), close up face, looking at viewer, short hair, long sleeves, dress, animal ears, jewelry, jacket, bare shoulders, green eyes, white hair, green hair, cat ears, necklace, off shoulder, animal ear fluff, detached collar, green dress, watch, off-shoulder dress, wristwatch, material growth, oripathy lesion \(arknights\), stethoscope, star of life, masterpiece, best quality, amazing quality,

bad quality, worst quality, worst detail, sketch, censor,