A ComfyUI használata: munkafolyamatok, modellek és beállítás

A ComfyUI egy ingyenes alkalmazás AI-képek és -videók helyi, saját gépen történő generálásához. Azoknak a felhasználóknak készült, akik nagyobb irányítást szeretnének, mint amit egy tipikus prompt-és-generálás eszköz kínál, lehetővé téve a generálási folyamat minden részének megtekintését és módosítását. Ez a rugalmasság tanulási görbével jár, ezért ez az útmutató segít az indulásban, a telepítéstől az első munkafolyamat futtatásáig és módosításáig.

Mire van szükséged a kezdés előtt

A ComfyUI-hoz olyan számítógépre van szükség, amely elegendő GPU-erőforrással rendelkezik a futtatni kívánt modellekhez és munkafolyamatokhoz. A nagyobb modellek és az erőforrás-igényesebb munkafolyamatok általában több VRAM-ot igényelnek.

Szükséged lesz továbbá a munkafolyamat által használt modellfájlokra is. Modelltől függően ezek lehetnek checkpointok, diffúziós modellek, VAE-k, szövegkódolók, LoRA-k vagy egyéb komponensek. Ezek a fájlok általában a ComfyUI/models könyvtárban tárolódnak.

Ha nincs megfelelő helyi GPU-d, a ComfyUI-t távoli, GPU-val működtetett asztali környezetben is futtathatod. Ez a generálási munkaterhelést a távoli GPU-ra helyezi, miközben az asztali környezetet a saját számítógépedről éred el.

A ComfyUI telepítése

Windows és macOS esetén a ComfyUI az asztali alkalmazását ajánlja az új felhasználóknak. Más telepítési módok is léteznek, beleértve a kézi telepítést és a ComfyUI parancssori eszközét. A megfelelő módszer az operációs rendszeredtől és a beállításaidtól függ.

A ComfyUI telepítése után indítsd el az alkalmazást, és nyisd meg a felületet. Látni fogod a munkafolyamat-vásznat és a munkafolyamatok létrehozásához és kezeléséhez használt eszközöket.

Miért fontosak a ComfyUI munkafolyamatok

A ComfyUI munkafolyamat határozza meg, hogyan jön létre egy kép vagy videó. Ez szabályozza a végeredmény előállításához használt modelleket, beállításokat és feldolgozási lépéseket.

Ez sokkal nagyobb irányítást biztosít, mint egy egyszerű promptmező. Megváltoztathatod a modellt, hozzáadhatsz egy LoRA-t, használhatsz bemeneti képet, módosíthatod a generálási beállításokat, felskálázhatod az eredményt, vagy további feldolgozási lépéseket adhatsz hozzá.

A munkafolyamatok menthetők és újra felhasználhatók. Ahelyett, hogy minden alkalommal újraépítenéd ugyanazt a beállítást, megtarthatsz egy olyan munkafolyamatot, amely tetsző eredményeket produkál, és szükség esetén csak az egyes beállításokat módosíthatod. Letölthetsz más felhasználók által készített munkafolyamatokat is, és hozzáigazíthatod őket a saját környezetedhez.

A ComfyUI munkafolyamat megértése

A munkafolyamat összekapcsolt csomópontokból áll. Minden csomópont a generálási folyamat egy adott részét kezeli, a kapcsolatok pedig meghatározzák, hogyan áramlik közöttük az információ.

Egy alapvető szöveg-kép munkafolyamat tartalmazhat csomópontokat a modell betöltéséhez, a prompt megadásához, a kezdeti képadatok létrehozásához, a kép generálásához, az eredmény dekódolásához és mentéséhez.

• Modellbetöltő: Betölti a generáláshoz használt modellt.
• Szövegkódoló: A promptodat a modell által használható információvá alakítja.
• Sampler: Lefuttatja a generálási folyamatot a kiválasztott beállításokkal.
• VAE: Konvertál a látens adatok és a kép között.
• Kép mentése: A generált képet lemezre írja.

Nem kell minden munkafolyamatot a semmiből felépítened. A ComfyUI munkafolyamat-sablonokat biztosít, és számos közösségi munkafolyamat letölthető és közvetlenül megnyitható.

Meglévő munkafolyamat betöltése

Meglévő munkafolyamat használata általában a legegyszerűbb módja az indulásnak. A ComfyUI példa munkafolyamatokat kínál különböző modellekhez és feladatokhoz, míg a közösségi oldalak még többet kínálnak.

Sok munkafolyamat-kép tartalmazza a munkafolyamat adatait a metaadataiban. A képet behúzhatod a ComfyUI-ba, vagy használhatod a Workflows → Open opciót a betöltéséhez. A munkafolyamat megjelenik a vásznon, csomópontjaival és beállításaival már konfigurálva.

Miután a munkafolyamat betöltődött, ellenőrizd, mely modelleket vár. Ha hiányoznak a szükséges fájlok, a ComfyUI képes azonosítani a hiányzó modelleket a támogatott munkafolyamat-sablonoknál. Más munkafolyamatoknál előfordulhat, hogy magadnak kell megkeresned és telepítened a modelleket.

Modellek keresése a ComfyUI-hoz

A modellek olyan repozitóriumokban találhatók, mint a Hugging Face és a Civitai, valamint magának a modellnek a projektoldalán. A lényeg az, hogy olyan modellt találj, amely kompatibilis a használni kívánt munkafolyamattal.

Ne feltételezd, hogy bármelyik modellfájl betölthető bármelyik munkafolyamatba. A különböző modellarchitektúrák eltérő betöltőket és támogató fájlokat igényelhetnek.

Modell letöltése előtt ellenőrizd:

• A modell architektúráját és verzióját
• A szükséges ComfyUI munkafolyamatot
• A modellfájl formátumát
• Az ajánlott VRAM-ot és hardvert
• A szükséges VAE-t, szövegkódolót, LoRA-t vagy egyéb támogató fájlokat
• A modell licencét és használati korlátozásait

A ComfyUI többféle modellfájltípust támogat. A mappa a telepített modell típusától függ. Például a checkpointok a models/checkpoints, a LoRA-k a models/loras, a VAE-k pedig a models/vae mappába kerülhetnek. Néhány újabb modell olyan mappákat használ, mint a models/diffusion_models és a models/text_encoders.

Modell telepítése

Miután letöltöttél egy modellt, helyezd a munkafolyamat által elvárt könyvtárba. Ezután kiválaszthatod a megfelelő modellbetöltőben.

Például egy checkpoint itt tárolható:

ComfyUI/models/checkpoints/

Egy LoRA pedig itt tárolható:

ComfyUI/models/loras/

Ha az új modell nem jelenik meg a modelllistában, frissítsd a felületet, vagy indítsd újra a ComfyUI-t.

Egyéni csomópontok telepítése

Sok haladó ComfyUI munkafolyamat olyan egyéni csomópontokat használ, amelyek nem részei a szabványos telepítésnek. Egy munkafolyamat hiányzó csomópontokat jelezhet, ha ezek a függőségek nincsenek telepítve.

A ComfyUI egy Managert biztosít az egyéni csomópontok telepítéséhez. A csomópontok kézzel is telepíthetők, ha a repozitóriumaikat a custom_nodes könyvtárba helyezed, és telepíted a szükséges függőségeiket.

Csak megbízható forrásból származó egyéni csomópontokat telepíts. Az egyéni csomópontok futtatható kódot tartalmazhatnak, és saját függőségekkel és biztonsági megfontolásokkal rendelkezhetnek.

Munkafolyamat futtatása és módosítása

Miután a szükséges modellek és egyéni csomópontok telepítve vannak, ellenőrizd a munkafolyamat fontos beállításait. Kezdd a modellel, a prompttal, a képméretekkel és a mintavételezési beállításokkal.

Amikor minden készen áll, a Queue gombbal futtathatod a munkafolyamatot. A ComfyUI minden lépést feldolgoz, és létrehozza a munkafolyamat által meghatározott kimenetet.

Ezután a munkafolyamat egyes részeit módosíthatod anélkül, hogy újraépítenéd. Adj hozzá egy LoRA-t, csatlakoztass egy bemeneti képet, cseréld le a samplert, adj hozzá egy felskálázót, vagy módosíts más beállításokat az eredmény megváltoztatásához.

Munkafolyamatok mentése

Mentsd el azokat a munkafolyamatokat, amelyeket újra szeretnél használni. A munkafolyamat tartalmazza a csomópont-gráfot és annak beállításait, de nem feltétlenül tartalmazza magukat a modellfájlokat. Tartsd nyilván, hogy a munkafolyamat mely modelleket és egyéni csomópontokat igényel.

Ez különösen fontossá válik, amikor egy munkafolyamatot másik számítógépre vagy felhőalapú asztali környezetbe helyezel át. Előfordulhat, hogy ugyanazokat a modelleket és egyéni csomópontokat telepítened kell, mielőtt a munkafolyamat megfelelően futna.

Próbáld ki a ComfyUI-t a DaDesktopen

Nem kell új GPU-t vásárolnod csak azért, hogy a ComfyUI-t futtasd. Ha a jelenlegi számítógéped nem rendelkezik elegendő GPU-erőforrással, a ComfyUI-t felhőalapú asztali környezetben is futtathatod, és akkor használhatod, amikor szükséged van rá.

A DaDesktop dedikált GPU-erőforrásokkal rendelkező felhőalapú asztali környezeteket biztosít olyan munkaterhelésekhez, mint az AI-kép- és videógenerálás. Telepítheted a ComfyUI-t, letöltheted a kívánt modelleket, és saját munkafolyamatokat építhetsz anélkül, hogy dedikált GPU-t adnál a helyi számítógépedhez.

Tudj meg többet az AI-kép- és videógenerálásról a DaDesktopen. Megtekintheted az elérhető GPU-kat is, és választhatsz konfigurációt a futtatni kívánt modellek és munkafolyamatok alapján.