Mik azok a cenzúrázatlan LLM-ek?

A cenzúrázatlan LLM-ek olyan nyílt súlyú nyelvi modellek, amelyeket úgy módosítottak, hogy csökkentsék a szabványos AI-asszisztenseknél tapasztalható elutasító viselkedés egy részét. Nagyobb irányítást adnak a felhasználónak a modell viselkedése felett, így különösen relevánsak azok számára, akik helyben futtatnak és kísérleteznek LLM-ekkel.

Mik azok a cenzúrázatlan LLM-ek?

A legtöbb modern AI-asszisztenst úgy tanítják be, hogy kövesse a biztonsági szabályokat, és bizonyos kéréseket elutasítson. Ez a viselkedés származhat utasításhangolásból, preferenciatanításból, rendszerpromptokból és a modell vagy az alkalmazás egyéb részeiből.

A cenzúrázatlan LLM általában olyan modell, amelyet módosítottak vagy betanítottak, hogy csökkentsék ezen elutasító viselkedések egy részét. A „cenzúrázatlan” kifejezésnek nincs egységes technikai meghatározása. A különböző modellkészítők különböző módszereket alkalmazhatnak, és az így létrejövő modellek egészen eltérően viselkedhetnek.

Egyes cenzúrázatlan modellek további finomhangolással készülnek. Mások olyan technikákat alkalmaznak, amelyek egy meglévő modell bizonyos viselkedéseit módosítják. A kifejezés utalhat abliterált modellekre is, bár az abliteráció egy konkrét technika, nem pedig szinonimája minden cenzúrázatlan modellnek.

A cenzúrázatlan nem jelent korlátozás nélkülit

Az elutasító viselkedés eltávolítása vagy csökkentése nem teszi képességesebbé a modellt. Egy cenzúrázatlan modell továbbra is adhat helytelen információt, félreértheti az utasításokat, vagy elutasíthat bizonyos kéréseket.

• A képesség továbbra is számít: Egy kisebb modell nem válik jobb érvelővé pusztán azért, mert az elutasító viselkedését megváltoztatták.
• A minőség változó: A cenzúrázatlan modellek jelentősen eltérhetnek attól függően, hogy milyen alapmodellre épülnek, és hogyan módosították őket.
• A viselkedés nem garantált: Egy cenzúrázatlan modell továbbra is elutasíthat bizonyos kéréseket, vagy következetlenül követheti az utasításokat.
• A biztonsági viselkedés megváltozhat: Az elutasítások csökkentése eltávolíthat néhány olyan védelmi mechanizmust is, amely az eredeti modell betanításának részét képezte.

Ezért hasznosabb a „cenzúrázatlan” kifejezést a modell viselkedésének leírásaként értelmezni, nem pedig garanciaként arra, hogy mire képes a modell.

Cenzúrázatlan, nyílt súlyú és alapmodellek összehasonlítása

Ezeket a kifejezéseket gyakran együtt használják, de egy LLM különböző aspektusait írják le.

Ezek a kategóriák átfedhetik egymást. Egy cenzúrázatlan modell lehet nyílt súlyú és alapulhat egy meglévő modellen. Lehet finomhangolt változat vagy egyéb módosítás is. A címke önmagában nem magyarázza meg pontosan, hogyan készült a modell.

Miért érdemes cenzúrázatlan LLM-et helyben futtatni?

A cenzúrázatlan LLM helyben történő futtatása nagyobb irányítást ad a felhasználónak a modell és annak környezete felett. A hosztolt AI-szolgáltatásra való támaszkodás helyett a modell a felhasználó által vezérelt hardveren fut.

• Irányítás: Ön választja meg a modellt, a következtetési szoftvert és a konfigurációt.
• Adatvédelem: A promptok és a generált válaszok a saját számítástechnikai környezetében maradhatnak.
• Testreszabhatóság: A nyílt súlyú modellek módosíthatók, finomhangolhatók és konfigurálhatók különböző munkaterhelésekhez.
• Offline használat: A helyben hosztolt modellnek nem kell promptokat küldenie külső AI-szolgáltatásnak.
• Kísérletezés: A fejlesztők és kutatók összehasonlíthatják a különböző modellverziókat és módosításokat.

A helyi következtetés a modellt futtató hardver feletti irányítást is biztosítja. Ez egyre fontosabbá válik a modellméretek növekedésével.

Milyen hardverre van szükségük a cenzúrázatlan LLM-eknek?

A cenzúrázatlan modellek általában ugyanazokkal a hardverkövetelményekkel rendelkeznek, mint az alapul szolgáló modell. A fő tényezők a modellméret, a kvantálás, a kontextushossz és a következtetési beállítások.

Egy nagyobb modell több memóriát igényel, mint egy kisebb. A kvantálás csökkentheti a modell betöltéséhez szükséges memóriát, így a nagyobb modellek kevesebb VRAM-mal rendelkező GPU-kon is futtathatóvá válnak.

A VRAM-ot maga a következtetési folyamat is használja. A KV-gyorsítótár és más futásidejű adatok további memóriát igényelnek, a hosszabb kontextusablakok pedig növelhetik a szükséges memória mennyiségét.

Ez azt jelenti, hogy a modellválasztás csak egy része a helyi LLM-környezet tervezésének. A GPU-nak elegendő szabad VRAM-mal kell rendelkeznie a modellhez és a futtatni kívánt munkaterheléshez.

Próbálja ki a DaDesktopen

Ha szeretne cenzúrázatlan LLM-et futtatni saját GPU-hardver vásárlása és telepítése nélkül, a DaDesktop dedikált GPU-erőforrásokkal rendelkező felhőasztalokat kínál. Futtathat helyi LLM-munkaterheléseket a DaDesktopen, vagy összehasonlíthatja az elérhető GPU-lehetőségeket a futtatni kívánt modell alapján.