A ChatGPT rákényszeríthető szexualizált és erőszakos képek előállítására, figyelmeztetnek kutatók

A ChatGPT legfrissebb, nyilvánosan elérhető verziója egyszerű prompttal rákényszeríthető szexualizált képek előállítására vagy brutális erőszak jeleneteinek ábrázolására, mondták a BBC-nek kutatók.

A brit MI-kibervédelmi startup, a Mindgard rájött, hogyan lehet a ChatGPT-t grafikus képek létrehozására bírni egy széles körben ismert utasítás, azaz prompt enyhe módosításával, amelyet eredetileg humoros eredmények előállítására terveztek.

Miután a BBC megkereste, a ChatGPT-t fejlesztő OpenAI közölte, hogy lépéseket tett annak megakadályozására, hogy a chatbot ilyen típusú képekkel válaszoljon.

„Miután megvizsgáltuk a trendet, további védelmi intézkedéseket vezettünk be az ilyen típusú promptok ellen" – közölte a vállalat.

A cég azt is hozzátette, hogy egy többrétegű biztonsági rendszert alkalmaz annak megakadályozására, hogy a felhasználók a felhasználási feltételeit sértő tartalmakat hozzanak létre.

Az MI-biztonsági kutatók azonban azt mondták, hogy további kisebb módosításokkal a problémás prompt továbbra is aggasztó tartalmakat állított elő.

A BBC nem hozza nyilvánosságra, mit gépeltek be a kutatók a ChatGPT-be. Ugyanakkor láttuk, hogyan vették rá a chatbotot – az OpenAI GPT-5.4 modelljét – grafikus anyagok létrehozására.

Részletes utasítások nélkül is olyan képeket generált, amelyeket a Mindgard alapítója, Peter Garraghan „nagyon kegyetlennek, néha szexualizáltnak, néha mindkettőnek egyszerre" nevezett.

Hozzátette, hogy különösen aggasztónak tartotta azt, hogy a prompt nem határozta meg a képek témáját, mégis a mesterséges intelligencia „saját elhatározásából" véres és szexualizált képek széles skáláját állította elő.

Garraghan – aki a Lancasteri Egyetem számítástechnikai tanszékének professzora is – ezt nyugtalanítónak nevezte.

„Ez egy elsőre teljesen ártatlannak tűnő utasítás az MI-nek, a végeredmény azonban rendkívül aggályos képek és tartalmak előállítása" – mondta.

A Mindgard tevékenysége az úgynevezett „red-teaming": a cél annak feltárása, hogyan lehet rávenni egy modellt a saját szabályainak megszegésére, hogy az MI-cégek bezárhassák a réseket.

Jim Nightingale, a cég MI-biztonsági és -védelmi kutatója, aki feltárta a problémákat, azt mondta, hogy a képek, amelyeket a chatbot képes volt létrehozni, „annyira megrázták, hogy elsírta magát".

A BBC látott néhányat ezek közül.

Az egyik egy súlyos fejsérüléssel rendelkező férfit ábrázolt, míg egy másik egy fiatal nő holttestét mutatta egy kivágott toppan és sortban, miközben az arcát és testének más részeit vér borította.

A Mindgard szerint a kép szexuális erőszakra utaló jeleket mutat. A ChatGPT a „Komor bűnügyi helyszín utózöngéi" címet adta neki.

Más generált képek szexuális pózokat és meztelenséget ábrázoltak.

A képeken mesterséges intelligencia által létrehozott felnőttek szerepeltek, ugyanakkor a Mindgard rámutatott: korábbi kutatásuk szerint a ChatGPT rávehető arra is, hogy valódi emberekről készítsen meztelen deepfake képeket, ha az arcukat behelyettesítik.

Bár az OpenAI közölte, hogy ezt a problémát már orvosolták, a kutatók szerint egy alternatív módszerrel továbbra is sikerrel jártak, és ennek eredményeként egy újonnan készített képet is megmutattak a BBC-nek.

Garraghan azt mondta, attól tart, még súlyosabb tartalmak is előállíthatók lettek volna, ha tovább vizsgálják a sebezhetőséget. „Biztos vagyok benne, hogy más témák is előkerültek volna, ha több időt szánunk rá" – mondta.

A BBC információi szerint az új védelmi intézkedések mellett a vállalat továbbra is figyeli a helyzetet, és további kockázatcsökkentő megoldásokat vezet be annak érdekében, hogy a modell ne generáljon képeket, ha ilyen utasításokat kap a jövőben.

A ChatGPT-hez hasonló nagy nyelvi modelleket több millió képpel tanítják és képzik ki, amelyek gyakran az interneten már meglévő tartalmakból származnak. Nightingale szerint a ChatGPT által előállított tartalom tükrözi azokat az adatokat, amelyekkel a rendszert fejlesztették.

„Mellbe vágott az a felismerés, hogy bár amit láttam, az egy generált, mesterséges kép volt, mégis kapcsolódik valós képekhez és a való világhoz" – írta jelentésében.

A kutatók májusban értesítették először az OpenAI-t, ám miután megosztották megállapításaikat, a technológiai cégtől csupán automatikus választ kaptak.

Úgy vélik, történt kísérlet a prompt blokkolására, de azt könnyen meg lehetett kerülni.

Az OpenAI további lépéseket tett, miután a BBC megkereste.

A cég egy sajtóközleményben jelezte, hogy a cégnek olyan, több rétegű védelmi rendszerei vannak, amelyeket arra terveztek, hogy megakadályozzák a szabályzatait sértő képek megjelenítését a felhasználók számára.

„Automatizált rendszereket és emberi ellenőrzést is kombinálunk az aggályos anyagok azonosítására és blokkolására", tette hozzá a vállalat.

Az OpenAI azt is közölte, hogy olyan rendszerei is vannak, amelyek megpróbálják blokkolni a felhasználók által feltöltött, szabálysértő anyagokat.

A vállalat szabályzata tiltja a szexuális erőszakot, a beleegyezés nélküli intim tartalmakat, a gyermekek szexuális bántalmazását ábrázoló anyagokat, valamint a védelmi intézkedések megkerülésére irányuló kísérleteket.

Az MI-modellek nem emberek

A ChatGPT működését szabályozó legfrissebb dokumentumában az OpenAI azt írta: „Az asszisztens nem generálhat erotikus tartalmat, illegális vagy beleegyezés nélküli szexuális tevékenységek ábrázolását, illetve szélsőségesen véres tartalmat, kivéve tudományos, történelmi, hírszolgáltatási, művészeti vagy más olyan kontextusokban, ahol indokolt."

Ugyanakkor köztudottan nehéz teljes mértékben megakadályozni, hogy az MI-modellek átlépjék a gyakran meglehetősen árnyalt szabályokat és védőkorlátokat.

A vállalatok előtt álló feladat „hatalmas", mondta Dr Rumman Chowdhury, az MI-modellek értékelésének szakértője és a Humane Intelligence vezérigazgatója.

Chowdhury, aki nem vett részt a Mindgard kutatásában, azt mondta, ez „macska-egér harc": ahogy a védelmek javulnak, a megkerülésükre szolgáló módszerek is egyre kifinomultabbá válnak.

Az egyik fő probléma az, hogy a modellek nem értik úgy, mint az emberek, hogy mit hoznak létre, vagy mire kérik őket, hogy ne tegyék meg.

„A modellek nem értik a szándékot. Nem értik a kontextust. Nem értik az illendőséget, sem azt, hogy mi a helyes vagy helytelen", mondta Chodwdhury a BBC Newsnak.

Tavaly az Egyesült Királyság MI Biztonsági Intézetének kutatói olyan „jailbreakeket" találtak, amelyek a vizsgált rendszerek mindegyikében képesek voltak megkerülni a védelmi korlátokat különféle aggályos kérések esetén.

A brit Tudományos, Innovációs és Technológiai Minisztérium egy nyilatkozatban közölte: „az MI-modellek védelmi intézkedései javulnak, de még van tennivaló".

Hozzátette, hogy az MI Biztonsági Intézet a jövőben továbbra is együtt fog dolgozni a fejlesztőkkel annak érdekében, hogy még a modellek megjelenése előtt gyorsan megerősítsék a biztonsági intézkedéseket.

Ezt a cikket újságíróink írták és lektorálták, a fordításhoz mesterséges intelligencia által támogatott eszközök segítségét használták, egy kísérleti projekt részeként.

Szerkesztette: Sebestyén Roland