Lezers vinden AI-Shakespeare beter dan de echte
Lezers zijn niet in staat om te bepalen of een gedicht door een mens of door een AI is geschreven. Gemiddeld vinden ze door AI geschreven gedichten zelfs mooier, inspirerender, beeldrijker en betekenisvoller dan door een mens geschreven poëzie. Dat blijkt uit een nieuwe wetenschappelijke studie, gepubliceerd in Scientific Reports. Een panel van 1634 deelnemers kreeg tien gedichten voorgelegd, die of door een mens waren geschreven, of door ChatGPT 3.5. Het ging daarbij om menselijke dichters die algemeen worden gezien als behorend tot de grootsten uit de literatuurgeschiedenis, zoals William Shakespeare, Lord Byron, Walt Whitman en Emily Dickinson. De deelnemers dachten van de AI-gedichten meestal dat ze door een mens waren geschreven. De vijf gedichten waarvan ze dachten dat die niet door een mens waren geschreven, waren allemaal door een echte dichter gemaakt. De onderzoekers denken dat de proefpersonen de voorkeur gaven aan de AI-gedichten omdat die eenvoudiger en toegankelijker waren geschreven. De voorkeur van de proefpersonen veranderde echter zodra ze te horen kregen dat de gedichten niet door mensen waren geschreven, bleek uit een tweede experiment. Daarin moesten 696 mensen de gedichten beoordelen op kwaliteiten als schoonheid, emotie, ritme en originaliteit. Degenen die dachten dat de gedichten geschreven waren door AI, gaven de gedichten een lagere beoordeling - of ze nu daadwerkelijk door AI waren geschreven of niet. De groep die niet wist door wie de gedichten waren geschreven, beoordeelde de AI-gedichten juist hoger. "Een goed uitgevoerde studie", zegt de Amerikaanse cognitief psycholoog Keith Holyoak, zelf niet betrokken bij het onderzoek. Hij houdt zich al langer bezig met de vraag of AI ooit authentieke poëzie zal kunnen maken, onder meer in zijn boek The Spider's Thread. Holyoak ziet in dit nieuwe onderzoek nog geen bewijs dat AI nu een echte dichter is. "Het model is alleen maar in staat om een gedicht in de stijl van Walt Whitman te schrijven omdat het getraind is met het volledige werk van Walt Whitman", zegt hij. "Als je het model zou trainen zonder die gedichten, zou het resultaat waarschijnlijk bedroevend zijn." Grootsheid of plagiaat? Belangrijker is misschien nog wel dat het model geen creativiteit aan de dag legt. "Als een mens zulke imitaties van Whitman zou produceren, dan zou je bijna kunnen spreken van plagiëren", vindt Holyoak. "We kunnen dit dus niet vergelijken met menselijke grootsheid. We kunnen dit vergelijken met menselijk plagiaat". Van werkelijke creativiteit zou je daarom pas kunnen spreken als AI zeer goede gedichten zou schrijven in de stijl van een nieuwe dichter, waarvan de gedichten niet zijn meegenomen in de trainingsdata. Daarnaast is het nog maar de vraag of mensen wel zullen kunnen genieten van een AI-gedicht. In het onderzoek ging de waardering voor een gedicht immers omlaag zodra de onderzoekers vertelden dat het door AI was gemaakt. "Lezers waarderen een gedicht ook omdat het verbonden is met de innerlijke ervaring van de schrijver", zegt Holyoak daarover. Voorkeur voor gemiddelde Al met al lijkt het onderzoek minstens zoveel over de lezers te zeggen als over de vaardigheden van de AI. De proefpersonen waren geen poëziekenners, wat hun voorkeur voor eenvoudige gedichten zou kunnen verklaren. Daarnaast hebben mensen vaak een voorkeur voor het gemiddelde. Als je bijvoorbeeld uit honderden gezichten een foto van een gemiddeld gezicht fabriceert, vinden de meeste mensen dat een zeer aantrekkelijk gezicht. Holyoak denkt wel dat dichters AI-assistenten kunnen gaan gebruiken om ze te helpen bij het schrijfproces. De vraag is echter of dat tot betere gedichten gaat leiden, of juist tot meer eenheidsworst: "Een gevaar is dat AI-assistentie de menselijke creativiteit in de weg gaat zitten, waardoor gedichten steeds meer op elkaar gaan lijken".
nos.nl
Lezers vinden AI-Shakespeare beter dan de echte
Lezers zijn niet in staat om te bepalen of een gedicht door een mens of door een AI is geschreven. Gemiddeld vinden ze door AI geschreven gedichten zelfs mooier, inspirerender, beeldrijker en betekenisvoller dan door een mens geschreven poëzie. Dat blijkt uit een nieuwe wetenschappelijke studie, gepubliceerd in Scientific Reports. Een panel van 1634 deelnemers kreeg tien gedichten voorgelegd, die of door een mens waren geschreven, of door ChatGPT 3.5. Het ging daarbij om menselijke dichters die algemeen worden gezien als behorend tot de grootsten uit de literatuurgeschiedenis, zoals William Shakespeare, Lord Byron, Walt Whitman en Emily Dickinson. De deelnemers dachten van de AI-gedichten meestal dat ze door een mens waren geschreven. De vijf gedichten waarvan ze dachten dat die niet door een mens waren geschreven, waren allemaal door een echte dichter gemaakt. De onderzoekers denken dat de proefpersonen de voorkeur gaven aan de AI-gedichten omdat die eenvoudiger en toegankelijker waren geschreven. De voorkeur van de proefpersonen veranderde echter zodra ze te horen kregen dat de gedichten niet door mensen waren geschreven, bleek uit een tweede experiment. Daarin moesten 696 mensen de gedichten beoordelen op kwaliteiten als schoonheid, emotie, ritme en originaliteit. Degenen die dachten dat de gedichten geschreven waren door AI, gaven de gedichten een lagere beoordeling - of ze nu daadwerkelijk door AI waren geschreven of niet. De groep die niet wist door wie de gedichten waren geschreven, beoordeelde de AI-gedichten juist hoger. "Een goed uitgevoerde studie", zegt de Amerikaanse cognitief psycholoog Keith Holyoak, zelf niet betrokken bij het onderzoek. Hij houdt zich al langer bezig met de vraag of AI ooit authentieke poëzie zal kunnen maken, onder meer in zijn boek The Spider's Thread. Holyoak ziet in dit nieuwe onderzoek nog geen bewijs dat AI nu een echte dichter is. "Het model is alleen maar in staat om een gedicht in de stijl van Walt Whitman te schrijven omdat het getraind is met het volledige werk van Walt Whitman", zegt hij. "Als je het model zou trainen zonder die gedichten, zou het resultaat waarschijnlijk bedroevend zijn." Grootsheid of plagiaat? Belangrijker is misschien nog wel dat het model geen creativiteit aan de dag legt. "Als een mens zulke imitaties van Whitman zou produceren, dan zou je bijna kunnen spreken van plagiëren", vindt Holyoak. "We kunnen dit dus niet vergelijken met menselijke grootsheid. We kunnen dit vergelijken met menselijk plagiaat". Van werkelijke creativiteit zou je daarom pas kunnen spreken als AI zeer goede gedichten zou schrijven in de stijl van een nieuwe dichter, waarvan de gedichten niet zijn meegenomen in de trainingsdata. Daarnaast is het nog maar de vraag of mensen wel zullen kunnen genieten van een AI-gedicht. In het onderzoek ging de waardering voor een gedicht immers omlaag zodra de onderzoekers vertelden dat het door AI was gemaakt. "Lezers waarderen een gedicht ook omdat het verbonden is met de innerlijke ervaring van de schrijver", zegt Holyoak daarover. Voorkeur voor gemiddelde Al met al lijkt het onderzoek minstens zoveel over de lezers te zeggen als over de vaardigheden van de AI. De proefpersonen waren geen poëziekenners, wat hun voorkeur voor eenvoudige gedichten zou kunnen verklaren. Daarnaast hebben mensen vaak een voorkeur voor het gemiddelde. Als je bijvoorbeeld uit honderden gezichten een foto van een gemiddeld gezicht fabriceert, vinden de meeste mensen dat een zeer aantrekkelijk gezicht. Holyoak denkt wel dat dichters AI-assistenten kunnen gaan gebruiken om ze te helpen bij het schrijfproces. De vraag is echter of dat tot betere gedichten gaat leiden, of juist tot meer eenheidsworst: "Een gevaar is dat AI-assistentie de menselijke creativiteit in de weg gaat zitten, waardoor gedichten steeds meer op elkaar gaan lijken".