Det har vært mange diskusjoner her om AI og kreativitet – vil AI kunne skape virkelig ny kunnskap eller kunst? Det skilles mellom to typer kreativitet: lukket (med spesifikt mål) og åpen, «blå himmel»-kreativitet (åpen). I en av mine favorittartikler: lukket kreativitet responderer på insentiver; «Blue Sky»-kreativitet gjør det ikke – det er basert på indre motivasjon. En nøkkelkomponent i treningen av AI-systemer er RL, som genererer positive signaler gitt modellens output. Det kan hende at dette systemet optimaliserer «lukket» kreativitet, men bommer på «blå himmel»-kreativitet. Faktisk viser det samme forfatterskapet at mennesker fortsatt dominerer AI på «blå himmel»-kreativitet, men underpresterer på oppgaver som involverer lukket kreativitet. Hvis vi ønsker at KI skal skape virkelig ny kunnskap, er det nyttig å tenke på hvordan vi kan optimalisere treningen for denne typen «blå himmel»-kreativitet. Dette åpner opp mange viktige spørsmål om hvordan man designer belønningsfunksjonen, hvordan man kan gi modellen indre motivasjon (som er et aktivt forskningsområde), osv.