Katastrofal glemsel

Årsaker til katastrofal glemsel inkluderer:

oppdatering av alle vektene i modellen ved ny trening
sekvensiell læring der gamle data ikke lenger er tilgjengelige
overtilpasning til nye data, slik at tidligere læring fortrenges

Det finnes mange strategier for løpende læring over tid (continual learning) som kan motvirke katastrofal glemsel. Disse inkluderer selektiv vektfrysing (selective weight freezing) for å bevare kritisk kunnskap, erfaringsrepetisjonsteknikker (experience replay) som blander historiske data med nye treningsdata eller arkitekturbaserte løsninger som progressive nevrale nettverk der nye oppgaver håndteres i separate lag. Disse metodene kan implementeres enkeltvis eller i kombinasjon for å oppnå mer robust læring over tid.

Kilde: https://link.springer.com/article/10.1007/s11063-024-11709-7