Annak, hogy nagyon sok gyermekkori emlékünk elvész vagy hozzáférhetetlenné válik, köze van agyunk és idegrendszerünk fejlődéséhez. A hároméves korunk előtti időkből például a legtöbbünk alig-alig tud felidézni valamit. Néhány hangulat vagy halvány emléknyom marad, és ezek közül is sok talán inkább a szüleink által gyakran felidézett történet, amelyre már-már sajátunkként emlékszünk.

A pontos okok a tudomány számára sem ismertek még teljesen, az egyik elmélet szerint a hippokampusz fejletlensége állhat a háttérben, ez a szervünk csak három-négy éves korunk körül kezd rohamos fejlődésbe. Amíg nem aktív az agynak ezen része, addig nem rögzülnek úgynevezett epizodikus emlékeink. Ez azt jelenti, hogy nem tudjuk történetiségükben, kontextusukban felidézni a régi eseményeket, mert még nincs fogalmunk a múltról és a jövőről. Ugyanakkor ezek az emlékek nem vesznek el teljesen, inkább másféleképpen rögzülnek, például vizuális vagy akusztikus formában, esetleg testünk emlékszik valamiképp. Amikor például összegömbölyödve alszunk, akkor testünk arra a magzati pózra „emlékszik”, amit az anyaméhben vett fel.