到目前为止，我们对回忆的讨论都着重在它的所意方面，也就是在它所记起的物体这一方面。当我们说明记忆并非对一个影象的知觉而是对一个知觉的再度活化时，我们谈的的确是能意（noetic）这一方面。但我们还是必须再深入这主体，探讨一下进行回忆的那个自我。既然在回忆中物体有了新的面向，自我也在回忆中有新的面向发生。
当我记起过去的某物时，我也同时把自己置身于过去之中。在此时此地的我，坐在房间的椅子上，看着墙与窗户，也听到一些声音；而另一个在彼时彼地的我，看到昨天街角发生的车祸事故，或是两星期前与亲爱的人分离而伤心欲绝的我。这两种【我】有所不同。我先前知觉的再度活化，必然包括了在当时做此知觉的我的再度活化。就如同过去的事物再被带到现前来，当时经验的过去的我也被带到现前来。在回忆中，有着正在回忆的我（the remembering self）与被回忆所带出的我（the remembered self）的分别。
我们可能会说【真正的我】是那个此时此地，正在回忆的我。再度活化的我只是一种影像。但这样的说法并不正确。更合适的说法是，我正是由正在回忆的自己与被回忆出的自己所建构出来的同一者。我自己，自我，正是在知觉与回忆之间的交互活动中所成就出来。我自己可移置于过去的这一事实对我的心理生活提供了全新的面向。我不只限于此时此地；过去（或是未来，我们以后会讨论到）也不只是我的指涉方向，而是我能够经由回忆活入过去之中。
有时，这种活在过去中会造成麻烦。如果我们做了一件感到非常丢脸的事，或陷入灾难事件中，可能无法让自己从这样的经验中脱身。这些经验帮忙构成了我自身，我无法切断它们；不管我旅行多远，我都背负着它们。我与它们紧紧相连。登山客彼得·希拉瑞（Peter Hillary）谈到他在喜马拉雅山所经历的山难：【从那样的灾难中存活下来有时是我此生最痛苦的事。你在心中一次又一次的重演那些可怕的场景。】一个参与屠杀囚犯的人说：【许多晚上我必须借助酒精才能遗忘，才能入睡。我毁了我自己。我必须让收音机或是电视机一直开着才能让自己分心。有时我害怕一个人独自地与我的思绪在一起。】一个经历车祸的年轻人说：【好几个月来，我以慢动作般地，重覆经历那次的事故。】在回忆中，我们有时像观察者，看着事情再度发生，但我们其实不是观察者，我们并不是看着一个可切割开来的场景的观众。我们涉入到当时所发生的事情中。我们与在当时行动中的是同样的人；回忆把我们带回到当时的行动与经验之中。不管是好是坏，没有回忆，没有移置落身，我们就无法成就为自己，也无法成就为人。同一性的综合（identity syntheses）在回忆的能意与所意两方面皆有发生。
