泗门谢氏始祖祠堂，又称泗门谢氏三太傅祠，三太傅是指晋太傅谢安、宋太傅谢深甫、明太傅谢迁，当地人称为“大祠堂”。
该祠堂始建于明正德年间，由谢迁倡议，其仲子谢丕主持修建。其形制仿亲王级规格，分内外紫禁城。
祠堂前大通路上，立有二座牌坊，东为“太傅流芳”，西为“东山并秀”，坊额为明代余姚三阁老之一的吕本所书。
清嘉庆辛未年（1811）重建前庙，增建后庙。同治壬戌年（1862）遭太平天国乱军洗劫焚毁，光绪三年（1877）由宗长谢盈松主持重建，唯外墙正门石结构仍为初建时原物，墙门上横额“四门谢氏始祖祀堂”为谢迁长子谢正所书。
解放后，长期作为粮仓及粮油供应站，对祠堂多有破坏。1956年大台风毁“东山并秀”坊、1965年“除四旧”运动毁“太傅流芳”坊。2004年、2007年进行了两次大规模的修缮，恢复为泗门谢氏家族祭祀、聚会的场所，同时也成为一处展示谢氏家族历史之地。
现存祠堂由门楼、首进（长二公祠）、二进（三太傅祠）、三进（伯登公祠），东偏房、西侧积谷仓及后花园组成，前后三个天井，均为石板铺地，中置甬道。四周围以高墙，占地约1638平方米，是余姚市现存规模最大、规格最高的古代祠堂建筑。
祠堂反映了泗门谢氏的发展壮大，是维系谢氏族人的纽带。同时它与余姚历史上有名的“谢阁老”谢迁息息相关，是考察谢迁活动的重要场所。2001年5月公布为余姚市文物保护点，2011年1月升为省级文物保护单位。
