潘祖蔭故居位于蘇州市南石子街5、6、7、8、10號，2003年被列為蘇州市控制保護的古建筑。
 潘祖蔭故居是歷任乾隆、嘉慶、道光、咸豐四朝高官的狀元宰相潘世恩，得到御賜圓明園宅第的恩賞。后潘曾瑩將南石子街舊居，特仿其父潘世恩京城御賜宅第格式，改建為坐北朝南的大宅。宅分三路五進，中路各進皆為樓屋，兩側廂房走廊，連通為走馬樓式，其間庭院寬敞。第四進樓面闊三間帶兩隔廂，寬約16.2米，進深13.9米，高約10米，扁作梁，裝修精致。
 走進潘祖蔭故居，庭院深深，狹長的備弄連接著一戶又一戶人家。三路五進的格局仍在。昔日的跑馬樓下、走廊里蓋起了房子，與舊宅連通，陸續住進居民，據統計目前已有48戶。
    老宅記錄著歷史的滄桑，它住過顯赫的大戶人家，藏過國寶，經歷過兵燹，又曾經成為工廠，成為宿舍，成為旅館；老宅承載著歷史的使命，在城市居民大量增加的時候，它一次又一次成為安置居民的場所。
    潘宅東路，蘇州床單廠招待所已經搬離。如今這里荒草叢生，滿地瓦礫。昔日的花園建滿了房屋，依稀可以辨認出廢棄的廠房、食堂……招待所的主樓上紅漆斑駁，落滿塵埃，還能看出老宅騎樓的模樣。而中路和西路，由于被幾十戶人家分割，舊貌已經很難辨識。