吴皇后成了吴废后，被逐出皇宫到北海西侧养蜂夹道的冷宫，此地也叫西宫。吴皇后被抛到这里，任其自生自灭。
离西宫不远处还有一座较为破败的宫殿，这个宫殿有个动听而又不祥的名字--——安乐堂。
安乐堂不安乐，这是宫内一般太监宫女最害怕去的地方，安乐堂地势偏西，因此又称西内。安乐堂是宫内低级太监生病后的医治之所，说是医治，其实不过是在此等死罢了，宫女呢，更是悲惨！凡宫人病老或有罪，先发此处，待过一段时间不死，尚有劳动能力，再发配去浣衣局，去做洗衣妇，直到累死。
从此，贬居冷宫的吴氏与安乐堂为邻，过着十分冷清的生活，终日靠吟诗、摹画、抚琴来打发凄凉的日子。