留余山居原位于南高峰北麓，为清代著名的园林景观。 据史料记载，由六通寺沿小径而上，树木草丛中，奇石林立，不可名状。有一泉从石壁下注，高有数丈，飞珠喷玉，直落崖石，水石相击，声若琴音。 山居即在泉旁，由泉左攀登至顶为楼，名“白云窝”，楼西为台，可供眺览，名“流观台”，台下有堂三间。 清乾隆二十二年（1757），乾隆帝到此游览，赐题“留馀山居”四字为额，此名流传至今。山居旁另建有江亭、听泉亭（为乾隆御题西湖十八景之一）。 2004年，在原址附近按古籍记载的留余山居布局复建该景观，沿用留余山居旧名。同时沟通水系，堆叠假山，重新添置楹联匾额，营造旧时景观。
