愚園最早為明中山王徐達后裔徐俌的別業(yè)。后該園易主徽州商賈汪氏，再易主為吳用光。乾隆以后，愚園逐漸敗落。清同治十二年，清代名人胡恩燮辭官歸里，購下西園故址。