愚园最早为明中山王徐达后裔徐俌的别业。后该园易主徽州商贾汪氏，再易主为吴用光。乾隆以后，愚园逐渐败落。清同治十二年，清代名人胡恩燮辞官归里，购下西园故址。

数百米的铁路两旁，繁茂浓密的树林由于过往火车的削磨，形成直直的“墙壁”，两侧树林上方的枝叶几乎要长到一起去，远远望去，就像一条绿色隧道。