四春園其址原為清道光年間臺南地方士紳吳尚新所建庭園「吳園」，庭園以仿飛來峰的形勢，佈置假山、亭臺樓閣、奇花異草、池塘，與當時板橋「林家花園」、新竹「北郭園」、霧峰「萊園」合稱臺灣四大名園，俗稱「樓仔內」。

日治初期，吳園面向今公園路的一角建築租借予四春園旅館，日後逐漸改築成和式高級旅館，能經由此觀覽庭園景勝，時人稱為四春園。

1911 年庭園南面，即面向今民權路的部份被改建為臺南公館，後來1923年改稱為臺南公會堂。1920年庭園的西北角另建圖書館，與公會堂和四春園庭院相通。

四春園為日治時期知名旅館，與現今已拆除改建為臺南大飯店的東屋旅館齊名。

戰後四春園成為日產接收之標的，後續建築體遭轉帳為中國國民黨所有，成為不當黨產。