徐州图书馆始建于1930年1月1日，其前身为铜山县图书馆。时有藏书2万余册。

抗战时徐州沦陷期间，伪苏北行政专员公署于1940年在现快哉亭公园内设立图书馆；1944年伪淮海省设立时将其更名为淮海省图书馆。抗战胜利后，并入江苏省民众教育馆。48年12月1日徐州解放，又更名为徐州市人民教育馆。

49年12月1日宣布徐州市人民图书馆正式成立。设址于现市立三院处。至76年在大同街50号（今112号）筹建新馆三千余平方米，78年建成开放。此馆为徐州市“九五”期间，市委市政府立项列为徐州市1999至2000年市政18项重点工程之一。于99年11月18日奠基，当年12月中旬正式开工，2003年12月底建成，是年12月8日正式宣布对外开放。本馆总占地面积40亩，约合２．６７万平方米，建筑面积２．１５万平方米，为地下局部一层，地上主体两层，局部四层的大型建筑物。其设计藏书容量为160万册（件），可摆放阅览座位1000多个，预装信息节点700多个；设计日均接待读者 2000人次，年借阅文献100余万册（件）次。