渌江书院始建于清乾隆十八年（1753），由知县管乐倡建。原址位于城东朱子祠右侧。清道光九年（1829），由县令陈心炳倡捐，将其迁建于城西靖兴山（西山）宋淳祐年间的原西山书院遗址之上。书院的主体建筑由头门、讲堂、内厅、考棚、靖兴寺和宋名臣祠等组成，总建筑面积已达4123平方米。
渌江书院有自己独特的办学思想和教学方式，并有名人掌教的传统。如左宗棠就曾在此任过山长（院长）。书院不但为湖湘文化的形成与传播作出了贡献，也为国家培养了大批杰出人材，如宁调元、李立三、耿飚、蔡申熙、张翼鹏、朱克靖、左权、宋时轮、陈明仁、汤飞凡等。渌江书院自开放以来，平均每年接待参观者达两万人次，已成为展示湖湘文化的一扇重要窗口，享有“醴陵文化摇篮”的美誉。
2013年，渌江书院被公布为全国重点文物保护单位。