合肥师范学院音乐学院源于原安徽教育学院艺术系音乐专业。1988年4月，由教育厅批准原安徽教育学院艺术系音乐专业成立。自1990年9月起，安徽教育学院艺术系音乐专业招收成人脱产专科进修生，1990年至1995年共招收5届150名成人脱产专科进修生；1996年7月成人脱产专科停招。自1995年9月1日艺术系音乐专业开始招收专升本层次的成人脱产本科生，至2004年7月，共招收9届270名成人脱产本科进修生。2005年至2006年音乐专业与安徽师范大学音乐系联合招收了2届普通全日制本科生，其间学校由成人本科院校改制为合肥师范学院，从专业设置到师资队伍建设都经历了重大变化，专业课程设置逐步完成了向全日制普高本科音乐学（师范）专业的转型，师资队伍扩展到15人。2007年，由于学校改制的专业调整需要，当年音乐专业停招普通全日制本科生，当年只招收一届普通全日制三年制专科生。

2008年4月，由于学校改制更名为合肥师范学院之后院系调整的需要，正式成立音乐系。同年9月，音乐系招收了第一届由合肥师范学院音乐系独立培养的音乐学（师范）专业本科生和专科生，同时音乐系的建章立制工作全面启动。同年4月，音乐系音乐学（师范）、音乐学（非师范）的人才培养方案正式出台，成立了理论、声乐、键盘、器乐四个教研室和一个艺术实践教研室，其时共有教职员工25人。2009年8月，音乐系招收了第二届音乐学（师范）专业的本科生和专科生。2010年8月，音乐系在音乐学（师范）专业的基础上，拓展了音乐学（非师范）专业方向，招收音乐学（非师范）专业的本科生。2010年7月，音乐系正式申报音乐表演本科专业，当年获教育部的批准，并于2011年8月正式招生。自2011年8月起，音乐系初步完成了音乐学（教师教育）、音乐表演两个本科专业的建设并同时招生。2014年5月，学校在音乐系的基础上正式批准成立音乐学院,下设音乐理论系、声乐系、钢琴系、器乐系（艺术实践中心）共计四个系。截至2024年3月，专任教师45人，其中教授2人、副教授19人、讲师21人、助教3人。