上海音乐学院前身是伟大的民主革命家、杰出的教育家、思想家蔡元培先生和音乐教育家萧友梅博士于1927年11月27日共同创办的国立音乐院。首任院长为蔡元培先生。1929年9月更名为国立音乐专科学校。中华人民共和国成立后，于1956年定名为上海音乐学院。自1949年至1984年，著名作曲家、音乐理论家、音乐教育家贺绿汀担任院长(后任名誉院长)，为学校的建设及发展做出了卓越的贡献。1984年后，桑桐、江明惇、杨立青教授曾先后任院长。学院现任党委书记：桑秀藩，现任院长：许舒亚。
学院面向全国招收本专科生、硕士研究生、博士研究生，并招收外国留学生。学院设有14个系(部)，即作曲系、指挥系、音乐学系、民族音乐系、钢琴系、声乐歌剧系、管弦系、音乐教育系、音乐戏剧系、艺术管理系、音乐工程系、现代器乐与打击乐系、公共基础部、研究生部等。涉及6个专业(作曲与作曲技术理论、音乐学、音乐艺术表演、录音艺术、公共事业管理、音乐科技与艺术)、近20个专业方向，既包括了具有雄厚根基的传统专业，也有若干新建的新兴学科与交叉学科。
学院拥有全国最早建立的硕士、博士、博士后流动站的完整教学、科研体系。目前，有博士学位一级学科授权点3个(艺术学理论、音乐与舞蹈学、戏剧与影视学);硕士学位一级学科授权点3个(艺术学理论、音乐与舞蹈学、戏剧与影视学);艺术学博士后科研流动站1个。学院目前拥有2个上海市重点学科(优势学科：作曲与音乐设计，特色学科：音乐文化史)、上海市教育高地1个(音乐表演)、以及上海市高校音乐人类学E-研究院。
学院拥有3个集教学、表演、科研为一体的艺术中心，即周小燕国际歌剧中心、国际弦乐艺术中心、国际钢琴艺术中心;拥有1个音乐研究所，下设中日音乐文化研究中心、中国当代音乐研究与发展中心、上海音乐学院校史研究中心、音乐剧研究中心、音乐教育研究中心、音乐与社会研究中心等。并建有六个音乐表演团体：上海青年交响乐团、上海音乐学院新室内乐团、上海音乐学院弦乐四重奏组、上海音乐学院打击乐团、上海音乐学院民族乐团以及上海音乐学院合唱团。学院另拥有一个富有特色的出版社——上海音乐学院出版社、一个高水平的学术期刊——《音乐艺术》、一个独一无二的特色博物馆——东方乐器博物馆、以及一个高水准的演出场所——贺绿汀音乐厅。
学院在教学体制上实行“大、中、小”一贯制。1953年正式成立了附中，1956年成立了附小。五十多年来，附中、附小形成了鲜明的教学特色和优良传统，取得了优异的办学成果，培养出一大批日后成为国内外知名音乐家的优秀学生，成为我院及全国各音乐院校后备人才的重要培养基地。