Rheinau s’est établie depuis l’époque celtique. L’histoire documentée commence avec la fondation de l’abbaye à la fin du VIIIe siècle. L’île de l’abbaye et sa bibliothèque ont été pendant des siècles un centre culturel majeur. C’est au XVIIIe siècle que l’abbaye connut son zénith. Son église fut rénovée avec faste dans le style baroque, et elle reçut ses tours visibles des alentours.
En 1803, Rheinau rejoint les communes du canton de Zurich. La réorganisation libérale du canton annonça la fin progressive de l’abbaye. En 1862, le Conseil d’État décida de sa désaffectation définitive. Quelques années plus tard, le canton reconvertit l’emplacement en hôpital psychiatrique. Les bâtiments de l’abbaye furent complétés, et adaptés à leur nouvelle affectation. À la fin 2000, la clinique psychiatrique universitaire quitte les lieux.
En 2014, la Musikinsel est inaugurée dans l’ancienne abbaye.