Comenzó sus estudios en la Lateinschule de Oelsnitz. Se matriculó en 1640 en la Facultad de Teología de la Universidad de Leipzig. Poco después, fue nombrado "Collaborator" y "Baccalaureus funerum" en la escuela local de Santo Tomás, en la que prestó servicios como cantorate entre 1640 y 1655, como suplente del Thomaskantor Michael Tobias, probablemente su maestro de música. Desde 1651 fue organista de la Nicolaikirche, y más tarde en la iglesia principal de Leipzig, Santo Tomás. Aunque en 1653 el concejo de la ciudad de Leipzig le prometió la sucesión al cantorato de la Iglesia de St. Thomas, su carrera  se detuvo abruptamente en la primavera de 1655 cuando él y algunos de los alumnos fueron arrestados y encarcelados bajo sospecha de homosexualidad.

Una de las numerosas ediciones discográficas de obras de Johann Rosenmüller

Escapó de la prisión y se dirigió primero a Hamburgo y luego a Italia; a comienzos de 1658 estaba empleado como trombonista en San Marcos en Venecia, donde se estableció después como compositor, iniciando una nueva vida. Pronto fue llamado Giovanni Rosenmiller. Durante su estancia de 24 años en la ciudad lagunar fue un hombre respetado. Entre 1678 y 1682 ocupó también el puesto de compositor en el Ospedale della Pietá, el famoso orfanato de niñas donde Antonio Vivaldi fue director de música durante más de la primera mitad del siglo XVIII. Rosenmüller compuso cientos de obras instrumentales y vocales con una influencia italiana clara, principalmente de Legrenzi y Corelli.

La mayoría de su música vocal es sacra y los inventarios de colecciones manuscritas de la época atestiguan su popularidad durante su vida. Sus obras vocales también muestran la influencia de Heinrich Schütz.

Pero sus contactos en Alemania no se rompieron del todo: en 1660 llegó un mensajero enviado a Venecia por la corte de Weimar para comprar música del compositor. y en 1673 vino Johann Philipp Krieger de Bayreuth a estudiar con él. Rosenmüller  regresó a Alemania en 1682 como Kapellmeister del Duque Anton Ulrich de Brunswick-Lüneburg, en Wolfenbüttel, pero murió dos años después. Está enterrado en la iglesia de St. Johannis de Wolfenbüttel, donde existe también en su tumba un bello epitafio dedicado a él.

Su vida influyó no poco en el desarrollo de su música, en la que es evidente la combinación de elementos alemanes e italianos. La producción de Rosenmüller está representada, además de numerosas obras corales sacras, por suites solistas y sonatas, constituyendo una etapa importante en el desarrollo de estas formas. Olvidado, o marginado, en las primeras historias de la música, su nombre vuelve a ser recuperado en la década de 1980 como una de las cumbres musicales de su época y como autor de uno de los más originales, imaginativos e interesantes legados musicales.