Alrededor del año 1624 se trasladó a Roma para entrar a los servicios del cardenal Maurizio de Saboya. Fue allí donde conoció al compositor de madrigales Sigismondo d'India así como al compositor de teclado Girolamo Frescobaldi, con quien puede haber estudiado. Todos menos uno de sus madrigales pueden datar de este periodo, y ellos son similares a los de d'India. Las circunstancias del despido de Rossi del servicio del cardenal son inciertas. Recorrió Italia y contaba entre sus mecenas las familias Este, Bentivoglio, Sforza y Barberini.

La primera ópera conocida de Rossi data de su segundo periodo de servicio romano, mientras estaba en el séquito del rico Taddeo Barberini. Su ópera "Erminia sul Giordano" fue estrenada durante el Carnaval de 1633 en el teatro del Palazzo Barberini (el propio Rossi participó en la función como el dios Apolo violinista); fue producida suntuosamente con decorados de Bernini, y apareció impresa cuatro años después. Una segunda ópera,"Andromeda" (en parte perdida), fue ejecutada en 1638 durante la celebración del matrimonio de Cornelio Bentivoglio y Costanza Sforza en Ferrara.

Su habilidad como virtuoso del violín le valió el apodo de "Michelangelo del Violino", pero es su música para teclado la que ha sobrevivido, obras compuestas en el momento mismo que Frescobaldi, su colega, estaba escribiendo su Secondo Libro. En particular su colección de “Toccate e correnti” para órgano o clavecín es en realidad una pálida imitación del segundo volumen de Frescobaldi (1627). Entre éstas, la Toccata VII con su fin extremamente cromático es la más conocida. Ellas están estilísticamente cerca de la música de Girolamo Frescobaldi, Carlo Gesualdo y Johann Jakob Froberger, aunque siendo personales, y disfrutan de reputación como un hito significativo en la literatura para teclado. La fecha de la publicación de su colección (las dos piezas finales sobreviven solamente en manuscrito) es desconocida, pero puede ser hacia 1630.

La producción de Rossi se compone de diez Toccatas, diez courantes y pocas composiciones que han llegado hasta nosotros en forma manuscrita. Estas piezas surgieron del centro efervescente del nuevo estilo madrigalesco, llena de atrevidos cambios de carácter, admirables instancias de cromatismo y una multitud de originales ideas melódicas y armónicas. Mientras las tocatas, como dramas en miniatura, son auténticas obras de arte de complejo contrapunto, las courantes experimentan con cada posible variante de un compás ternario rápido. Las piezas sobre un basso ostinato, compuestos por los contemporáneos de Rossi, parecen una cosa plana, en contraste con el lenguaje virtuoso de Michelangelo Rossi, que fue admirado por Mattheson y mantenido en alta estima por Bela Bartók.Hacia 1649 Rossi había vuelto a Roma y había estado residiendo en el palacio de Camilo Pamphili (un pariente del Papa), quizás en semi-retiro.

Pasó el fin de su vida en Roma, donde trabó amistad con los alemanes Caspar Schott y Athanasius Kircher. Murió en Roma y puede haber sido enterrado en la iglesia de Santa Andrea delle Fratte. Michelangelo Rossi fue quizás el contemporáneo principal de Frescobaldi y uno de los primeros compositores en dar a la  toccata su forma final.