Siendo aún joven, Rossi adquirió reputación como violinista talentoso. Fue entonces contratado en 1587 como violinista y compositor de la corte de la familia Gonzaga en Mantua, donde existen registros de sus actividades. Rossi sirvió en la corte de Mantua, a pedido de la duquesa Isabella d'Este, desde 1587 hasta 1628, donde entretuvo a la familia real y a sus estimados invitados.

Los compositores Rossi, Monteverdi, Gastoldi, Wert y Viadana proporcionaron elegante música para los banquetes, fiestas de bodas, producciones teatrales y servicios de capilla entre otros. Muy poco se conoce sobre los detalles de la vida de Rossi, y la poca información que tenemos se desprende de sus trabajos publicados, que consisten en seis libros de madrigales, un libro de dúos, un libro de canzonetas, cuatro libros de obras instrumentales (incluyendo sonatas, sinfonías y varias piezas de danza), un solo balletto, y una colección de motetes hebreos para la sinagoga, parcialmente perdida.

Viviendo a la sombra de grandes figuras tales como Monteverdi y Gastoldi, Rossi generalmente ha sido pasado por alto por historiadores e intérpretes; sin embargo mucha de su música posee gran profundidad y encanto. Es más, en muchos aspectos, Rossi estaba en la vanguardia. Fue el primer compositor de madrigales en favorecer a los poetas llamados manieristas. Su primera obra, publicada en 1589, fue una colección de 19 canzonetas, cortas composiciones a manera de danza para trío de voces con alegres textos amorosos. Rossi también se destacó en su composición de madrigales más serios, combinando con sus melodías la poesía de los más grandes poetas del día (Guarini, Marino, Rinaldi y Celiano).

Frontispicio de la edición de los "Cánticos de Salomón" - 1623

Su primer libro de madrigales (1600) se publicó con una tablatura de chitarrone opcional sin precedentes que aparece con la parte de canto del libro. Su segundo libro de madrigales (1602) destaca una parte de bajo continuo, poniéndolo a la vanguardia de los experimentos con monodia acompañada, y precediendo por tres años el primer esfuerzo de Monteverdi en los madrigales concertados. En el campo de la música instrumental, Rossi igualmente ocupa una posición de vanguardia. Su libro de "Sinfonie e Gagliarde", publicado en 1607, contiene los primeros trío-sonatas en la literatura. 

En las páginas de título de sus composiciones publicadas su nombre aparece como "Salamon(e) Rossi Hebreo”. A pesar de su participación en la vida artística de la corte de Mantua, permaneció involucrado en una compañía de teatro judía y en  un conjunto instrumental judío. Además, a diferencia de sus colegas cristianos, no compuso música litúrgica para la iglesia. Rossi tuvo éxito en una difícil actividad equilibrada, pues  pudo permanecer activo en dos mundos chocantes sin tener que comprometer sus metas artísticas o su convicción religiosa.

Salamone Rossi probablemente murió en la invasión de las tropas austriacas que destruyeron los ghetos judíos en Mantua o en la plaga subsiguiente que asoló el área.

La hermana de Rossi, Madama Europa, era cantante de ópera, y posiblemente la primera mujer judía en ser contratada profesionalmente en esa área. Se dice que ella estrenó "El lamento de Arianna" de Claudio Monteverdi para el Duque de Gonzaga, en cuya orquesta Rossi tocó el violín.

En el campo de la música instrumental Rossi fue un innovador intrépido. Fue uno de los primeros compositores en aplicar a la música instrumental los principios de la canción monódica, en la cual la melodía domina sobre las partes acompañantes secundarias. Sus sonatas trío, entre las primeras de la literatura, contribuyeron al desarrollo de una idiomática y virtuosa técnica de violín. Ellas están en medio entre las texturas homogéneas de la canzona instrumental del Renacimiento tardío y la sonata trío del Barroco maduro. En 1600, en los primeros dos de sus cinco libros de madrigales, Rossi publicó los más antiguos madrigales con continuo, una innovación que parcialmente definió el comienzo de la era Barroca en música; estas composiciones particulares incluyen tablatura para chitarrone.

Publicó Rossi también una colección de música litúrgica judía, "Ha-shirim asher l'Shlomo" (Los Cánticos de Salomón) en 1623; es la única colección existente de música polifónica para la sinagoga que apareció impresa antes del siglo XIX. Esto fue escrito en la tradición Barroca y casi completamente inconexo con la música del cantoral judío tradicional, lo que constituye un desarrollo sin precedentes en la música de la sinagoga, pues hasta la música reciente polifónica en la sinagoga se había prohibido luego de la destrucción del Templo. La Canción bíblica de Salomón no aparece dentro de "Los Canticos de Salomón", por lo tanto el nombre probablemente es un juego de palabras sobre su propio primer nombre. Rossi puso muchos textos hebreos Bíblicos a la música en su idioma hebreo original que lo hace único entre los compositores Barrocos. Su música vocal se parece a la de Claudio Monteverdi y Luigi Rossi, pero sus letras están en hebreo.