Ocupó importantes cargos pese a la escasa calidad de su música. Estudió los elementos de la música con Domenico Sgabazzi, canto con Carlo Ferrari, órgano y armonía con Girolamo Canzoni y contrapunto con Giovanni Antonio Ricieri. Fue admitido primero en la Accademia Filarmonica como cantante en 1719, luego como organista  el 15 de abril de 1726 y promovido al rango de compositor el 15 de abril de 1728. Sirvió como principe en 1732, 1741, 1755, 1760, 1767 y 1776. En 1730 fue nombrado maestro di cappella de San Stefano, y después de San Giacomo Maggiore. En 1742  fue elegido co-adjutor de Giovanni Cesare Predieri en la catedral de San Pietro, y en 1753 accedió al puesto de director. En 1750 ganó sobre Giacomo Antonio Perti el puesto de maestro di cappella en la iglesia dei Filippini. En 1766 publicó una colección de misas con acompañamiento instrumental, y fue autor de varias óperas y oratorios así como música sacra.

Aunque la música de Caroli fue criticada sarcásticamente por su famoso maestro Ricieri, disfrutó la estimación de sus colegas boloñeses. Según un informe de aquella época, reemplazó a Johann Adolph Hasse en el cémbalo para varias presentaciones de "Siroe rè di Persia" en el Teatro Malvezzi en 1733. Poca de su música se ha conservado. Ricieri describió sus misas desde 1766 como escritas en un 'stile mediocre', que se acerca al nuevo, subjetivo estilo sentimental en lugar de a la tradición conservadora de la escuela boloñesa. El juicio de Burney sobre la música de Caroli, basado en una actuación escuchada durante su visita a Bolonia en 1770, es áspero: ‘no había… ni aprendizaje, sabor o novedad para recomendar la música'. Ciertamente la música existente de Caroli es muy mediocre, en el estilo concertato bien establecido por otros compositores boloñeses del siglo XVIII.