Después de cantar en la Kapelle de la corte en Dresde, estudió en la Thomasschule, Leipzig (1695-1700). Estuvo empleado como Kantor en Treuenbrietzen desde 1707. Trabajó como Kantor de la corte en Zeitz desde el 30 de enero de 1727 hasta 1758, cuando fue sucedido por su hijo Christian Friedrich (1713-61). Su única publicación conocida, el "Musicalisches Gesangbuch" (Leipzig, 1736), dogmáticamente representa un compromiso entre los libros de himnos Luterano Ortodoxos y Pietistas. Contiene los textos de 954 himnos e incluye láminas grabadas indicando melodía, bajo figurado y primer verso o incipit del texto para 69 de éstos. El volumen fue impreso y publicado en Leipzig por B. C. Breitkopf pero no tuvo éxito; hacia 1760 las copias estaban vendiéndose fuera a 12 groschen.

Se han atribuido tres de las melodías a Johann Sebastian Bach: "Dir, dir, Jehova" (autógrafo en Clavierbüchlein de Anna Magdalena de 1725); "Komm, süsser Tod" (por razones estilísticas); y "Vergiss mein nicht" (encabezado ‘di S. Bach D.M. Lips'). Los tres (BWV 452, 478 y 505) son arias en lugar de corales. El prólogo indica que las 69 melodías habían ‘en parte, sido recientemente compuestas completamente, también, en parte, mejoradas en el bajo continuo' por Bach. Esto es confirmado por la presencia de la mano de Bach en los grabados de la reproducción, o a lo largo de una determinada música, en el bajo sólo o en pasajes aislados en el bajo. 

La segunda esposa de Bach, Anna Magdalena, era de Zeitz y Schemelli puede haber conocido a Bach allí durante una visita. También puede haber hecho contacto con Bach a través de su hijo, que estudió en la Thomasschule desde 1731 a 1734. Por todas las referencias el hijo era un haragán, pero Bach escribió un testimonio  favorable para él en 1740.