Allí cantó bajo la dirección del gran compositor Heinrich Schütz, quien notó el talento del muchacho y se volvió su maestro y mentor. Dos años después, en 1657, Schütz recomendó a su estudiante a la Capilla del Elector en Wolfenbüttel (cerca de Brunswick) donde Johann se quedó hasta cumplir los 16 años, cuando se produjo su cambio de voz. De nuevo con la recomendación de Schütz el joven Schelle se convirtió en estudiante de la Thomasschule en Leipzig bajo Sebastián Knüpfer, matriculándose en la Universidad de Leipzig el 31 de enero de 1667.

La creciente reputación de Schelle y la recomendación de Knüpfer le ganaron una posición como Kantor cerca de Eilenburg en 1670, a la edad de 22 años. Siete años después, cuando su antiguo maestro Sebastián Knüpfer murió, Schelle postuló al prestigioso puesto  de Thomaskantor. Superando a numerosos competidores experimentados, convenció al consejo del pueblo de Leipzig y sucedió a su maestro como Kantor de la Thomaskirche, un puesto más tarde ocupado por Johann Sebastian Bach. Obtuvo el puesto el 31 de enero de 1677 y lo mantuvo hasta su muerte. Su nombramiento se hizo contra la voluntad del alcalde de la ciudad, que mostró un fuerte antagonismo hacia él y hacia los cambios que introdujo en el contenido musical de los servicios. El asunto llegó a un punto crítico cuando Schelle sustituyó las composiciones en latín escritas por maestros italianos por música con textos en lengua alemana, especialmente cantatas. Cuando el consejo de la ciudad finalmente se puso de parte de Schelle sobre el problema, éste comenzó la práctica de introducir en la liturgia protestante en Leipzig no sólo la cantata gospel con textos en alemán, sino más tarde la cantata coral, también. Este sigue siendo uno de sus más importantes logros. Al mismo tiempo era  "Director chori musici" de la ciudad de Leipzig.

Edición discográfica de obras de Johann Schelle

En los siguientes 24 años hasta su muerte, las presentaciones de las cantatas de Schelle atrajeron un número creciente de amantes de la música a Leipzig. Consiguió la atención de hombres comunes así como de los expertos ofreciendo un nuevo estilo: rechazando la polifonía estricta, combinó el estilo de música italiano más ligero con textos bíblicos cuidadosamente escogidos y la nueva poesía teológica y se volvió así en uno de los inventores de la cantata coral en la que J.S. Bach  llegaría a destacarse. El resultado era un sonido deleitable, melódico con estructuras fácilmente comprensibles, perfecto para una composición en gran escala tan grandiosa como su montaje de 25 partes  "Lobe den Herrn, meine Seele". No sabemos para qué ocasión la compuso Schelle, pero la gloria de la música indica un gran evento, quizás una acción de gracias en honor de la derrota del ejército turco por las fuerzas polacas, alemanas y austriacas en el sitio de Viena en septiembre de 1683. Aquí el avance de los ejércitos del Imperio otomano en Europa central se había detenido para bien (un evento importante que se había puesto proverbial por el día de Bach, como referenced en el tercer movimiento de su Cantata No. 18).
La cantata de Schelle ofrece dos coros a cinco voces, una sección de bronces de nueve partes, fagot, timbal, cuerdas y bajo continuo.

Las cantatas de Schelle fueron el resultado de la colaboración con el pastor de la Thomaskirche, Johann Benedict Carpzov que predicó un ciclo de sermones  himnos en 1688/89 y otro en 1689/90. Como sugiere la anotación en los bordes de estos sermones, Schelle puso música a los himnos que fueron interpretados por el predicador.

Casi todas las composiciones de Johann Schelle son obras sacras, la mayoría de ellas con textos en lengua alemana. No muchas de sus obras se conservan, y pocas fueron publicadas en vida. Sólo algunas de sus canciones fueron publicadas en el Liederbuch de Joachim Fellers "Der andächtige Student" en 1693  y en el libro de canto de Gottfried Vopelius, “Das Neu Leipziger Gesangbuch” (Leipzig, 1682). Son 25 cantatas manuscritas, con acompañamiento instrumental, que se encuentran en la biblioteca de Berlín.

Schelle fue el maestro de Johann Theodor Roemhildt, Friedrich Wilhelm Zachow, Reinhard Keiser, Johann Christoph Graupner y Johann David Heinichen.