La familia Krieger se estableció en Nürenberg desde el siglo XVI y se sabe de su descendencia allí hasta 1925. El padre, Hanns Krieger, era fabricante de alfombras y tintorero; su madre, Rosina, era arquitecto. No están relacionados con Adam Krieger, otro compositor Barroco. Johann Krieger comenzó su formación como estudiante de latín de la Escuela de Sebaldus con el director y maestro de capilla Heinrich Schwemmer, y cantó varios años como niño soprano en el coro. En 1664 participó en el ballet para niños y recibió clases de clavicémbalo de Georg Caspar Wecker, entre cuyos alumnos también se encontraba Johann Pachelbel.

Los primeros años de su carrera profesional, a partir de 1668, están estrechamente asociados con los éxitos de su hermano Johann Philipp, a quien debió la mayor parte de los encargos de su juventud. En 1671 estudió composición junto con su hermano en Zeitz (Sajonia). En 1672 siguió a su hermano a Bayreuth, quien se trasladó allí para ejercer primero de organista de la corte y más tarde de maestro de la capilla real. Johann lo sucedió en el cargo de organista y lo ocupó hasta 1677. Más tarde fue músico de cámara de la corte de Zeitz, una ciudad a unas 30 millas de distancia., hasta que finalmente consiguió el cargo de Kapellmeister en la corte de Heinrich I en Greiz (unas 30 millas al sur de Zeitz).

Después de la muerte del Conde Heinrich I de Greiz en 1680, Johann trabajó como Kapellmeister del Duque Christian en Eisenberg por un poco menos de dos años. Se trasladó luego lejos al este, a Zittau, para hacerse director  chori musici  y organista de la Iglesia de San Juan (Johanniskirche) allí. Mantuvo el cargo durante 53 años, hasta su muerte. El puesto de Zittau evidentemente preparó al compositor. La iglesia estaba emplazada en el centro de la ciudad y era uno de las iglesias más importantes de Zittau. Tenía varios órganos, proporcionando amplia oportunidad de experimentar. No había ningun teatro de ópera en Zittau, pero se realizaron los Singspiels de Krieger, no obstante, por los alumnos del Gymnasium de la ciudad. Poco despues de conseguir el puesto en Zittau, Krieger empezó a publicar su música. El primero en aparecer fue "Neue musicalische Ergetzligkeit", una gran colección de arias y canciones para una a cuatro voces, publicado en 1684 en Frankfurt y Leipzig. Las colecciones para teclado "Sechs musicalische Partien and Anmuthige Clavier-Übung" siguieron más de una década después, en 1697 y 1698, respectivamente,  los dos impresos en Nuremberg.

El 18 de noviembre de 1686 se casó con Martha Sophia Förster. En 1699 fue nombrado organista de la Iglesia de San Pedro y San Pablo en Zittau. Su hijo Adolph Gottlob fue luego su suplente. El día de su muerte, a los 84 años de edad, Johann Krieger, aún activo, había tocado su última misa.

Krieger fue ilustre por el alto nivel de su contrapunto, especialmente en sus fugas dobles. Se puede situar a Krieger a la altura de sus contemporáneos Johann Kuhnau y Johann Caspar Ferdinand Fischer. Algunas de sus cantatas en alemán son raros ejemplos de la práctica tardía del estilo del madrigal en un compositor de la escuela de Nuremberg.

Fue un compositor prolífico de iglesia y música secular, y publicó varias docenas de sus trabajos. Sin embargo, la mayor parte de su obra se perdió cuando Zittau fue destruida por el fuego en 1757, durante la Guerra de los Siete Años. Entre los numerosos trabajos perdidos están todos los Singspiels conocidos de Krieger. Un extracto de la "Toccata mit dem Pedal aus C" de Krieger muestra una marcada influencia alemana del  Norte.

La parte más importante de la obra superviviente de Krieger son sus obras para teclado, particularmente el volumen de "Anmuthige Clavier-Übung" ("Ejercicios graciosos para el teclado"), un hito importante en el desarrollo de la escuela de órgano alemana Central.  Los ricercares y fugas de esta colección despliegan una propensión hacia la complejidad del contrapunto. La mayoría de los ricercares emplean de forma consistente la inversión del tema, y el No. 7 incluso  invierte el contra tema. Las fugas se han comparado a las de Bach en sus rasgos estructurales.  Haendel llevó con él a Inglaterra una copia de “Anmuthige Clavier-Übung”, y se la dio a su amigo Bernard Granville, cuyo nota en las páginas de la impresión establece que "[este] libro impreso es de uno de los intérpretes de Órgano más famosos de Alemania”.

Las danzas para clavicordio de "Sechs musicalische Partien" son históricamente menos importantes, y así mismo los trabajos vocales supervivientes de Krieger, que son conservadores en su estilo.