Era el mayor de los hermanos Krieger. Los hermanos Krieger venían de una familia de fabricantes de alfombras de Nürenberg. Johann Philipp empezó a estudiar ejecución de teclado a la edad de 8 años, con Johann Drechsel (un alumno del famoso Johann Jakob Froberger) y otros instrumentos más o menos al mismo tiempo, con Gabriel Schütz. Era al parecer un estudiante dotado y desarrolló oído absoluto y una especial afición por la música de teclado: con apenas un año de estudios consiguió impresionar a los grandes públicos y ya estaba componiendo arias atractivas.

Johann Philipp dejó pronto Nürenberg para ir a Copenhague, donde pasó unos cuatro o cinco años estudiando órgano con Johann Schröder, el organista real, y composición con Kaspar Förster. Las fechas precisas de su estancia en Copenhague son desconocidas: Mattheson informa 1665 a 1670, pero Doppelmayr, el autor de un volumen biográfico de 1730 sobre los residentes famosos de Nuremberg, sostiene que Johann Philipp se quedó en Copenhague entre 1663 y 1667. Durante su estancia se le ofreció una invitación para hacerse organista en Christiania (ahora Oslo, Noruega), la que rechazó.

Él y su hermano evidentemente pasaron algún tiempo en Zeitz, estudiando composición, y también fue a Bayreuth, donde Johann Philipp se hizo organista de la corte, y luego ascendió al cargo de Kapellmeister. Sin embargo, las fechas precisas son de nuevo desconocidas.

Johann Philipp todavía era empleado en Bayreuth en 1673, cuando el Margrave Christian Ernst salió para luchar en la Guerra Franco-holandesa. Luego de esto, al compositor se le concedió permiso para viajar a Italia sin pérdida de sueldo. Se quedó en Venecia y estudió con Johann Rosenmüller (composición) y Giovanni Battista Volpe (teclado), y en Roma, donde sus maestros fueron Antonio María Abbatini (composición) y Bernardo Pasquini (teclado y composición). En 1675 Johann Philipp fue a Viena, entonces uno de las capitales musicales más importantes de Europa, donde tocó para el Emperador Leopoldo I. El Emperador era un patrocinador muy conocido de las artes y compositor; al oír la actuación de Krieger, quedó suficientemente impresionado como para ennoblecer a él y a todos sus hermanos y hermanas.

Johann Philipp volvió después a Bayreuth, y poco después de esto viajó a Frankfurt y Kassel. Se le ofrecieron invitaciones de trabajo en ambas ciudades, pero nuevamente rechazó ambas, o las mantuvo durante un tiempo muy corto. El 2 de noviembre de 1677 Johann Philipp estaba empleado como organista de la corte en Halle. El duque August murió en 1680 y fue sucedido por su hermano, Johann Adolf I, quién trasladó la corte a Weißenfels. Johann Philipp fue con él como Kapellmeister, y éste fue su último cargo: lo mantuvo durante 45 años, hasta su muerte. El establecimiento musical de la corte se volvió pronto uno de los más grandes de Alemania.

Johann Philipp era un compositor prolífico y proporcionó a la corte de Weißenfels innumerables obras sacras y seculares, incluyendo unas 2000 cantatas, por lo menos 18 óperas, trío-sonatas, etc. También tenía numerosas obras de otros compositores que se tocaban en la corte, y guardó un catálogo de cada pieza que interpretó. Publicó su propia música activamente: un juego de sonatas trío apareció en 1688, para ser seguido por otro, luego una colección de música para instrumentos de viento, etc.
Desgraciadamente, numerosos trabajos están perdidos; por ejemplo, de las 2000 cantatas sólo existen 76. Éste es el caso con la música de su hermano, también: cientos de sus composiciones se listan en el catálogo de Johann Philipp, pero muy pocas sobreviven. Luego de su muerte fue sucedido en 1725 como Kapellmeister de Weißenfels por su hijo, Johann Gotthilf, hasta 1736.