Anteriormente afiliada a la orden Carmelita, St Anna se había convertido en un importante centro de la fe luterana en 1525; contenía una capilla impresionante y el órgano donado antes por la adinerada familia Fugger. En abril de 1582 Gumpelzhaimer se matriculó en la Universidad de Ingolstadt, una importante institución Jesuita a la que asistían los hijos de muchas familias de Augsburgo; parece haber recibido un grado de maestro, pero no se sabe cuándo, o de hecho si fue de esta universidad. Obtuvo la ciudadanía de Augsburgo en 1590.

La música floreció en St Anna bajo la dirección de Gumpelzhaimer, quien llevó a cabo una reorganización importante del coro en 1596. Las dedicatorias de sus publicaciones a sus alumnos y ciudadanos prominentes de Augsburgo son testigos del respeto que disfrutó en su ciudad adoptiva. Su reputación también se extendió a otras partes: en 1606 fue invitado a convertirse en compositor y Kapellmeister de la Württemberg Hofkapelle, pero rechazó el cargo. A través de los años las autoridades de St Anna accedieron a sus varias demandas por aumentos de sueldo. También aprobaron la contratación de Johann Faust, que se convirtió en su ayudante en 1611 y lo sucedió en 1625. Durante los últimos años de su vida, una enfermedad prolongada y  dificultades financieras lo obligaron a vender libros de su valiosa biblioteca personal. Existen cuatro retratos suyos contemporáneos: los grabados datan de 1593, 1617 y 1622 y un grabado en madera de 1625.

Gumpelzhaimer probablemente fue mejor conocido por los músicos alemanes de y después de su tiempo a través de su "Compendium musicae", cuyas 13 ediciones abarcaron un periodo de 90 años. Diseñado como libro de texto sobre los rudimentos de la música para sus estudiantes en St Anna, este tratado, como algunos otros del periodo, está  basado principalmente en el "Compendiolum musicae" de Heinrich Faber (1548) y su traducción al alemán de Christoph Rid (1572). El "Compendium" presenta los textos en latín y en alemán en columnas paralelas. Aunque Gumpelzhaimer extendió un poco el texto original, su contribución más significativa a este trabajo yace en su selección de ejemplos de música que constituyen una gran parte del libro. Incluyen ricercares, motetes, música polifónica basada en cantus firmi litúrgico, y cánones, muchos del propio Gumpelzhaimer. De hecho, la escritura de cánones parece haber sido una especialidad suya, probablemente debido a su valor pedagógico y conveniencia para las voces de igual rango.

El resto de su música se encuentra especialmente en sus colecciones impresas y consiste en música vocal polifónica con textos sacros en alemán o latín. El cuerpo más grande de la música en latín de Gumpelzhaimer se encuentra en dos libros de motetes de ocho partes para dos coros (1601 y 1614). Muestran la misma influencia veneciana que está clara en las obras de sus colegas de Augsburgo Hans Leo Hassler, Aichinger y Erbach.