Vino al mundo como hijo de un Seifensieders y recibió una cuidadosa educación escolar en las escuelas secundarias de Mühlhausen y Göttingen; además estudió teología en la Universidad de Erfurt desde 1645.

Lamentablemente, se conoce muy poco sobre sus profesores de música y por quien el dotado muchacho pensó en la música. Sin embargo, a la edad de quince años Ahle ya fue considerado como un excelente organista. En 1646 asumió -probablemente mientras estudiaba- el cargo de chantre en la escuela e iglesia St. Andreas en Erfurt. Aquí logró una especial reputación como organista, a lo que contribuyó igualmente su diligencia y su habilidad.

Edición discográfica con una obra de Johan Rudolph Ahle

Poco tiempo después de asumir este cargo recibió el encargo de crear un coro. Ahle estaba sumamente ocupado también del lado teórico de la naturaleza del coro y publicó en 1648 en Erfurt su "Compendium pro tenellis”. Esta composición, primera de su clase en latín, ofrece instrucciones sobre el arte de cantar y gozó de gran popularidad. 50 años después de la primera edición el trabajo fue impreso otra vez.

En 1649 aceptó un trabajo como organista en la Iglesia St. Blasius en Mühlhausen, hoy "Divi Blasii". A comienzos de 1655 el concejo de la ciudad lo distinguió como “ciudadano excepcional”. Poco antes de su muerte en 1673 se convirtió en primer alcalde de su ciudad natal -una elección sumamente insólita para aquel tiempo. Pero Ahle no era sólo músico, suyos son también los textos de una serie de canciones espirituales, entre ellas "Lasset uns den Herren preisen". Compuso tanto música vocal como trabajos instrumentales, incluyendo aproximadamente 60 trozos para órgano. De su música instrumental no queda sino una colección de danzas.

Entre los años 1649 y 1950 Ahle había vuelto de Erfurt a Mulhouse y se había casado en mayo de 1650 con Annes María Wölfer. Un año más tarde nació el hijo de ambos Johann Georg. Desde temprana edad el padre se preocupó de la educación musical de su hijo y después de la muerte de Johann Rudolf Ahle su hijo asumió su cargo de chantre en la iglesia de Divi Blasii y fue poeta laureado del emperador Leopoldo I. En la Turingia musical del siglo XVII la familia de músicos Ahle ocupó una posición excepcional.

Murió en su ciudad natal y fue enterrado en la iglesia de Divi-Blasii.