Descendiente de una familia de campesinos, se desconocen los datos sobre su infancia y juventud. Su padre, Andreas, oficial de la parroquia anexa a la iglesia de St. Marein, se casó dos veces, y Johann Joseph puede haber sido su hijo mayor. Aunque campesino, Andreas Fux entró en contacto con varios músicos, entre ellos el organista de Graz  J.H. Peintinger y el Kantor Joseph Keller, quienes probablemente influyeron en el desarrollo musical temprano de su hijo. También es posible, dado la posición de su padre, que Fux haya cantado en el coro de la parroquia. Su familia fue animada por los sacerdotes músicos de la localidad para enviar al joven a estudiar en las universidades jesuitas en la década de 1680.

Retrato de Johann Joseph Fux

Se sabe que el 22 de mayo de 1680 se matriculó como grammatista en la universidad de los jesuitas de Graz, donde su talento musical llegó a ser evidente; a partir del 22 de febrero de 1682 fue también alumno del Ferdinandeum Jesuítico como estudiante de gramática y música. El comentario ‘profugit clam' (‘se escapó en secreto') agregado a su documento de matriculación indica que dejó el Ferdinandeum sin completar los requisitos formales para la graduación: unos dos meses antes de que hubiera terminado los tres años prescritos dejó Graz por la universidad Jesuítica de Ingolstadt, donde fue registrado el 28 de diciembre de 1683 como ‘Joannes Josephus Fux, Estirio de Hirtenfeld, estudiante de lógica, indigente'. Permaneció allí hasta 1687. La amplitud de la educación de Fux en Graz e Ingolstadt la obtuvo a través de la acción del sistema Jesuítico de aprendizaje: fue estudiante de idiomas, lógica, música y (en Ingolstadt) leyes. Esto lo preparó indudablemente para su futuro papel en la administración del Hofmusikkapelle en Viena.

En agosto de 1685 había tomado una posición como organista en St Moritz en Ingolstadt, cargo que ocupó hasta  comienzos de 1689. Un inventario de música de allí, fechado en 1710, menciona dos motetes latinos y una oda fúnebre alemana suyos, que son sus composiciones conocidas más tempranas; es descrito allí dos veces como "estudiante de leyes' y una vez como "estudiante de leyes y organista'.

Los movimientos de Fux entre 1689, cuando un nuevo organista fue nombrado en St Moritz, y su matrimonio en junio de 1696 (época en que era organista en la Schottenkirche en Viena) con Clara Juliana Schnitzenbaum permanecen inciertos. Clara era hija de una familia bien conectada al servicio de la casa imperial, lo que comprueba fuertemente que el compositor por ese tiempo había hecho contactos importantes con la corte. Uno de los testigos del matrimonio fue Andreas Schmelzer, ballet imperial y compositor de música de cámara, e hijo del Kapellmeister anterior de la corte, J.H. Schmelzer.

Edición discográfica de obras de Johann Joseph Fux

La declaración de Daube de que Fux estuvo al servicio de un obispo húngaro (probablemente Kollonitsch) no sólo confirma el camino de Fux hacia el servicio imperial, también proporciona alguna explicación sobre la absorción del estilo  italiano (sobre todo como entre el antico y el moderno) en la música de Fux. Las visitas extensas de Kollonitsch a Roma pueden clarificar la sugerencia de que Fux estudió en Italia antes de unirse a la Hofmusikkapelle; se aprecia la influencia en su obra de Arcangelo Corelli y de los compositores boloñeses.

En 1690 estando en Viena atrajo la atención del emperador Leopoldo I, que quedó tan impresionado que a partir de ese momento le ayudó en su carrera musical. En 1696 fue designado organista de la Schottenkirche. Aunque el empleo de Fux como compositor en la corte de Viena data oficialmente de abril de 1698, es ambigua la extensión de su servicio en este cargo. En varios documentos (incluso el prólogo al anuncio de “Gradus ad Parnassum”), explica que empezó a trabajar para la casa imperial en 1695, o incluso 1693. Sus primeras responsabilidades eran en música de iglesia y de cámara: compuso música instrumental en celebración del onomástico del  Archiduque Carlos (19 marzo) en 1698 y también empezó a escribir música para los domingos y días de  fiesta anuales de la Iglesia. Junto con los compositores recientemente nombrados Badia, Giovanni Bononcini y Marc'Antonio Ziani, Fux empezó a introducir elementos del Barroco tardío en los géneros sacros y seculares cultivados en la corte. En 1699 Fux y su esposa adoptaron a la hija de su hermanastro Peter, Eva María, de tres años; luego de la muerte de Peter en 1724 adoptaron también a su hijo menor, Matthew, a la sazón de cinco años. Fux permaneció como organista en Schottenkirche hasta 1702, cuando renunció para servir a la corte más eficazmente. Su primera obra dramática secular, "Il fato monarchico", se presentó como parte de las celebraciones del carnaval por muchachos de la nobleza de la corte el 16 de febrero de 1700; ese año fue enviado a Italia para ampliar sus estudios con Pasquini en Roma y adquirió veneración por Palestrina. De regreso en Viena, en 1702 recibió un encargo más grande, componiendo la ópera "L'offendere per amare", dada para el cumpleaños de la esposa del Príncipe de la Corona Joseph, Amalie Wilhelmine, a quien sirvió como su Kapellmeister privado desde 1713 hasta 1718.

El "Singfundament" de Fux (c1705) es un silabario vocal cuyos ejercicios de solmización se anticipan a los estudios de imitación del propio "Gradus". Este también ha tenido un lugar en la supervivencia de la composición vienesa. Después de la muerte de Leopold I en 1705 y la ascensión de su hijo Joseph I, Fux retuvo el oficio de compositor de la corte. El mismo año fue nombrado Kapellmeister delegado al Stephansdom, donde en 1712 sucedió a J. M. Zacher como primer Kapellmeister. Mantuvo este cargo hasta fines de 1714, y durante el mismo periodo dirigió también servicios en la Salvatorkirche (hasta marzo de 1715). Sus deberes como Kapellmeister delegado al Stephansdom se centraron en la música realizada ante la estatua de Nuestra Señora de Pötsch, que el emperador había hecho colocar en el altar más alto de la catedral en 1697.

Portadas de la edición de "Gradus ad Parnassum" de Jphann Joseph Fux

Después de la muerte inesperada de Joseph I el 17 de abril de 1711, la emperatriz-regente Eleonora disolvió el Hofmusikkapelle (como era costumbre ante la defunción del emperador), y mucho de su personal, incluyendo a Bononcini y Badia, fueron pensionados. En octubre de 1711 Fux había sido nombrado Kapellmeister delegado a la corte (con Ziani como Kapellmeister desde 1712 hasta su muerte en 1715). Luego de su coronación en Frankfurt en 1711 y el traslado gradual de su corte a Viena en 1712, el hermano de Joseph, Carlos VI, restauró el Hofmusikkapelle a su pre-eminencia anterior: su conocimiento personal y compromiso con la música se reflejan en el hecho de que la reducida Kapelle de 86 miembros al principio de su reinado se aumentó a 134 hacia 1723 y permaneció aproximadamente con esta cantidad hasta su muerte. En enero de 1715 Carlos VI nombró a Fux Hofkapellmeister, un puesto que mantuvo por el resto de su vida.

Como compositor que sirvió a tres emperadores, Fux se encargó de una especial combinación de deberes. Su ópera de coronación, "Costanza e Fortezza", nominalmente en celebración del cumpleaños de la Emperatriz Elisabeth Christine, pero efectivamente escrita para marcar la coronación de Carlos VI como Rey de Bohemia, representa la cumbre de su ministerio público. La ópera se dio en un teatro al aire libre especialmente diseñado en Praga. Fue dirigido por el delegado de Fux, Antonio Caldara, pues Fux estaba indispuesto con su gota crónica. La publicación de su obra teórica "Gradus ad Parnassum" en 1725 se ha comparado en importancia con la publicación de "Entwurf einer Historischen Architektur (Viena, 1721), de Fischer von Erlach. Ambas obras incluyen conscientemente el concepto del estilo Habsburgo, y persuasivamente relacionan los logros de su autor con un pasado coherente.

El 8 de junio de 1731 murió la esposa de Fux, y después de unos siete meses el compositor preparó su testamento (5 de enero de 1732). Sus actividades en la corte disminuyeron notablemente, siendo asignadas muchas de sus responsabilidades a Caldara y otros. Se había quejado de serias enfermedades al terminar el "Gradus" (lo que puede haber impedido agregar un segundo volumen), y hacia fines de los años 1720 su proporción de composiciones había declinado enormemente. Su último testimonio es del 10 de marzo de 1740. El 13 de febrero de 1741 desarrolló una altísima fiebre y murió, siendo muy lamentado en la corte.

Escribió 25 obras para teclado, 63 sonatas a 3, 15 sonatas a 4, 15 sonatas de orquesta, 110 misas y fragmentos de misas, 64 vísperas y salmos, 24 letanías, 6 Te Deum, 200 composiciones religiosas menores, 15 oratorios y 21 óperas. La obra de Fux, representa la cúspide del barroco austriaco y le supuso, incluso en vida, una fama europea. Su estilo está marcado por un fuerte tradicionalismo (escritura polifónica) y al mismo tiempo ofrece rasgos más modernos (estilo napolitano).

Fux debe parte de su renombre contemporáneo y póstumo a su tratado “Gradus ad Parnassum”, que sirvió de base para todos los tratados de contrapunto hasta la época actual. Esta obra escrita en latín alcanzó un éxito considerable y fue traducida a varias lenguas: alemán, francés, italiano, inglés; está escrita en forma de diálogo entre el maestro (Palestrina) y el discípulo José (Fux). Es el tratado de contrapunto más completo de su tiempo y fue valorado como tal por algunos compositores: Haydn, Beethoven, Mozart. Este tratado sirvió de fundamento teórico para la primera composición musical asistida para ordenador, de L. Hiller y L. Isaacson en 1956.

Como maestro, su influencia fue considerable, convirtiéndose algunos de sus alumnos en distinguidos compositores. Los más destacados de sus muchos alumnos fueron Antonio Caldara, Gottlieb Muffat, Georg Ch. Wagenseil y Jan Dismas Zelenka. Según Carl Philip.Emanuel Bach, Johann Sebastian Bach lo consideraba el primero entre los compositores contemporáneos a quienes más admiraba. Fux representa la culminación del Barroco Austro-italiano en música. Su "Gradus ad Parnassum" (1725) ha sido el tratado de composición más influyente en la música europea desde el siglo XVIII en adelante. Fux ejemplifica el desarrollo del estilo Barroco tardío en la corte imperial de Viena. Maduró tarde como compositor, a juzgar por su propia descripción como un ‘nuevo autor de música sacra' en la dedicatoria de la "Missa SS Trinitatis". Sus actividades como compositor de obras dramáticas seculares y sacras, por otra parte, parecen datar sólo de 1700 y 1702 respectivamente.

La "Misa de Requiem" de Fux debe considerarse como una de las más grandesFux-Requiem aeternam escenas de  Oficio de difuntos de la primera mitad del siglo XVIII. Escrita para el entierro de Eleonora Margaretha Theresia (viuda de Leopold I) en 1720, la obra se repitió en todo o en parte en por lo menos nueve ocasiones entre 1729 y 1743. Las otras obras litúrgicas de gran potencia de Fux consisten en aproximadamente 80 composiciones para Vísperas, entre ellas escenas de Laudate Dominum y el Magnificat. Los trabajos restantes pertenecen al 'stylus mixtus' como los define Fux en el "Gradus", a saber una interacción concertante de texturas vocales e instrumentales.

Las óperas y oratorios de Fux también son expresiones definitivas del Barroco Austro-italiano en su manifestación final bajo Carlos VI. Su responsabilidad particular entre 1708 y 1726 fue la puesta en escena de textos históricos mitológicos y antiguos en la celebración de los onomásticos y cumpleaños de los miembros de la familia imperial, principalmente el emperador y la emperatriz. . Produjo una larga sucesión de trabajos operísticos que son notables por su asociación con el poeta de la corte Pietro Pariati. Los oratorios de Fux que se traslapan cronológicamente con las óperas están sin duda entre los mejores ejemplos del género en Italia y Austria en la primera mitad del siglo XVIII.