En 1694 entró en el servicio del capítulo de la Catedral Vieja en Marsella, donde fue enseñado por el precentor, Melchior Barrachin. En 1696 recibió la tonsura, y alrededor del cambio de siglo empezó a mostrar su talento.

En 1702 se volvió precentor suplente en la Catedral de Marsella; desde 1716 a 1720 fue precentor de la iglesia primada de St Trophime en Arles y seguidamente desempeñó el mismo oficio en la Catedral de Marsella hasta su jubilación en agosto de 1758. Fue profesor de Charles Levens. Las misas de Audiffren, aunque de mérito desigual, contienen algunos bellos movimientos, y demuestran la existencia en Francia del sur en este periodo de un estilo concertante de missa brevis con instrumentos o continuo. 

Su sobrino, Joseph-Lazare Audiffren (Marsella, 21 de octubre de 1736;Marsella, 17 de junio de 1804), fue organista en la abadía real de St Víctor en Marsella desde 1771 a 1786, y en la catedral hasta 1790, cuando el capítulo se dispersó de acuerdo con el decreto de la Constitución Civil del Clero. Su única obra conocida es el "Premier recueil d´ariettes" con teclado y acompañamiento de violín (París, 1773).