Anverso y reverso de una medalla de Destouches de 1732, grabada por Louis Crepy

André Cardinal era hijo de un rico hombre de negocios, Étienne Cardinal, «seigneur des Touches et de Guilleville». De 1681 a 1686 fue instruido por los jesuítas en el Collège Louis-le-Grand de la calle St-Jacques. Imbuido con un sentido de aventura, dejó Francia en  enero de 1687 con el Padre Gui Tachard, que estaba haciendo un segundo viaje a Siam.

Volvió a Francia en julio de 1688 y cuatro años después se unió a la 2ª Compañía de los Mosqueteros del Rey (los ‘Mousquetaires Noirs ') con quienes tomó parte en el sitio de Namur. Descubrió sus dotes musicales al parecer en los vivacs del campamento. Aprendió a tocar la guitarra y compuso algunas airs sérieux y à boire. Animado por su éxito, dejó el ejército en 1694 para consagrarse a la  música, tomando el patronímico Destouches luego de la muerte de su padre ese mismo año.

Realizó su aprendizaje musical con André Campra, quien parece haber sido su único maestro; en 1697 le permitió a Destouches contribuir con tres arias a su ópera ballet "L'Europe galante". Debido a su posición social (Le Cerf de la Viéville siempre escribió de él como "Mr. des Touches"), Destouches se movió con facilidad en los círculos aristocráticos. Era amigo del Príncipe de Conti y del Duque de Vendôme; su amigo más importante era Antoine de Grimaldi, el Príncipe futuro de Monaco, un hombre de gusto cultivado y músico aficionado.

Edición discográfica de la tragedia lírica "Calirhoé" de André Cardinal Destouches

A través de los esfuerzos de Grimaldi, Destouches atrajo la atención de Luis XIV. La pastoral héroïca  “Issé” de Destouches fue interpretada en Fontainebleau para Luis XIV y la Reina de Inglaterra el 7 de octubre de 1697. Fue un éxito inmediato y el futuro de Destouches estaba asegurado. Luis XIV le dio 200 luises con el comentario que “desde Lully ninguna música le había dado tanto placer”. El 8 de enero de 1713 Luis XIV nombró a Destouches en un puesto recientemente creado,  Inspecteur général de la Académie Royale de Musique. Para ‘mantener orden y disciplina' recibió una pensión libre de 4000 luises. A petición de Lalande, y gracias a la influencia del regente (a quien había conocido en servicio del ejército), Destouches fue nombrado Surintendant de la musique de la chambre (8 de febrero de 1718).

El 15 de enero de 1724 se casó con Ana-Antoinette de Reynold de la Ferrière. Después de la muerte de Lalande, se convirtió en maître de musique de la chambre, el 28 de septiembre de 1727. Cuando Nicolas de Francine se retiró de la dirección de la Académie Royale de Musique, Destouches tomó este importante puesto (8 de febrero de 1728), sólo para abandonarlo junto con el de inspector general  el 1 de junio de 1730. Empezando en 1725, Destouches organizó y dirigió conciertos para la Reina María Leszcynska. Las cuentas de los menús plaisirs durante el solo año 1727 muestran que tuvieron lugar 46 conciertos bajo su dirección en Versailles en los apartamentos de la reina.

Destouches permaneció musicalmente activo incluso en sus últimos años. A los 70 años dirigió la orquesta para un baile de mascaras dado por las hijas de Luis XV, y mantuvo el mando de los conciertos de la reina hasta 1745. Murió en su elegante casa al lado de la iglesia de St Roch, y fue enterrado en la cripta de la Capilla de la Virgen en esa iglesia.