Presuntamente nacido en Francia, donde posiblemente hizo sus estuduios musicales, no se sabe cuándo se estableció en Inglaterra, donde desarrolló toda su carrera musical. El 26 de julio de 1708 tocó en un concierto en Epsom, "fue la segunda ocasión de su actuación en público, desde su llegada a Inglaterra. En 1716 tocó dos 'entretenimientos' en el intermedio de una obra en el Lincoln's Inn Fields Theatre, de Londres. Hacia 1718, cuando Walsh y Hare publicó su Op.1, estaba al servicio de James Brydges, conde de Caernarvon (y pronto a convertirse en duque de Chandos) en Cannons, Middlesex. Las sonatas están dedicadas a Brydges, 'bajo cuyo techo fueron compuestas'. En febrero de 1719 tocó 'un concierto y solo' para la flauta dulce en un concierto en Hickford's Room. Un mes más tarde, había dejado el servicio de Brydges y lo que hizo para ganarse la vida se desconoce. El 18 de julio de 1730, mientras vivía en la parroquia de St Paul's, Covent Garden, se casó con Anne Hampshire en St Vedast-alias-Foster. Desde 1733 hasta 1737 vivió en Orange Court, Castle Street.

En el prefacio de sus sonatas para flauta dulce Op.1, Mercy defendió el instrumento contra las usurpaciones del violín (no la flauta, como era de esperar), elogiando la capacidad técnica, limpio trabajo de pasajes, habilidad (aunque suave) de la flauta dulce para hacerse oír en un fuerte conjunto de 20, y buena entonación incluso en las notas altas. Compuestas en el estilo italianizado, estas sonatas incluyen variaciones fuera de moda, varios adagios altamente ornamentados y espontáneos, expresivos interludios, junto con pasajes llamativos que son desenfadadas muestras de virtuosismo. Según Hawkins, Mercy estuvo involucrado en la propuesta de Thomas Stanesby (II) para hacer el tenor, no el tiple, el tamaño estándar de la flauta dulce, pero el prospecto de Stanesby (1732) no hace mención de él. Hawkins también informa (en dos reportes) que alrededor de 1735 Mercy publicó 'doce Solos, los seis primeros de los cuales se dice que son para flauta traversa, violín, flauta o English Flute [flauta dulce], según el nuevo sistema de Mr. Stanesby' o 'seis solos para la [flauta dulce], tres de los cuales, se dice que están acomodados al nuevo sistema de Mr. Stanesby'; tales sonatas no existen.

La última noticia sobre Mercy como intérprete es para su concierto benéfico del 1 de abril de 1735 en York Buildings, cuando interpretó algunas de sus propias composiciones. Por la misma época publicó un conjunto de seis sonatas para fagot o violonchelo, y diez años más tarde, un grupo de seis sonatas para flauta (ambos designados Op. 3) bajo sus propios auspicios. Parece probable que la declinación de la flauta dulce le habría obligado a adoptar otros instrumentos de viento de madera. Se sabe de él por última vez en una carta del 13 de agosto de 1751 de Lady Caroline Brydges (nieta de James Brydges) en relación con su visita al Long Room en Bristol. 'El maestro de ceremonias ... es un Mercie, antiguamente un oboe en la banda de música del abuelo. Él trabó amistad conmigo, para mi gran asombro, y [yo] me sentí más sorprendida cuando me enteré de todo ... que había ... conocido a mi abuelo antes que yo naciera. La afirmación de Hawkins de que las sonatas para flauta dulce de Mercy 'están entre las mejores composiciones para ese instrumento existentes' no está confirmada en la práctica. Aunque Mercy tenía algunas buenas ideas y un interés en la variedad rítmica, las sonatas son torpes y repetitivas. Sus sonatas para fagot representan un avance considerable en la técnica de la composición: la torpeza se suaviza en una serie agradable y equilibrada de frases de gran imaginación rítmica.