Se desconoce el lugar de su nacimiento, sabiéndose solamente que era de origen francés. Fue contratado como flautista en la corte inglesa el 22 de mayo de 1575, conservando el puesto hasta su muerte. Su hijo Edward también fue músico de la corte. En los  años 1590 la familia se trasladó desde Holy Trinity Minories (donde James fue un tiempo capillero) a Isleworth. 

Las pocas composiciones de Harding que sobreviven demuestran que era un compositor competente. Dos vigorosas fantasías para teclado probablemente creadas como piezas para conjunto.

Indudablemente su obra más popular es la galliarda de cinco partes, que Byrd arregló para teclado (Fitzwilliam Virginal Book) y que se encuentra en varias fuentes manuscritas.

Un arreglo mutilado suyo se publicó en "Ausserlesener Paduanen und Galliarden erster Theil" de Zacharias Füllsack (1607). Sus otras composiciones supervivientes son una almain de seis partes para vientos, siete pavanas y galliardas incompletas de cinco partes y un dúo de estilo canónico.