Manuscrito de "Unto thee will I cry" de James Heseltine

John Hawkins dice que fue también organista de St Katharine-beside-the-Tower, Londres, ejerciendo este oficio como suplente; y además que como consecuencia de una rencilla rompió todas sus composiciones fuera de los libros de coros de la catedral de Durham. Esta destrucción no fue completa, y otras copias, propiedad de sus sobrinos, han visto la luz.

También existe el verse anthem, “Unto thee will I cry”, compuesto en 1707 poco antes de terminar como corista. Como consecuencia, de los siete extensos verse anthems cuyos  textos aparecen en “A Collection of Anthems” (Durham, 1749), sólo dos no tienen música sobreviviente.

También sobrevive una carta de Heseltine a un Mickleton, prometiéndole proporcionar copias de música de iglesia desde Durham, presuntamente para la colección de Tudway.

Otra carta, del sobrino de Heseltine Granville Sharp invitándolo a actividades musicales en Londres, es una compilación de frases de óperas y canciones.

La obra denominada "Lesson set by the Organist of Durham", que data de 1714, cuyo manuscrito se encuentra en la "Gerald Coke Handel Collection" puede con bastante seguridad ser atribuida a Heseltine, que justamente ese año se desempeñaba como organista de la catedral de Durham, cargo que ocupó desde 1711 hasta su muerte.