Fue corista de la Capilla de St George, Windsor, desde 1675 hasta 1684. En 1685 se convirtió en asistente de William Child como organista y de Matthew Green, Maestro de los Coristas, recibiendo 'media paga de clérigo, con tal que ayude al organista en todas las ocasiones necesarias y diligentemente instruya a los coristas en el arte de cantar'. En 1694 se le concedió un reversión de ambos puestos a los que sucedió debidamente en 1697 (como organista, con £44 anuales) y 1704 (como Maestro, con £23 14s. anuales). En los archivos del capítulo de St George´s Chapel es mencionado como ‘Golding' (igualmente en su registro bautismal en la iglesia parroquial de Windsor), pero él normalmente se firmó Goldwin, como hicieron sus contemporáneos al copiar su musica. 

Todas sus composiciones supervivientes son para iglesia, y comprenden un Servicio en Fa Mayor (impreso en "Cathedral Music" de Samuel Arnold, 1790) y por lo menos 37 anthems (en manos de su colega de Windsor William Isaack). El servicio es una pieza bastante rutinaria, pero algunos de los 'full anthems', entre ellos "Hear me, O God" y "O Lord God of hosts", son imaginativos y comparables con los de Purcell en la misma vena.

Los 'verse anthems' son más numerosos y principalmente de naturaleza celebratoria, por esto inclinados al cliché, pero competentemente escritos; hay momentos notables en obras tales como "Unto thee have I cried", "Ponder my words", "O Lord" y "O Lord my God".  Era aficionado a los solos y dúos de tiple, y creciente seccionalización con contraste de movimiento, tempo y clave entre los versos es un rasgo, llevando al establecimiento de la ‘cantata anthem' en una obra como "O be joyful in the Lord". Varios anthems fueron incluidos por Boyce, Arnold y Page en sus colecciones de música catedralicia, pero su opción fue dirigida por consideraciones de gustos del siglo XVIII y facilidad de interpretación.