Hijo de William Byron, 3rd Baron Byron y de la Honorable Elizabeth Chaworth. Era el bisabuelo del famoso poeta Lord Byron y se crió en las propiedades familiares de Rochdale. Accedió al título en 1695, llegando a ser Gentleman of the Bedchamber del Príncipe George de Dinamarca. Se estableció en la Abadía de Newstead en Nottinghamshire en 1700, se casó tres veces y tuvo diez hijos.

Era un hombre de buen gusto e ilustrado, y recibió un doctorado honorario de Cambridge en 1705. Agrandó y mejoró Newstead, empleó a Peter Tillemans como su maestro de dibujo, coleccionó pinturas y formó una gran biblioteca. A juzgar por sus publicaciones, estuvo activo como compositor durante la década 1695-1705. Fue el dedicatario de "Collection of New Songs … The 1st Book" de Nicola Matteis (1696), y fue probablemente el autor de los dúos para flauta dulce bastante pobres de ‘a person of Quality’ (una persona de Calidad)  incluidos en esta; Matteis puede haber sido su maestro de violín. Byron también fue el dedicatario de las trio sonatas Op 1 (Amsterdam, 1700), de William Corbett, que lo alabó por ‘su excelencia en composición e interpretación' . 

Las composiciones más significativas de Byron son las cuatro suites que escribió para obras de Drury Lane. Posiblemente puede ser identificado como la 'persona de calidad' que publicó canciones y otra música alrededor del cambio de siglo; Una "Overture and Aires for the Harpsichord or Spinett", compuesta por una Persona de Calidad (Londres, 1705) es con toda certeza suya, porque posteriormente se anunció como  ‘Ld Birons Lessons’.  Byron escribió bastante competentemente en un estilo post Purcelliano, pero su música es bastante falta de imaginación y limitada en extensión.