Hijo de George y Mary Sharwood, no se sabe por qué su apellido fue cambiado. James Sherard puede haber sido educado en lMerchant Taylors' School, Northwood, a la que su hermano asistió, pero su nombre no se ha  encontrado en ninguna parte en la lista publicada de los estudiantes. El 7 de febrero de 1682, el boticario Charles Watts, que servía como curador de Chelsea Physic Garden, lo tomó como aprendiz. Después de perfeccionar su arte con Watts, Sherard se trasladó a Mark Lane, Londres, donde comenzó su propio negocio.

Sherard fue un exitoso boticario de Londres que se movió en la sociedad de algunos de los hombres más eminentes de su época. Se convirtió en un FRS en 1706 y más tarde un MD honorario de la Universidad de Oxford. Su negocio parece haberle traído una riqueza considerable, que dedicó a hacer viajes al extranjero, el estudio de la botánica y la creación en Eltham (entonces en Kent, ahora parte de Londres) del que fue entonces uno de los mejores jardines de plantas raras y exóticas en Inglaterra. Compró dos casas en Leicestershire y una propiedad en Eltham en Kent, cerca de Londres, donde residió por largo tiempo.

A través de su hermano, el botánico William Sherard, que había servido como profesor particular en la familia de Russell, James llegó a asociarse con Wriothesley Russell, 2° Duque de Bedford, a quien le dedicó su primer conjunto de sonatas en trío (1701, Op. 1), que son la primera evidencia de su interés en la composición. Impresa por Estienne Roger en Amsterdam, la pieza se basa en las sonatas italianas, quizá las de Arcangelo Corelli. Ellas fueron probablemente interpretadas en Southampton House por el propio compositor al violín, con los dos músicos de cámara italianos del Duque, el violonchelista Nicola Francesco Haym y el violinista Nicola Cosimi. Un ejemplar superviviente de la obra era propiedad de un farmacéutico llamado William Salter. Él escribió un comentario en los márgenes, incluyendo una nota de que Sherard era amigo de Georg Friedrich Handel; esto es plausible teniendo en cuenta el conocimiento mutuo de los dos con Haym. Después de la publicación de su segundo conjunto de sonatas, alrededor de la época de la muerte del Duque en 1711 y el interés de Sherard por la música parece haber muerto con él. También cayó enfermo de gota, lo que le impidió tocar el violín, y la botánica se convirtió en su principal interés.

Investigaciones no publicadas por Margaret Crum han identificado la mano de Sherard en una extensa colección de manuscritos en la Biblioteca Bodleian, Oxford, incluyendo una copia de un  escriba de su propio Op. 2 en el que hizo correcciones autógrafas; incluye copias únicas de música de iglesia alemana entre otras cosas. También se ha establecido que las adiciones importantes realizadas en la colección de la Escuela de Música Bodleian durante el siglo XVIII, incluyendo manuscritos de música y muchas fuentes impresas de Alemania e Italia no registradas en catálogos anteriores, llegaron indirectamente desde la biblioteca de Sherard, probablemente como parte del legado de Richard Rawlinson. Gran parte de esta información ha sido incorporada en las mecanografiadas Revised Descriptions en la sala de música Bodleian.

Las 24 sonatas en trío de Sherard son todas del tipo da chiesa. Al igual que algunas otras sonatas inglesas de la época fueron modelados, de acuerdo con la dedicatoria del Op. 1, en obras italianas, presumiblemente las de Corelli, aunque su lenguaje armónico conserva distintivos toques ingleses. Carecen de la inventiva de Arcangelo Corelli, pero en ninguna parte se ven empañadas por incompetencia técnica amateur y muestran cómo un aficionado con talento en este periodo podía lograr una verdadera comprensión de los aspectos técnicos de la composición musical. Le sobrevivió su esposa Susanna, con quien no tuvo hijos, y fue enterrado en la iglesia parroquial de Evington.