Segundo hijo de Anna Margareta Schneider d'Elsterwerda y de August Graun. Se educó en la Kreuzschule de Dresde, donde fue miembro del entonces afamado coro que dirigió Johann Zacharias Grundig. Aparentemente estudió allí desde 1713 y aparece como alumno hasta 1721, tres años después de haberse inscrito en la Universidad de Leipzig. Fue alumno de violín y composición de Johann Georg Pisendel en Dresde, desde que estaba en la Kreuzschule y luego que salió de la escuela. En 1723 participó en los eventos musicales en Praga con motivo de la coronación de Carlos VI, donde conoció a Giuseppe Tartini, que tocó en la orquesta junto con su hermano menor Carl Heinrich. Tartini se quedó residiendo en Praga de 1723 a 1725 como miembro del servicio del conde Kinsky y J. G. Graun estudió con el gran italiano durante seis meses al comienzo de ese período. Sin embargo tenía que ganarse la vida en la zona de Dresde, y después de haber estudiado con Tartini y haberse identificado como su alumno en más de una instancia profesional, volvió a adoptar el estilo creativo de Pisendel para obtener el favor del público sajón.

Alrededor de 1727 fue nombrado Konzertmeister en Merseburg, donde enseñó al hijo mayor de Johann Sebastian Bach, Wilhelm Friedemann, de quince años de edad. En mayo de 1728 tocó en Berlín ante la Corte prusiana, en el curso de una visita en que también participó Pietro Antonio Locatelli. La reina Sofía Dorotea tuvo la intención de contratarlo como músico de cámara de la Corte, pero la intervención de Federico Guillermo I impidió que esto se concretara. Tal vez por ello, Graun se colocó en calidad de músico del  príncipe von Waldeck en Arolsen (Hessen) por un corto tiempo. Sin embargo, su contacto con la corte de Berlín permaneció activo y en 1732 entró en el centro musical del Príncipe heredero Federico en Ruppin, sin contar con la aprobación del real padre de este.

Edición discográfica de obras de Johann Gottlieb Graun

El nexo de J. G. Graun con Federico fue de gran importancia, pues a través de él llegó a Ruppin su hermano Carl Heinrich Graun, que habría de desempeñar un puesto clave en los planes musicales de Federico. En 1733 Johann Gottlieb tuvo como alumno a Franz Benda, que acababa de ingresar al servicio del príncipe prusiano.

Fue designado Konzertmeister de la Opera de Berlin en 1740. Pasó el resto de su vida al servicio de Federico el Grande y murió en Berlín.

Compuso pocas obras vocales, pero compartió con su hermano Carl Heinrich una importante posición en el desarrollo de la sinfonía y el concierto preclásicos.

La parte más grande de su obra consiste en música instrumental, Graun compuso muchos conciertos, principalmente para violín, que serían tocados por él mismo y que  reflejan sus propias habilidades como virtuoso del violín. Fue enormemente admirado como un compositor que combinó melodías agradables con contrapunto y generalmente fue considerado "uno de los más grandes violinistas de su tiempo". En el Concierto en Re menor es sobre todo el último movimiento el que contiene una parte de violín virtuosística, caracterizada por su polifonía. En el Concierto en La los dos movimientos rápidos tienen brillantes partes solistas para el violín.

Los conciertos con solista normalmente se escribían para músicos específicos,  aprovechando sus calidades particulares. Un miembro de la orquesta de la corte era Ludwig Christian Hesse, según el Lexikon der Tonkünstler de Ernst Ludwig Gerber "uno de los primeros gambistas de Europa" debido a su "habilidad, limpieza y fuego de su ejecución". Esto explica por qué Graun compuso nada menos que cinco conciertos para viola da gamba, que pertenecen a las composiciones más difíciles para ese instrumento.

La Sinfonia Grosso es una obra bastante tardía, fechada en 1768, y está escrita para cuerdas con 2 flautas traversas, 2 oboes, 2 fagots, 2 cornos, 3 trompetas y timbal.

Considerado la calidad de estas composiciones es una vergüenza que Johann Gottlieb Graun haya sido ensombrecido por su hermano menor Carl Heinrich. Ése ya era el caso en su propia época, probablemente primero y principalmente porque él no compuso ninguna ópera, género en que los públicos por esos días estaban principalmente interesados. Los Conciertos para Viola da gamba son una ilustración vívida de la admiración  que el gambista Hesse despertaba en sus contemporáneos.