Fue el primer hijo de Jacob Klein el Viejo (1661-1715-20), maestro de baile en el Teatro de la ciudad de Amsterdam y Johanna van Geleijn (1661-1701), que se habían casado el año anterior. Su padre era católico, al igual que muchos músicos de este período en la República oficialmente calvinista holandesa, y su madre una menonita.

Jacob Klein “el Joven” (en holandés: "Jonge", en las páginas de título de sus publicaciones "le-Jeune" o "il Giovane") no era realmente un músico profesional, sino que por nacimiento y parentesco estaba relacionado con varios músicos y bailarines de su tiempo, así como pintores. Después de la muerte de su primera esposa Jacob Klein se casó con Anna Maria Roest en 1705.

No hay detalles sobre la formación musical de Herman Jacob Klein, pero debido a las conexiones de su familia no pudo haber sido difícil para él encontrar un profesor de música entre los músicos y compositores activos en Amsterdam en 1700. Su instrumento habría sido el violonchelo, a juzgar por las composiciones musicales que escribió más tarde en su vida. Tal vez fue instruido por su tío Filipo Hacquart, pero si es así debe de haber sustituido el violonchelo nuevo y moderno por la viola da gamba (en ese entonces ya se estaba convirtiendo en antigua).

Jacob no hizo uso de la música como profesión. Se convirtió en comerciante, a pesar de que sabemos muy poco acerca de su ocupación exacta. En 1710 se casó con Susanna Spieringh,  nacida en 1688 y unos años más tarde él y su padre establecieron una compañía de comercio de goma arábiga. Jacob Klein parece haber tenido una sola hija, Geertrui, nacida en 1711. Klein murió en 1748 y fue enterrado el 8 de marzo en la Oude Kerk de Amsterdam.

Casi nada se sabe de la carrera profesional de Jacob Klein, pero conocemos al menos algunas de sus composiciones musicales. Entre 1717 y 1746 publicó un total de 36 sonatas, de las cuales seis son para oboe y bajo continuo, seis para violín y bajo continuo, dieciocho para violonchelo y bajo continuo, y seis para dos violonchelos. El número seis repetido sugiere que fueron publicados en grupos de seis. Su Opus 1, publicado en 1716 cuando tenía 28 años de edad, se compone de dieciocho sonatas divididas en tres grupos de seis titulados Livre premier, Livre second y Livre troisieme, respectivamente. Los números 1 a 6 de ellas son para oboe y bajo figurado, 7 a 12 para violín y bajo continuo, y 13 a 18 para violonchelo y bajo continuo.

El Opus 2 de Jacob Klein es una colección de seis dúos para dos violonchelos, publicado dos años más tarde en 1719. Opus 3 y 4 son, de nuevo, colecciones de seis sonatas para violonchelo y bajo continuo. Estos fueron publicados más tarde, alrededor de 1740 y 1746, respectivamente. Jacob Klein tenía casi sesenta años de edad por entonces.

El destino no ha sido generoso con la música de Jacob Klein el Joven. De las 36 sonatas publicadas en Amsterdam en la primera mitad del siglo XVIII, sólo la mitad, tres grupos de seis, se han conservado. Estas tres colecciones son todas para violonchelo: las Sonatas Opus 1, Livre 3 (con el título VI Sonates a une Basse de Violon et Basse Continue), los Duets Opus 2 (VI Duetti a due Violoncelli, Preludii, Allemande, Correnti, Gighe, Sarabande, Gavotte, Minuetti, Fuga e Ciaccone) y las  Sonatas Opus 4 (VI Sonate a Violoncello solo e Basso Continuo). Otro conjunto de sonatas para violonchelo (Opus 3) y el oboe y violín de Sonatas Opus 1 se han perdido. Nuestro conocimiento de estas obras perdidas proviene de los catálogos publicados en varias ocasiones por sus editores. En consecuencia, todas las obras sobrevivientes de Jacob Klein son para violonchelo: las Seis Sonatas Opus 1, Livre 3, los Seis dúos Opus 2 y las Seis Sonatas Opus 4.

En los Países Bajos había una tradición de componer y publicar sonatas (o más bien, suites) para viola da gamba y bajo continuo por compositores como Carolus y Filipo Hacquart, Johan Schenck, Johan Snep y Jacob Riehman, más o menos correspondientes a los años de 1680 a 1710. (Por supuesto, las obras para viola da gamba y bajo continuo se publicaron también en otros países durante estos años, especialmente en Francia y Alemania.) Es difícil decir si fue o no una inspiración de Jacob Klein componer para el violonchelo. En todo caso, fue el primer compositor holandés en componer específicamente para este instrumento.