Después de dos años de estudios preparatorios con Irrgang, su padre lo envió en 1717 a una escuela en Mühlhausen, donde encontró un ambiente musical estimulante y conoció a Johann Friedrich Bach.  Gerber declaraba que "el único genio musical viviente era un organista ebrio" (quién "cuando estaba sobrio lograba tan poco como sus conciudadanos") de la familia Bach. Éste era Johann Friedrich Bach, que sucedió a Johann Sebastian como organista de la Blasius-Kirche.  Gerber relataba que su único deseo era encantar en el estilo de interpretación de canto de Johann Friedrich. En 1721 fue a Sondershausen para terminar sus estudios. Estudió composición con el organista de la ciudad J. V. Eckold, y compuso sus primeras obras de teclado bajo su dirección. El 8 de mayo de 1724 Gerber se matriculó en la Universidad de Leipzig para estudiar derecho, y hacia el final del año se convirtió en alumno privado de Johann Sebastian Bach, que le enseñó el teclado y el bajo figurado.

Numerosas obras para teclado de J. S. Bach sobreviven en copias hechas por Heinrich Nicolaus Gerber durante sus años de Leipzig (1724-1727), incluyendo las "Invenciones" y "Sinfonias" (BWV 772-801), las "Suites francesas" (BWV 812-817), las "Suites inglesas 1, 3, 5 y 6" (BWV 816, 818, 810, 811), los dos primeros Preludios y Fugas de "El Clavecín bien templado" Parte 1 (BWV 846-847), y algunas obras misceláneas (BWV 818, BWV 819, BWV 914, y BWV 99

6). En 1727 (o quizás el año anterior) volvió a su ciudad natal, y en 1728 se hizo organista en Heringen, pero pronto tuvo que abandonar este puesto después de un desastroso incendio allí. A fines de 1731 tomó la posición de organista de la corte en Sondershausen, donde también fue clavecinista en la Kapelle de la corte del Príncipe de Schwarzburg y enseñó a muchos alumnos teclado y composición. En Sondershausen también tuvo la oportunidad de conocer a Johann Adolph Scheibe (en 1736) y a Johann Phillip Kirnberger, que fue su alumno en 1740. Se dice que llamó de nuevo a Bach en Leipzig hacia 1737. En este puesto, luego de su muerte, le sucedió su hijo, el lexicógrafo de música Ernst Ludwig Gerber (1746-1819).

Durante este tiempo compuso música para piano, órgano, y arpa. Gerber escribió numerosas obras para teclado (clavecín y conciertos para órgano, preludios y fugas, sonatas, suites, invenciones, tríos y arreglos corales), así como música de iglesia (motetes y cantatas). Las que sobreviven son para órgano: cuatro invenciones, un concierto y unas diez corales. Gerber también construyó un violín de paja, o xilófono, y trabajó en mejoras técnicas pare el clavicordio y el órgano. Mejoró e inventó instrumentos musicales, incluyendo el Strohfiedel y  un xilófono tocado desde un teclado. En 1749 se vio obligado, contra su voluntad, a ocupar el cargo de secretario de la corte. Continuamente presionado, hasta la edad de 35 años, por los reclutadores que querían obligarlo a entrar en el ejército prusiano, tuvo que rechazar muchos conciertos y giras educativas.