En 1739 se trasladó a Berlín para seguir una carrera musical. Desde el ascenso de Federico el Grande, Berlín se había vuelto un activo centro musical que atrajo a algunos de los músicos más conocidos de la época, y Nichelmann continuó sus estudios con Quantz, el profesor de flauta del rey, y con el Kapellmeister C. H. Graun. Sus primeras sonatas de teclado impresas se completaron durante este periodo, y en 1745 se unió a Carl Philipp Emanuel Bach como uno de los dos clavicordistas en el establecimiento real.

Siguiendo el tenor general de la actividad literaria en Berlín, y en respuesta a la controversia sobre los méritos de los estilos francés e italiano, Nichelmann sacó en 1755 un extenso tratado que llamó mucho la atención,"Die Melodie, nach ihrem Wesen sowohl, als nach ihren Eigenschaften". El trabajo es curioso en lo que se refiere a la melodía, sin embargo mucha de la sustancia deriva de las escrituras más antiguas de J. P. Rameau. Alguien con el pseudónimo Caspar Dünkelfeind lo criticó severamente en Gedanken eines Liebhabers der Tonkunst (Nordhausen, 1755), y Nichelmann continuó la discusión en Die Vortrefflichkeit der Gedanken des Herrn Caspar Dünkelfeindes über die Abhandlung von der Melodie. La salida de Nichelmann de la corte en 1756 se ha atribuido a este intercambio literario, pero Marpurg escribe que él presentó y se le concedió su renuncia al servicio del rey. Nichelmann escribió la mayoría de sus canciones y piezas de teclado más pequeñas durante sus años restantes en Berlín, años que se hicieron difíciles por los levantamientos de la Guerra de los Siete Años.

La fecha más antigua de algún manuscrito de Nichelmann es 1737, el último es de 1759, perfilando un periodo en que los estilos musicales estaban cambiando rápidamente y uno en el que Berlín surgía como un centro musical importante del período Clásico, lo que hizo, probablemente, que su muerte fuera ignorada. La importancia relativa de la escuela de Berlín deriva de varios factores, incluyendo la literatura sobre música originada allí y el desarrollo continuo del concierto de teclado continuando lo iniciado por J. S. Bach. Nichelmann participó en ambas actividades, pero su contribución principal descansa en el dominio del concierto de teclado, que todavía era un género relativamente nuevo en ese momento, que reflejó muchos de los cambios en el estilo musical que han llegado a ser asociados con el período de la Ilustración. Sus trabajos en este medio presentan el teclado como un instrumento solista con una técnica establecida capaz de una amplia variedad de efectos musicales.

Entre las obras vocales, la serenata "Il sogno di Scipione" disfrutó de alguna popularidad en el siglo XVIII; sólo la sinfonía de apertura ha aparecido en una edición moderna. Una cantata y un réquiem permanecen como ejemplos aislados en el catálogo de Nichelmann, y sus 22 lieder deben destacarse como ejemplos tempranos del género