Probablemente durante el período en que su voz cambió (1681-1683) Schmidt se fue al Zittauer Gymnasium y se convirtió en alumno de Christian Weise. En el verano de 1683 se matriculó en la Universidad de Leipzig y regresó en 1687 como profesor de la Kapellknaben a Dresde.

Después de su ascenso a segundo organista de la corte en 1692 y una visita de estudio a Italia entre 1693 y 1695, escribió en la primavera de 1696 la Ópera-ballet "Theatralisches Musenfest“, que fue una de las primeras obras en alemán de este género. Seis semanas más tarde fue nombrado director musical asistente de Augusto el Fuerte, y en agosto de 1697 director de la capilla protestante. En el otoño de 1697 Schmidt fue nombrado director de la capilla Real y de la capilla Electoal de Sajonia; en 1717 fue nombrado "maestro de capilla mayor" junto a Johann David Heinichen, que se había incorporado desde Venecia.

Bajo el liderazgo de Schmidt, la orquesta de la corte de Dresde se convirtió en una orquesta reconocida a nivel internacional en Europa, incluyendo a sus miembros Jean-Baptiste Volumier, Johann Georg Pisendel, Francesco Maria Veracini, Christian Petzold, Pantaleón Hebenstreit, Silvius Leopold Weiss, Jan Dismas Zelenka, Pierre-Gabriel Buffardin y Johann Christian Richter. Entre los alumnos de Schmidt se encontraban compositores como Christoph Gottlieb Schröter y Carl Heinrich Graun.

Su hermano Johann Wolfgang Schmidt trabajó como copista en la corte de Dresde y desde 1709 como organista. Schmidt compuso cuatro suites, algunas misas, cantatas y motetes, y varias obras escénicas, como la ópera ballet “Les Quatre Saisons”, o el divertimento teatral “Latona in Delo”. La partitura del motete “Auf Gott hoffe ich“ estuvo en poder de Johann Sebastian Bach, y fue copiada por él.