Debido a su inclinación musical, evidente a una edad temprana, su padre lo llevó (en 1627 o 1628) a Heinrich Schütz, director de la capilla de la corte electoral de Dresde. Schütz se encargó de dirigir su educación musical y Weckmann también recibió instrucción de otros miembros de la capilla, incluyendo a Johann Klemm en órgano y Caspar Kittel en canto; su rápidoprogreso llevó pronto a su nombramiento como discante. Cuando su voz cambió, hacia 1632, sirvió como uno de los organistas de la capilla de la corte. El año siguiente Schütz lo llevó a Hamburgo para  estudiar a expensas del elector con el renombrado organista y alumno de Jan Pieterszoon Sweelinck Jacob Praetorius el Joven. Weckmann también pasó tiempo con Heinrich Scheidemann, permitiéndole, en palabras de Mattheson, ‘moderar la severidad de Praetorius con la gentileza de Scheidemann'. En esta ciudad Weckmann entró en contacto con el rico y altamente desarrollado estilo de música para órgano del Norte de Alemania.

Después de ese periodo de formación en Hamburgo, Weckmann volvió a la corte de Dresde a fines de 1636 o comienzos de 1637, pero fue enviado entonces en una misión a Holstein y Dinamarca para recoger algunos materiales musicales que pertenecían a Schütz. Un nombramiento en la recientemente fundada capilla del hijo del elector, Johann Georg, siguió en 1639. Durante los años 1642-46 estuvo 'a préstamo' en la capilla real dinamarquesa en Nykøbing, y entre 1647 y 1648 viajó una vez más al norte, visitando Hamburgo  y Lübeck, donde, en 1648, se casó con Regina Beute, hija de un músico del pueblo. Franz Tunder, organista de la Marienkirche, sirvió como su padrino de bodas. En 1649 Weckmann fue promovido a inspector de la capilla electoral.

En el invierno de 1649-50 Johann Jacob Froberger visitó Dresde y el Elector organizó una competencia entre los dos músicos. Weckmann fue el ganador pero la competencia marcó el comienzo de una cercana amistad entre ambos, con intercambios de cartas, composiciones e inspiración por el resto de sus vidas.

En 1655, después de una brillante interpretación en su audición, Weckmann ocupó el cargo de organista en la Jacobikirche de Hamburgo. Inició con ello una exitosa carrera de casi veinte años durante la cual compuso la mayoría de sus obras para órgano, sobretodo aquellas asociadas con corales. En 1660, después de adquirir la ciudadanía, fundó un Collegium Musicum que, con la ayuda de la élite de Hamburgo, realizó conciertos semanales en el refectorio de la catedral. Unas 50 personas, incluyendo los músicos principales de la ciudad, participaron, tocando ‘la mejor música de Venecia, Roma, Viena, Munich, Dresde, etc.'. Entre sus colegas estuvieron Thomas Selle, Christoph Bernhard, Heinrich Scheidemann y Johann Adam Reincken.

A comienzos de 1663 una sombra oscura fue lanzada por un ataque violento de la plaga; entre las víctimas estuvieron el viejo Scheidemann y Thomas Selle, Kantor de las iglesias de Hamburgo. Weckmann propuso a su viejo amigo de Dresde Christoph Bernhard  como sucesor de Selle, y el nombramiento se produjo  poco después. En 1665 murió la esposa de Weckmann; en algún momento durante los dos años siguientes Weckmann visitó a su patrocinador anterior en Dresde, y en 1669 se casó con Catharina Roland, con quien tuvo tres hijos por lo menos. Cinco años más tarde Weckmann murió y fue enterrado, con el son de las 'más bellas' campanas, en la Jacobikirche bajo el órgano que había tocado durante tantos años. En el servicio fúnebre Bernhard dirigió una interpretación de "In te domine speravi" de Weckmann.

El impulso fundamental detrás de su labor como compositor provino de Heinrich Schütz, Johann Jacob Froberger, Jacob Praetorius y Heinrich Scheidemann. Los ocho hijos nacidos con la primera esposa de Weckmann incluyen a Jacob Weckmann (1643-1680). Estudió en la Universidad de Wittenberg y en 1672 fue nombrado organista de la Thomaskirche, Leipzig. Se le atribuyen dos obras: "Ein Tag en deinen Vorhöfen" y "Herr, warum trittst du von ferne".