Mientras Zachow estaba en la escuela recibió una base sólida en el órgano y en las habilidades del Stadtpfeifer. Su padre lo instruyó probablemente en el último, y puede haber sido alumno del organista de la Thomaskirche, Gerhard Preisensin, aunque sólo durante un tiempo corto, pues el último murió cuando Zachow tenía ocho años. En 1676 la familia se mudó a Eilenburg, donde puede haber asistido a la Nikolaischule. Entre los músicos entonces a Eilenburg estaba el Kantor Johann Schelle, que fue reemplazado en 1677 por Basilius Petritz, y el compositor, poeta y organista del pueblo Johann Hildebrand, que probablemente fue maestro de Zachow.

El 11 de agosto de 1684 Zachow fue nombrado en el codiciado puesto de organista de la Marienkirche, Halle, sucediendo a Samuel Ebart, donde permaneció por el resto de su vida. Además de tocar el órgano, sus deberes incluían dirigir las actuaciones musicales que tuvieron lugar cada tercer domingo en la Marienkirche, para lo que tenía a su disposición el coro del pueblo e instrumentistas. La dirección del ‘chorus musicus' de Halle estaba unida al puesto de organista de la Marienkirche.

Es recordado principalmente como el maestro de Georg Friedrich Haendel pero es importante por derecho propio como compositor de cantatas de iglesia y música de teclado. Zachow llegó a ser un maestro eminente y además de Haendel sus alumnos incluyeron a Gottfried Kirchhoff, J. G. Krieger y J. G. Ziegler.

Las obras sobrevivientes de Zachow son una selección casual de una producción originalmente mucho más grande; inventarios de la época citan los títulos de 70  cantatas más y mencionan varias misas y movimientos de misa. Sus cantatas van desde aquéllas con puros textos de la Biblia en la tradición del 'geistliche Konzert', a través de varias formas de transición, hasta la cantata madrigalista del periodo de Johann Sebastian Bach. De sus obras para teclado las más importantes son las fugas corales que muestran a Zachow como un importante precursor de J. S. Bach.