Hijo de Friedrich von Westhoff, destacado laudista y trombonista. Recibió una educación musical sólida y ya en 1671, a la edad de 15 años, estaba tan bien conectado, que se convirtió en tutor de dos príncipes sajones, Johann George y Friedrich August. En 1674 se unió a la Dresden Hofkapelle, donde trabajaba su padre. La Hofkapelle tenía una fuerte tradición de violín que empezó con las publicaciones de Carlo Farina de los años 1620, y fue continuada y apoyada durante el tiempo de Westhoff por el celebrado violinista Johann Jakob Walther y el compositor operístico Nicolaus Adam Strungk.  Westhoff siguió siendo miembro de la Hofkapelle por más de 22 años, durante los cuales viajó a lo largo de Europa. Dejó Dresde en 1697 y brevemente enseñó idiomas contemporáneos en la Universidad de Wittenberg (después se unió a la Universidad de Halle en Wittenberg). Luego, en 1699, Westhoff se hizo secretario de cámara, músico de cámara y maestro de francés e italiano en la corte de Weimar, donde trabajó hasta 1705. La fecha exacta de su muerte se desconoce.

Uno de los exponentes más importantes de la escuela de violín de Dresde, la reputación de Westhoff fue sumamente alta durante su vida. Los contemporáneos lo consideraban, junto con Heinrich Ignaz Franz Biber y Johann Jakob Walther, entre los mejores violinistas alemanes de la era. Su influencia se debe de haber extendido ampliamente, también, puesto que sus viajes lo llevaron a numerosos países: Hungría, Italia, Francia (donde tocó ante Luis XIV en 1682), la República holandesa y la corte imperial de Viena. Por ejemplo, la sonata de Westhoff de 1682 se encuentra en una fuente italiana, y su música debe haber influenciado a Giuseppe Colombi y a otros prominentes violinistas italianos de la época.

Grabado de Johann Paul von Westhoff y Johann Sebastian Bach

Su estilo fue influenciado por el de Gottfried Walther, algo mayor que él, con quien trabajó durante varios años en la Hofkapelle de Dresde. A su vez, Westhoff influyó en Johann Sebastian Bach que era su colega en Weimar; los dos compositores probablemente se conocieron en 1703.  La música conocida de Westhoff incluye dos colecciones publicadas durante su vida: "Sonate a Violino solo con basso continuo" (Dresden, 1694) y seis solo partitas para violín publicadas en Dresde en 1696. Las solo partitas pueden ser una reimpresión de una colección considerada perdida, "Erstes Dutzend Allemanden, Couranten, Sarabanden und Giguen Violino Solo sonder Passo Continuo" (Dresde, 1682). Además, se publicaron dos piezas de Westhoff en una revista francesa, Mercure galant. La primera fue una sonata para violín y bajo continuo publicada en el número de diciembre de 1682—aparentemente la pieza que Westhoff tocó para Luis XIV, que el rey admiró grandemente.  La segunda, una colección para violín solo, se publicó en la edición de enero de 1683.

La suite de 1683 de Westhoff es la pieza conocida más antigua de multi-movimiento para  violín solo. Junto con las seis solo partitas, fue un precursor importante de las famosas Sonatas y Partitas para el Violín Solo de Johann Sebastian Bach. Éstas se empezaron durante los años de Weimar de Bach y se terminaron unos 24 años después de la impresión conocida más antigua de las partitas de Westhoff; la característica musical parece mostrar que la obra de Bach está endeudada por lo menos conceptualmente con la de  Westhoff.  
La escritura para violín de Westhoff es muy avanzada, ofreciendo doble detención en la cuarta posición. La música de violín solo de Westhoff es distintamente alemana, con polifonía densa y temas robustos, pero las sonatas con continuo muestran una pronunciada influencia italiana. 

La música que sobrevive de Westhoff comprende siete obras para violín y bajo continuo y siete para solo violín, todas publicadas durante su vida. Más trabajos, particularmente una colección de música para violín solo de 1682, son considerados perdidos actualmente. Su trabajo, junto con el de Heinrich Ignaz Franz Biber y Johann Jakob Walther, influyó enormemente en la generación subsiguiente de violinistas alemanes.