No se sabe exactamente cuando llegó a Viena J. H. Schmelzer, ni de quien recibió su formación musical, pero es probable que haya estudiado con Antonio Bertali, Burckhardt Kugler y Giovanni Sansoni. El primer documento en que aparece mencionado es el de su primera boda el 28 de Junio de 1643 en San Esteban de Viena.

Una resolución Imperial de 1674 establece, sin embargo, que su servicio en la orquesta de la corte de Viena se inició, probablemente como violinista, en 1635 o 1636. El 1º de Octubre de 1649 fue nombrado como violinista en propiedad en la orquesta de la corte vienesa del emperador Habsburgo, Leopoldo I. Su ubicación y funciones durante los dos decenios no están aclaradas totalmente. Del número muy limitado de fuentes existentes se puede deducir, en todo caso, que fue un prolífico compositor y también violinista que tenía una excelente reputación.

Edición discográfica de obras de Johann Heinrich Schmelzer

En 1658 fue director de música instrumental en la comitiva de Leopoldo I para su coronación en Frankfurt. Su estrecha relación con el emperador le brindó buen beneficio financiero, y también lo hizo su asesor musical ayudando al emperador en sus composiciones. En 1665 fue nombrado compositor de música de ballet, por lo que debió componer gran cantidad de Balletti. Algunas de estas músicas de ballet fueron utilizadas como Divertissement en las óperas de Antonio Cesti y Antonio Draghi.

Schmelzer logró una alta reputación en un campo (tocando y componiendo para violín) que en ese momento estaba dominado por los italianos; de hecho, un viajero se refirió a él en 1660 como "tal vez el violinista más eminente de toda Europa". La  "Sonatae unarum fidium" de Schmelzer de 1664 fue la primera colección de sonatas para violín y bajo continuo publicada por un compositor de habla alemana. Contiene el brillante virtuosismo, la estructura particular y las largas obscuras variaciones típicas de la sonata para violín del barroco medio.

El 13 de Abril de 1671 fue nombrado Vice Kappelmeister de la orquesta de la corte de Leopoldo I. A partir de ese momento tuvo que asumir más y más tareas para reemplazar al achacoso Kapellmeister Giovanni Felice Šances. Su eficacia en esta situación, combinada con los logros anteriores y su creciente fama, llevó a que Leopoldo I le otorgara en 1673 un título nobiliario con el agregado "von Ehrenruef", título que heredaron sus hijos, entre ellos su hijo mayor, Andreas Anton, quien también fue un compositor y violinista. El 24 de Noviembre de 1679, después de la muerte de Šances, fue el primer no italiano designado oficialmente Kappelmeister. Se trasladó junto con el emperador y su corte a Praga, huyendo de la peste, pero la plaga se había extendido y Schmelzer murió víctima de ella el 20 de marzo de 1680.

Junto con sus contemporáneos mayores Šances y Bertali y con los jóvenes Draghi, Schmelzer fue uno de los más importantes músicos de la Corte de los Habsburgo desde 1655 hasta 1680. Fue responsable de gran importancia del desarrollo de la sonata y la suite. Sin su trabajo no habrían sido posibles los éxitos de su alumno Heinrich Ignaz Franz Biber o de Johann Jakob Walther. En este sentido, ocupa también un puesto destacado como el primer maestro de banda austriaco en el siglo XVII.

Johann Heinrich Schmelzer es uno de los compositores más interesantes antes de Bach. Fue el principal compositor austriaco de música instrumental de su época, y tuvo una influencia importante en el violinista y compositor austriaco Heinrich Ignaz Franz Biber, quién se cree fue uno de sus alumnos.

Schmelzer escribió la música de ballet para aproximadamente 40 óperas de Draghi y otros compositores. También escribió música de iglesia, como la "Missa Nuptialis", así como sonatas instrumentales y fanfarrias para trompeta. Su música fue influenciada por la música folclórica europea oriental, que recogió de las muchas nacionalidades diferentes en los cuarteles del ejército donde creció. Escribió gran número de sonatas, sinfonías y ballets para una colorida variedad  de instrumentos.

Dejó tras de sí un muy rico volumen de obras, pero sólo como compositor de música instrumental fue influyente (música de ballet, música de cámara). Sus numerosas obras litúrgicas (la mayoría de los cuales no han sobrevivido; 173 se encuentran en “Distinta specificatione dell'archivio musicale per il servizio della cappella e camera cesarea“, el catálogo de la colección privada del emperador Leopoldo) proceden de 1670, es decir, de su época como Vice-Kappelmeister. Los pocos que han sobrevivido, dejan ver con frecuencia la influencia de los venecianos, que están entre sus contemporáneos italianos.