Nació en la familia de Johan Roman, miembro de la capilla real sueca. El apellido Roman puede derivarse del nombre del lugar finlandés Rauma, pues los antepasados de Johan vivieron en Finlandia. El muchacho recibió sus primeras lecciones de música probablemente de su padre. Por intermediación de su padre ingresó en la capilla real en 1711 como violinista y oboísta. Alrededor de 1715 el Rey concedió permiso a Roman para estudiar en el extranjero, y el joven compositor pasó unos seis años en Londres. Estudió casi seguramente bajo Johann Christoph Pepusch, conoció a Francesco Geminiani, Giovanni Battista Bononcini, y, especialmente, a George Frideric Haendel cuya música hizo una impresión duradera en Roman, e influyó de una forma notable en su producción.

Volvió a Suecia en 1721. Pronto fue nombrado maestro delegado de la capilla real, y seis años después llegó a ser Maestro Principal de la Orquesta Real sueca. La vida de Roman durante los años 1720 estuvo llena de actividad organizativa que llevó a  mejorar sustancialmente las normas de la capilla, y, en 1731, los primeros conciertos públicos en Suecia. La única obra publicada por Roman durante su vida, una colección de 12 sonatas para flauta, violín y clavicordio, apareció en 1727. En 1730 Roman se casó, pero su esposa murió cuatro años después. En 1734 el compositor abandonó Suecia para visitar varios países europeos: Austria, Inglaterra, Francia, Alemania e Italia. Volvió a Estocolmo en 1737 trayendo una riqueza musical de varios compositores para tocar en la capilla real. En 1738 Roman se casó de nuevo. En 1740 fue elegido miembro de la Academia Real de Ciencias recientemente establecida.

La exitosa carrera de Roman tomó un giro negativo a partir de los años 1740. La más grande patrocinadora del compositor, la Reina Ulrika Eleonora de Suecia, murió a fines de 1741. En 1742 la actividad de Roman se vio enormemente obstaculizada por problemas de salud. En 1744 Roman compuso una de sus obras más bellas, "Drottningholmsmusique": una gran suite orquestal para la boda del Príncipe de la Corona Adolf Frederick de Suecia y Louisa Ulrika de Prusia. Irónicamente, fue debido a los esfuerzos de Adolf Frederick y Louisa Ulrika que la carrera de romano se vio afectada. La nueva princesa de la corona tenía gustos diferentes en música, y su marido organizó una capilla muy competitiva. Finalmente, la segunda esposa de Roman murió en 1744, dejando al compositor con cinco niños.

Frontispicio de una edición pós-tuma de obras de Johan Helmich Roman, de 1767

En 1745 Roman se retiró de su puesto como líder de la capilla real debido a una sordera que había progresado rápidamente durante los años anteriores. Se estableció en Haraldsmåla, en la parroquia de Ryssby, cerca de la ciudad de Kalmar al sur-este  de Suecia. Aparte de una única visita a Estocolmo en 1751-52 para dirigir el entierro y música de coronación en el ascenso al trono de  Adolph Frederik, los últimos años de Roman se dedicaron a traducir tratados teóricos europeos al sueco y adaptación de textos sagrados al idioma sueco.

Resulta extraño que una persona de su importancia en la corte no fuera modelo para ningún pintor. Ningún retrato ni caricatura suya se conocen.

Considerado el padre de la música sueca por su labor de organizador, teórico e impulsor en el país de los estilos imperantes en el resto del continente, Johan Helmich Roman sólo se propuso dotar a su país de un repertorio musical del que carecía. Sus referentes fueron, por orden de importancia, Haendel, Geminiani y Tartini, suponiendo un eslabón importante en el tránsito del estilo barroco al galante. En el ámbito más teórico, su principal aporte fue el esfuerzo por demostrar la aptitud del lenguaje sueco para la música religiosa. Ha sido llamado "el padre de la música sueca" o "el Haendel sueco".

Su obra nunca se ha olvidado, durante nueve años después de su muerte la Academia Real de Ciencias realizó una ceremonia conmemorativa, donde los logros de Roman fueron documentados; se encuentran copias de las obras de Roman en manuscritos tan tarde como 1810.

Uno de las composiciones más conocidas de Roman es la mencionada "Drottningholmsmusique", o "Música para una Boda Real". Consiste en una colección de 24 piezas cortas que van en longitud de aproximadamente uno a seis minutos. La boda tuvo lugar en el palacio de Drottningholm (de aquí el título). Las festividades duraron cuatro días. Se seleccionaron al parecer los trozos de la obra y se colocaron como convenía a la ocasión. Roman también guardó ocho trozos en reserva. Estos trozos son conocidos como la "Suite en Re Mayor", a veces llamado la "Pequeña Música de Drottningholm", o la Música de Drottningholm más Corta. Los dos son términos modernos inventados por el director sueco y músico Claude Génetay.

Otras piezas escritas por Roman incluyen la suite "Sjukmans Musiquen" y la cantata inspirada en Italia "Piante amiche".