Sólo se conservan las obras sacras suyas, y en estas se dice que han sido influenciadas por Eustache du Caurroy. Penne sin duda podría haber conocido a Du Caurroy, ya que éste fue ganador de premios en 1576 y 1583, en los concursos de composición celebrados durante el festival Ceciliano en Évreux.

La mayoría de sus pocas obras conocidas, escritas para dos y tres coros, están incompletas; sólo se conservan partes para el primer coro. Todas las obras supervivientes de Pebbe se encuentran en la Mediateca Municipal en Cambrai. Un manuscrito contiene el primer coro de cuatro partes de una misa de 12 partes de fecha 1612 y el primer coro de cuatro partes de otra; otros dos manuscritos contienen el primer estribillo de cinco partes de un "Credo" de fecha 1615 y un motete de seis partes, "Anima", fechado en 1615.

El musicólogo francés Edmond de Coussemaker (1805-1876) atribuye a Penne otras dos misas, una para dos voces y una para cuatro; éstas se han perdido.