No existe certeza acerca de su origen. Se creyó durante mucho tiempo que había nacido en Edimburgo, hijo del oboísta Malcolm McGibbon, pero más probable es que Malcolm fuera su tío y que sus padres fueron el violinista Duncan McGibbon y su esposa Sarah Muir, que pondrían su nacimiento en Glasgow. Tytler informa que ‘fue enviado temprano a Londres… y estudió muchos años bajo [William] Corbet[t]', mientras los archivos de Campbell indican que estudió y trabajó en Italia. (Campbell da hacia 1745 como la fecha para esto; asumiendo una confusión entre las dos rebeliones de Jacobitas, la fecha correcta sería hacia 1715.) Así parece ser que estudió en Londres aproximadamente desde 1709, acompañó a Corbett en sus viajes italianos desde 1711 y se estableció en Edimburgo a principios de los años 1720. 

Desde 1726 fue empleado como violinista por la Edimburgh Musical Society, puesto que ocupó hasta su muerte. Llegó a ser el más querido y respetado violinista y compositor de Edimburgo, una posición comparable a la de Corelli en Roma. Su ejecución variaba desde brillo técnico a simplicidad extrema, y recurría a innovadores movimientos de arco para clarificar el fraseo y a un magistral comando de la ornamentación melódica. 

Las sonatas de McGibbon varían en calidad, pero en las mejores combina una variedad de influencias (Corelli, Haendel, Veracini, Purcell) para producir una originalidad sofisticada y de hondo sentimiento. Alrededor de 1740 su obra cambió de dirección: fue arrastrado a una moda de Edimburgo por arreglar melodías escocesas. Sus composiciones, sin embargo, exceden las de sus rivales con su mezcla sutil de estilos musicales escoceses e italianos.

McGibbon dejó su propiedad a la Edimburgh Royal Infirmary (cuyo director, lord Provost George Drummond, había subscrito para sus 1740 sonatas y fue el doliente principal en su entierro). Sin embargo, la Infirmary vendió las láminas de sus colecciones de melodías escocesas al editor Robert Bremner. Las reimpresiones resultantes aseguraron la fama de McGibbon hasta bien entrado el siglo XIX, cuando Max Bruch incluyó "Thro´ the wood, laddie" en su "Fantasie unter freier Benutzung schottischer Volksmelodien" (1880).