Že od otroštva je Jakoba Aljaža navduševala tudi glasba. Petja so ga učili najprej: v Smledniku Janez Dolinar in Martin Krek, v Ljubljani Blaž Praprotnik, pozneje v Alojzijevišču pa pevovodja Anton Nedvěd. Glasbo je študiral tudi pri Antonu Foersterju. Kot študent je vodil več pevskih zborov in uglasbil veliko pesmi, med drugim precej Gregorčičevih, tudi Soči. Njegova najbolj znana pesem je vsekakor Oj, Triglav, moj dom, prvi pa je tudi prevedel znamenito Gruberjevo božično pesem Sveta noč, blažena noč. Izdal je tudi Slovensko pesmarico v dveh delih (1896 in 1900) s pesmimi, primernimi tako za ljudsko kot zborovsko petje. V njej je zbral najbolj znane zborovske skladbe slovenskih skladateljev in je z njo spodbudil nastajanje pevskih zborov na podeželju in širjenje slovenske umetne pesmi med ljudstvom. Po njem se imenuje Mešani pevski zbor KD Jakoba Aljaža Medvode, ki večkrat zapoje tudi pred njegovo rojstno hišo.