Leta 1666 je se je ljubljanski magistrat seznanil s sklepom soseske na Starem trgu, da na mestu pogorišča sprva postavi kapelo v čast svetniku. Dovoljenje za gradnjo novega svetišča sta 27. julija in 7. avgusta 1671 izdala ljubljanski škof Jožef grof Rabatta in mestna oblast. Le-ta je odstopila zemljišče in zagotovila gradbeni material. Takrat so tudi začeli voditi knjigo dobrotnikov, za kar je bil zadolžen stolni župnik. Škof Rabatta je dovolil, da se smejo za novo cerkev v mestu in zunaj mesta pobirati darovi.
Pomembno vlogo pri pripravah na gradnjo sta imela nekdanja mestna župana Ivan Reringer in Janez Marija Piškon, pri sami gradnji pa tedanji župan Janez Krstnik Dolničar in pozneje razni dobrotniki. Cerkev so pričeli zidati aprila 1672. Ob prvem godu zaščitnika cerkve 4. maja je k čaščenju cerkvenega patrona meščane goreče spodbujal kapucin pater Janez Svetokriški. Gradnjo, ki je potekala do leta 1680, so omogočili mestni magistrat, deželni stanovi in številni posamezniki. Še posebej si je za gradnjo prizadeval takratni župan Janez Krstnik Dolničar, ki je bil nato tudi njen prvi ključar. Že leta 1680 je mestni kronist Janez Gregor Dolničar zapisal, da so se iz zvonika začeli oglašati zvonovi in ura.
Cerkev je bila z velikim in dvema stranskima oltarjema posvečena leta 1696. Meščani so jo poimenovali za cerkev na pogorišču.
Kapucin Janez Svetokriški je svetniku sv. Florijanu in ljubljanski cerkvi posvetil pridigo, ki se prične takole:
»Mi danes bomo hvalili inu častili tiga srčniga inu nepremaganiga vojščaka s. Florijana, pomočnika inu variha našiga, kateri za ta gmajn nuc naše svete kat. krš. vere je svoj leben zgubil inu naše mesto pred tem škodlivem ognjom obvarval; kakor je vsem vedejoče, de pred & c. je bil takoršen ogenvun prišel, de celu naše mestu bi bilu pogorelu, kadar naš lubi pomočnik s. Florijan bi ga ne bil pogasil; zakaj človeška pomoč inu flis nej neč pomagalu, temuč kakor so bili oblubo sturili, le-to cirku s. Florijanu h časti zidat, precej je bil na pomoč prišel inu tu mestu pred tem škodlivem ognjom je bil obvarval inu nas je rešil. Oh, kaj tedaj z’ eno veliko hvalo smo mi dolžni našimu s. pomočniku dati inu čast izkazat! Gvišnu dolžni smo s. Florijanu čast inu hvalo pejti, kakor Rimlani inu Hierosolemiterji so svojim varihom sturili, zlate krone inu prstene njemu ofrat kakor Spartanerji inu Kartagenenzerji tem svojim pomočnikom, tu je, eno obilno almožno ofrat, de bi ta s. cerku inu altar se mogli k večnimu spominu vaše hvaležnosti popolnama dokončati. Inu imam velik trošt inu upajne, de se bo dopolnilu, dokler videm, de celu mestu jesemkaj prišlu čast svojga s. pomočnika pošlušat inu eno obilno almožno ofrat …«
Ob vizitaciji leta 1684 je bila cerkev še brez stranskih kapel, obokana, z zidanim pevskim korom, veliko in svetlo zakristijo ter zvonikom, ki je bil leta 1680 zgrajen s pomočjo mestnega sodnika Ederja. Opremljen je bil le glavni oltar sv. Florijana, in sicer z odlično poslikanim nastavkom, druga dva oltarja pa še nista bila opremljena. Cerkev je bila posvečena s tremi oltarji šele leta 1696. 1704 sta bili zgrajeni kapeli, v prvi polovici 18. stoletja pa so vso zunanjščino prekrili z novo fasado, tako da so stavbo poenotili.
Stolp za zvonove je dal zgraditi na lastne stroške takratni mestni sodnik in pozneje eden od najpomembnejših ljubljanskih županov Gabrijel Eder. Bil je sedemkrat mestni sodnik in devetkrat ljubljanski župan, kakor je zapisal mestni zgodovinar Ivan Vrhovec. Spominska plošča, vzidana na stolpu nad vodnjakom, nosi nemški napis, ki se glasi v prevodu: Gabriel Eder, član notranjega sveta, je dal zgraditi ta stolp v čast sv. Florijana in za tolažbo svoje duše in duš svojcev.
V knjigah piše, da se je sredi 18. stoletja in najbrž tudi že prej tisti del Starega trga, kjer stoji Sv. Florijan, imenoval Visoki trg (nem.: am Hochen Marckt). Okolici nove cerkve so pravili pri Sv. Florijanu, Rebru ali sedanji Ulici na Grad pa za Sv. Florijanom. Sv. Florijana ulica je v začetku 20. stoletja segala od stavbišča nekdanjih Pisanih (pozneje Karlovških) vrat do severnovzhodnega vogala mestne dekliške šole. Nemški občinski svet jo je hotel leta 1876. prekrstiti v Lavdonovo ulico, vendar je prevladalo ime sv. Florijan.
Stanje cerkve po velikem požaru konec junija 1774
Ob velikem požaru leta 1774, ki je divjal na Krakovem in upepelil precejšen del Starega trga, sta bili cerkev in njena oprema zelo poškodovani. Zvonik je izgubil streho, zvonovi so se raztopili, znotraj je bila precej poškodovana cerkvena oprava: oltarji, orgle, okna, tlaki. Vsa popravila so stala 1603 goldinarjev, 44 kron in 2 vinarja. Poškodovani cerkvi v prid so usodnega leta pobirali požarni davek. Nekaj denarja so prispevali dobrotniki. Zvonik so za silo pokrili in je tak ostal 66 let. Šele pozno jeseni leta 1840 je dobil novo streho; postavil jo je podjetnik Karol Koschier za 700 gld., ki jih je dala zbirka milih darov, zbranih na pobudo cerkvenega ključarja, zvonarja Antona Samasse. Spomenik velikega požara je šentflorjanski zvon (663 kg). Dne 27. marca 1916 so ga s tovarišema vred zaplenili avstrijski vojaki, a so ga zaradi njegove zgodovinske pomembnosti vrnili. Zvon ima dva latinska napisa.
Mestni magistrat je sklenil po požaru podreti stavbi jezuitskega kolegija in cerkev sv. Rozalije v tedanji Rebri na grajskem pobočju. Sklenili pa so obnoviti cerkvi sv. Jakoba in sv. Florijana, a se je obnova močno zavlekla.
Cerkev sv. Florijana je ob potresu leta 1895 ostala dokaj nepoškodovana, medtem ko je bila cerkev sv. Jakoba zaprta več kot dva meseca. Zato so bogoslužje opravljali pred Florijanovo cerkvijo.
Obnove cerkvenega poslopja in neposredne okolice v 20. stoletju
Obnovitvena dela na zunanjosti cerkve so se izvajala večkrat, in sicer v letih 1922, 1933-34, 1938-39. Cerkev je bila prebarvana v letih 1933-34. Ob tej priliki je odpadlo precej stenskih okraskov. Slikar Matej Sternen je leta 1922 obnovil zunanjo fresko Žalostne Matere božje, varuhinje ljubljanskega mesta, ki jo je popravil še leta 1933. Novembra 1932 so začeli prenavljati stopnice in vhod, o čemer so podrobno poročali v Slovenskem narodu. Delo in stroške je prevzela mestna občina leta 1933. Prenova je potekala po načrtih arhitekta Jožeta Plečnika, ki je uporabil stare kamnite stopnice uršulinske cerkve. Le-to je mestna občina urejala po Plečnikovih načrtih v letih 1930-31. Kljub veliki gospodarski krizi so dela izvajali temeljito in so stroške odplačevali redno. Kakor je zapisano v monografiji Plečnikova Ljubljana, so bile preureditve fasade in predprostora cerkve sv. Florijana del širše zamisli mestne občine, da uredi ulico na Ljubljanski grad in pri tem zamenja dotrajano cerkveno stopnišče. Plečnik se je ureditve lotil tako, da je zaprl glavni vhod v cerkev, ker je prvotno vhodno stopnišče segalo pregloboko v prostor ulice, tedaj glavne prometne povezave mesta proti vzhodu.
Šentjakobski župnik dr. Stanislav Perčič je v času svojega delovanja (1965-1982) skrbno obnavljal cerkev. Znotraj je bila prebeljena leta 1978. Ni mu pa uspelo, da bi odstranil akacijo, ki je prezbiteriju cerkve povzročala veliko škode. Šele poznejšemu župniku, patru Francetu Zupančiču, je leta 1984 mestna občina dovolila odstranitev drevesa. Leta 1989 je bil obnovljen Robbov kip sv. Janeza Nepomuka. Kip krasi vdolbino nekdanjega, do leta 1933 glavnega vhoda v cerkev. Obnovo kipa je omogočil Dare Simončič, tedanji lastnik restavracije Marco Polo pri Amerikancu. Leta 1994 je bila obnovljena zakristija, in sicer z namenom, da bi dobila cerkev primernejši prostor za nastopajoče. V letih 1994-1995 pa je bila obnovljena fasada in cerkveni stolp, ki so ga prekrili z bakreno pločevino.
