Burna prošlost grada Karlobaga vidljiva je u ostacima srednjovjekovne tvrđave ponad grada – Fortice i nekoliko crkava. U kapucinskom samostanu s crkvom sv. Josipa bogato je knjižničko i likovno blago, a osobito je značajna slika Posljednje večere nepoznatog autora.
Rimsko je naselje, koje se zvalo Vegium, imalo vojnu, prometnu i trgovačku važnost, a postojalo je sve do IV. ili V. stoljeća kad su ga stanovnici pred navalom Gota napustili i pobjegli u Pag. Napuštanje grada nije ujedno izblijedilo i sjećanje na njegovo postojanje, pa je prema sličnosti imena mjesta i otoka Pag, ime gradu pretvoreno u Bag. U vrijeme hrvatskog kralja Zvonimira taj prostor je pripadao primorskoj župi u sastavu biskupije u Rabu. U doba vladavine Mletaka na dijelu hrvatskog jadranskog primorja iz prirodne luke Bag (Baška draga) prema srednjem ličkom zaleđu, preko važnih velebitskih prijevoja Oštarijska vrata i Baške Oštarije, vodile su karavane.
Godine 1480. zauzima ga kralj Matija Korvin i priključio ga je Senjskoj kapetaniji.
Nakon sklopljenog mira u Sremskim Karlovcima 1699. godine, kada je Lika pridružena Hrvatskoj, odnosno Vojnoj krajini, jedno je vrijeme Karlobag bio središte za čitav lički prostor, da bi 1733. godine prvo upravno središte za čitav taj novo osvojen prostor bilo premješteno u novo utemeljeno naselje i središte Gospić.
Ukidanjem Vojne krajine i nakon ponovnog sjedinjenja s građanskom civilnom Hrvatskom 1881. godine unutar Austro-Ugarske monarhije, prema političko - teritorijalnoj podjeli iz 1883. godine, ovaj je većim dijelom submediteranski prostor na dijelu Velebitskog podgorja, pripao I. Županiji Lika - Krbava (Gospić) i to obuhvaćen kao 8. Grad Bag (Karlobag) unutar jedne zajedničke lokalne upravne cjeline.
Za vrijeme Kraljevine Jugoslavije teritorij današnje općine Karlobag se nalazio unutar Savske banovine, zatim u razdoblju 1939.-1941. u sastavu Banovine Hrvatske, da bi za vrijeme Nezavisne države Hrvatske (1941. - 1945.) pripadao Velikoj župi Lika i Gacka.
Ukidanjem Vojne krajine i nakon ponovnog sjedinjenja s građanskom civilnom Hrvatskom 1881. godine unutar Austro-Ugarske monarhije, prema političko - teritorijalnoj podjeli iz 1883. godine, ovaj je većim dijelom submediteranski prostor na dijelu Velebitskog podgorja, pripao I. Županiji Lika - Krbava (Gospić) i to obuhvaćen kao 8. Grad Bag (Karlobag) unutar jedne zajedničke lokalne upravne cjeline.
Za vrijeme Kraljevine Jugoslavije teritorij današnje općine Karlobag se nalazio unutar Savske banovine, zatim u razdoblju 1939.-1941. u sastavu Banovine Hrvatske, da bi za vrijeme Nezavisne države Hrvatske (1941. - 1945.) pripadao Velikoj župi Lika i Gacka.