Die stürmische Geschichte der Stadt Karlobag ist an den Ruinen der mittelalterlichen Burg Fortica, die sich oberhalb der Stadt befindet, und mehreren Kirchen sichtbar.

Das Kapuzinerkloster mit der St. Joseph Kirche birgt eine wertvolle Bibliothek und zahlreiche Kunstschätze, darunter ein besonders wichtiges Gemälde - das Letzte Abendmahl von Christoforo Tasco. Die römische Siedlung mit dem Namen Vegium war von großer Bedeutung für Militär, Verkehr und Handel und sie existierte bis zum IV oder V Jahrhundert, als ihre Bewohner vor dem Angriff der Goten die Siedlung verließen und nach Pag flohen.

Das Verlassen der Stadt hat aber nicht die Erinnerung an seine Existenz verblasst, sodass die Stadt den Namen Bag bekam, ähnlich wie der Name des Ortes und der Insel Pag. Zur Zeit des kroatischen Königs Zvonimir gehörte dieses Gebiet der Küstenpfarrei an innerhalb der Raber Diözese. In der Zeit der venezianischen Herrschaft führten Karawanen auf diesem Teil der kroatischen Adriaküste aus dem Hafen Bag (Baška Draga) ins zentrale Hinterland Richtung Lika, über den Velebiter Gebirgssattel Oštarijska Vrata und Baške Oštarije.

Im Jahre 1480 wird die Stadt von König Matthias Corvinus besetzt und ans Kapitanat von Senj angeschlossen. Nach dem Frieden von Sremski Karlovci 1699, als Lika Kroatien bzw. dem Militärdistrikt zugeteilt wurde, war Karlobag eine Zeit lang Zentrum für den gesamten Lika- Raum jedoch 1733 wurde das Verwaltungszentrum für dieses ganze neu eroberte Gebiet in die neu gegründete Ortschaft Gospić übertragen.