La tradizione locale fa di Albenga, tra il 121 ed il 125, la scena del martirio di san Calocero, originario di Brescia, un ufficiale della corte dell’Imperatore romano Adriano; gli atti del suo martirio, insieme a quelli dei santi Faustino e Giovita, non sono totalmente verificati.
Secondo alcuni autori l’evangelizzazione di Albenga si deve a san Calimero, vescovo di Milano, nella seconda metà del III secolo. Il primo vescovo di cui si abbia notizia certa è Quinzio, che nel 451 firmò la lettera sinodale di Eusebio, vescovo di Milano, a papa Leone I; nella lettera si stabiliva la condanna di Nestorio ed Eutiche (Mansi). Originariamente la diocesi era suffraganea dell’arcidiocesi di Milano.
Nei secoli successivi le notizie sui vescovi di Albenga sono frammentarie fino all’XI secolo. Nel 1159 papa Alessandro III assegnò la diocesi alla provincia ecclesiastica dell’arcidiocesi di Genova, ma il provvedimento non trovò immediata attuazione, tanto che ancora nel 1213 papa Innocenzo III ribadì al vescovo Enrico la sottomissione dovuta all’autorità metropolitica degli arcivescovi genovesi.
Il 21 aprile 1569 fu istituito dal vescovo Carlo Cicala il seminario diocesano, che ebbe un nuovo edificio nel 1622 prima di trasferirsi nell’attuale sede nel 1929. Il 2 febbraio 1965 incorporò la parrocchia di Nasino, che era appartenuta alla diocesi di Mondovì. Il nome della diocesi è stato cambiato in diocesi di Albenga-Imperia il 1º dicembre 1973.