La storia della chiesa e del crocifisso custoditovi, inizia nel XIV secolo.Nell'archivio capitolare della cattedrale della città, si conserva un atto notarile in pergamena, datato 5 marzo 1350, in cui i personaggi cittadini dichiarano di voler contribuire economicamente alla costruzione della chiesa "S.Croce". La data dell'atto notarile, pero, può indicare sia l'inizio dei lavori per la costruzione, sia il proseguimento degli stessi. E' più verosimile che indichi il proseguimento e la fine dei lavori, poichè, con certezza, la chiesa risulta essere stata costruita sotto l'episcopato di Giacomo II Carruba di Potenza, vescovo di Giovinazzo dal 1344 al 1350.

La chiesa, essendo di piccole dimensioni, non deve aver richiesto tempi lunghi per la costruzione, ed appare chiaro poi, che il vescovo e il popolo di Giovinazzo, vollero il luogo sacro con relativa urgenza, al fine di custodire e venerare un crocifisso trovato sulla spiaggia giovinazzese, in una cala che, da allora, è chiamata "Cala del Crocifisso".

La tradizione popolare narra che il crocifisso, opera scolpita in legno da ignoto artista di cultura bizantina, eseguita alla fine del XIII secolo, nel trasporto, via mare, verso la sua destinazione, sia andato perduto sulla spiaggia a causa del naufragio della nave su cui veniva trasportato. In qualsiasi modo si siano svolti i fatti, la provenienza del crocifisso è sconosciuta.

La cappella "S.Croce", costruita nel 1350, ha una dimensione interna di 6 m e quindi, con una pianta quadarta. Le linee architettoniche sono di puro stile romantico. I muri perimetrali conferiscono alla costruzione un aspetto solido. Questo modello costruttivo usato largamente in epoca antica, specie nella costruzione dei trulli, numerosissimi nella campagna pugliese, richiama la tradizione delle costruzioni a cupola in asse, miste di elementi locali e bizantini, diffusa nell'Italia meridionale. L'ingresso principale della capella di S.Croce, con buona probabilità era ubicato ad ovest, come lo è attualmente.

Nel 1587 il vescovo Luciano De Rossi fece ingrandire la chiesa di S.Croce, raccordando la parete del lato ovest dell'antica chiesetta con una sala costruita in funzione di navata, lunga 18 m e larga 8 m. Venne compreso nella superficie un antico pozzo molto frequentato dal popolo giovinazzese per attingervi l'acqua. L'antica cappella divenne così la zona presbiterale della nuova chiesa.

Nel 1931 si costruì il seminario serafico, alla parete sud della chiesa cinquecentesca , fu affiancato un vano-corridoio, probabile deposito. Con il sorgere di nuove esigenze, nel complesso chiesa-convento, nel 1942 furono eseguiti lavori di manutenzione e adattamento che richiesero l'eliminazione di uno dei tre antichi altari della navata: quello dell'ecce homo ubicato sul lato sud, vicino all'ingresso.

Nell'ambito poi dei lavori di restauro totale del 1962/64, furono eliminati anche gli altri due altari della parete nord: l'altare di S.Francesco, precedentemente dedicato ai Santi Medici, ubicato vicino al presbiterio, e l'altare di Sant'Anna, posto vicino all'ingresso, una volta di fronte all'Ecce Homo.Il vano-corridoio venne collegato alla chiesa come navatella.

Nel 1974 nella navatella furono eretti due nuovi altari: il primo dedicato alla Madonna Immacolata tra i santi francescani e il secondo a Sant'Antonio da Padova con i santi cappuccini.

Dal 1974 ad oggi la chiesa non ha subito sotanziali modifiche, tranne l'aggiunta e la restaurazione di alcuni dipinti.