Il cosiddetto Castello Tramontano è costituito soltanto da tre bastioni circolari, a mo' del Maschio Angiono di Napoli, che sormontano una collinetta speculare a quella della cattedrale, per rimarcare il dominio del Conte Tramontano sulla città.
Il feudatario era nativo di Sant' Anastasìa (Na) ed era di estrazione borghese, essendo stato maestro della zecca prima a L'Aquila e poi a Napoli. Per gli appoggi finanziari offerti al re aragonese nel 1497 fu insignito del titolo di conte di Matera. Rimase a sostenere la dinastia aragonese anche dopo la discesa del re francese Carlo VIII. Fu un grande uomo d'affari, anzi cercò di impadronirsi dei commerci della lana che venivano dalla Calabria e dalle saline nel metapontino gestivano le famiglie nobili del territorio. Quindi si circondò di nemici non solo delle famiglie nobili, ma anche tra il popolo, visto che le fonti tramandano che avesse imposto molte tasse e che esercitasse lo ius primae noctis. Così iniziò la costruzione di un poderoso Castello, che sarebbe diventato una fortezza sulla collina di fronte alla città, per controllarla; non riuscì a completarlo, in quanto fu ucciso da un gruppo di congiurati, la notte di Natale (28 dicembre) del 1515, mentre usciva dalla Cattedrale dalla porta detta "dei serpenti", dopo aver assistito ad una funzione sacra. Il conte Tramontano fu eliminato a falciate da alcuni contadini che si erano organizzati per compiere l'azione, certamente sobillati da giovani nobili materani, che mal sopportavano il potere del conte. Da quella notte, il vicolo in cui si consumo l'omicidio e la vendetta fu chiamato "Via del Riscatto", proprio a memoria dell'atto di liberazione dal tiranno.
La città, dopo che fu commesso un fatto tanto grave, l'uccisione del feudatario, rischiava di essere rasa al suolo e cosparsa di sale, ma ciò non accadde, poichè i nobili si presentarono alla corte del re di Napoli, chiedendo l'indulto in cambio di un sacco di monete d'oro..
Il Quadro della concessione dell'indulto da parte del re di Napoli è esposta negli uffici del Sindaco di Matera.
