Il nome originario della chiesa, che risale al mille circa, era San Pietro de Veteribus o anche San Pietro al Veterano. Questi nomi sono stati verificati anche dalle stratificazioni architettoniche di epoche diverse, che sono venute alla luce nei recenti restauri della chiesa. In realtà, si tratta di ampliamenti e ristrutturazioni, voluti dalla comunità parrocchiale per nuove necessità, come quella di trovare spazi per le sepolture.

La chiesa presenta solo la facciata costruita, per il resto è completamente scavata nella roccia tufacea, per cui è un esempio di integrazione tra architettura costruita e architettura in negativo. Si sono individuate tre fasi strutturali: la prima risalente all' XI sec., la seconda al XV sec. e la terza al XVIII secolo.

La facciata presenta tre ingressi, di cui quello centrale è sovrastato da un rosone quadrilobato, iscritto in un fastigio semicircolare; gli altri due ingressi sono sormontati da una finestra ovale. In alto alla facciata si legge la data 1755, che sarebbe l'anno in cui è stata completata.

Il campanile a pianta quadrangolare è a tre ordini e termina con una cuspide ed è distaccato dalla chiesa: è simile a quello della Cattedrale e di San Pietro Caveoso. La campana è stata rifusa per essere utilizzata in un vano della chiesa stessa.

L'interno è a pianta basilicale con tre navate. La navata centrale presenta una controsoffittatura a vele, invece, quelle laterali sono sostenute da pilastri con arco a tutto sesto di tipo romanico: il tutto è stato realizzato scavando nella roccia, questo documenta la grande maestria dei litotomi che hanno realizzato la chiesa. Da alcuni documenti ecclesiastici si evince che la chiesa già nel pieno del XV secolo aveva ben sette altari, tutti dedicati da famiglie nobili materane e, in un resoconto di Mons. Saraceno del 1544, si può leggere quale e in quanto consistesse l'arredo della chiesa. Si possono vedere attualmente i sette altari, di cui solo quello maggiore è intarsiato nel legno, su cui vi era una tela del Seicento,ormai scomparsa, opera del pittore materano Gian Donato Oppido, che rappresentava l'Incoronazione della Madonna tra San Pietro e San Paolo e, ai loro piedi, una città murata (probabilmente Matera); gli altri altari invece sono in tufo. Alle spalle dell'altare si nota l'abside. Nella navata di sinistra si vede una porta, che immetteva in un vano, ovvero la sacrestia della chiesa, in cui sono stati rinvenuti affreschi di Santi; da questa si accedeva, per mezzo di una scala, alle sepolture. Segue il primo altare della navata di sinistra, poi il secondo dedicato all'Annunciazione e al centro vi sono le statue dell'Arcangelo Gabriele e della Madonna e ai lati e in basso le statue di San Francesco da Paola e San Domenico, San Francesco Saverio e San Francesco d'Assisi; sulla cimasa domina l'Eterno. Il terzo altare è detto del SS. Crocifisso, poichè in origine era una Cappella aggregata alla Confraternita del SS. Crocifisso di San Marcello a Roma. Il Crocifisso veniva esposto solo quattro volte in un anno, poichè l'esposizione era collegata con le indulgenze concesse da Papa Pio VI il 24 febbraio del 1777: così si leggeva sulla porta della sacrestia. Attualmente il Crocifisso è custodito nella chiesa di Sant'Agostino. Ai lati della nicchia che conteneva il Crocifisso, vi sono una Madonna con il Bambino e l'Arcangelo Michele; sulla cimasa sono dipinti Cristo con la Croce, la colomba dello Spirito Santo e L'Eterno; in basso si trova la statua di Gesù morto. Nella navata di destra, il primo altare era dedicato alla Sacra Famiglia, sopra la nicchia che conteneva una tela scomparsa, si vede nelle nubi la colomba dello Spirito Santo, sovrastata da angeli che sono intorno a Dio, dipinti da Vito Antonio Conversi XVIII sec.). Dopo vi è un'apertura che immette in un vano, dove sono affrescati da sinistra i santi Rocco, Eustachio, Agostino,Canione e Caterina e una figura manca, poichè asportata, ma sullo stipite si nota il volto della Madonna. Il secondo altare presenta un altorilievo in tufo policromo, raffigurante la Madonna con il Bambino incoronata da Angeli, opera di Stefano da Putignano. A sinistra nelle nicchie, dal basso verso l'alto: Santa Lucia, San Donato, Sant'Apollonia, San Vincenzo Ferreri e, infine, in cimasa l'Eterno. Il terzo altare era dedicato al SS. Sacramento, ma non si è salvato a causa di atti vandalici: è rimasta solo la statua si Sant'Antonio da Padova.

Purtroppo, la chiesa è stata abbandonata per un trentennio e, quindi, molte opere sono state disperse o peggio distrutte,  recentemente è stata restaurata, con i finanziamenti del Giubileo e anche da altri, come quello dell'American Express, ma vi saranno altri restauri per il fatto che la chiesa contiene ancora tante cose da scoprire.