Il complesso rupestre si trova nel rione detto Tempe Cadute del Sasso Caveoso: si tratta di quattro Chiese rupestri comunicanti, i cui ingressi si aprono su un cortile comune (da qui probabilmente convicinio), databili tra il XII e il XIII secolo. Si accede da un unico portale di ingresso leggermente strombato con motivi fitomorfi, con arco ogivale trilobato. Ai tempi di Mons. Giovanni Michele Saraceno (1543-44) il complesso risultava essere ancora utilizzato come luogo di culto, aveva i propri beni ed un cappellano, evidentemente si trattava di Chiese di Congregazioni laicali. Verso la  metà del '700, le Chiese furono profanate e divennero cantine e infatti, ancora oggi, si possono notare i palmenti per la pigiaura dell'uva.

Dal cortile, da cui si può ammirare un panorama mozzafiato sui Sassi di Matera e sulla Gravina, si accede nelle seguenti Chiese rupestri:

San Primo

Si accede da un vano che evidentemente è stato utilizzato come abitazione forse del custode, in cui si nota un giacitoio e  resti di una cucina, e una cisterna d'acqua e una cantina. La Chiesa, completamente scavata nella roccia calcarea, si articola in due cappelle divise da un pilastro che si rastrema in corrispondenza delle arcate. Il soffitto è a tenda con una nervatura centrale e voltine segnate da costoloni. Nell lunette absidali si vedono scolpite croci equilatere in bassorilievo, poste su simbolici triangoli.

Santa Maria Annunziata o Sant'Eligio

Da San Primo si accede nella Chiesa attigua, la cui planimetria oggi appare completamente dissestata, anche se si distinguono nettamente due presbiteri, con relative calotte absidali segnate dalla croce equilatera su un triangolo. Un tempo la Chiesa era illuminata non solo da quattro finestre ma anche da splendidi affreschi di cui oggi rimangono soltanto una sbiadita Madonna con il Bambino vicino la porta d'ingresso e nell'abside un Cristo benedicente in una cornice su cui vi sono i simboli della ede cristiana e l'intradosso dell'arco è decorato da un motivo a cassettoni di elegane fattura.

San Donato

Questa Chiesa è a pianta quadrata e lo spazio interno, ricavato nella roccia, è scandito da due grandi pilastri su cui vi sono archi parabolici e soffitto a tenda. La Chiesa è divisa in tre pseudo-navate: quella centrale immette nel presbiterio per cui si accedeva ad un livello inferiore, nel cellarium, utilizzato in seguito come cantina. Sulle pareti laterali dl presbiterio si notano diversi affreschi e il soffitto è scandito da una croce equilatera scavata nella roccia. Le navate sono scandite dal soffitto a tenda marcato da una nervatura centrale; il presbiterio di sinistra si differenzia per la volta a crociera. Vicino l'ingresso si nota una cisterna per la raccolta dell'acqua piovana e sul pilastro l'affresco di San Donato, in realtà ne rimane solo il volto incorniciato dai capelli e dalla barba bianca è di notevole fattura, sul capo una mitria con infulae, ai lati l'iscrizone S.DONAT ed il ricciolo pastorale terminante con protome animale. Il riquadro è sovrastato da un reticolo con cornice rossa e fondo nero. Sul pilastro di destra addossato all'abside si nota l'immagine di San Leonardo, in abito monacale, benedicente e in mano regge un libro e i ferri del martirio; al lato l'epigrafe LEONARDIUS e in basso la piccola figura del committente. Sull'intradosso dell'arco absidale si vede Santa Dorotea, molto rovinata e in basso una figura che regge una palma e la torre o una coppa, forse si tratta di Santa Barbara. Sulla parete di fondo dell'abside un palinsesto in cui si leggono due scene: la prima raffigura un Vescovo (San Donato?) che con unasta trafigge un drago e sulla destra il Vescovo he risuscita un morto assistito da due monaci e due oranti. 

Sant'Antonio Abate

L'ingresso è anticipato da un piccolo pronao ed è sormontato da una cornice trilobata, identica a quella del portale d'ingresso del Convicinio. Sull'architrave vi è una mattonella ceramicata, su cui vi sono due croci incrociate e l'iscrizione S.P.C., che dovrebbe indicare l'appartenenza a San Pietro Caveoso. La Chiesa rupestre è a pianta rettangolare, divisa in tre navate da quattro pilastri. Nella navata di destra si nota un ingresso autonomo e un piccolo vestibolo, con una nicchia in cui è ricavata la croce equilatera. Lungo la navata centrale, sui pilastri si aprono altre nicchie che contengono alcuni affreschi come Sant'Antonio Abate, dal viso solenne con la barba bianca, di buona fattura del XVI secolo e un barocco San Sebastiano. Sulla parete di fondo della navata sinistra crollata in parte, è l'affresco della Madonna orante contornata da angeli che assiste il lavoro dei campi di un contadino: probabilmente si tratta della Madonna di Picciano, molto venerata nel Santuario a 12 km circa da Matera. La navata centrale e quella di sinistra presentano il soffitto a tenda segnato dalla nervatura centrale; le cavità lenticolari che sovrastano i presbiteri laterali contengono croci gigliate, mentre la volta del presbiterio centrale è a crociera. Nei presbiteri absidati sono evidenti i palmenti per la pigiatura dell'uva e all'ingresso la solita cisterna per laraccolta dell'acqua piovana.