Alla fine di Vico Solitario, quasi sul ciglio della Gravina, nel Sasso Caveoso, si trova l'antico monastero di Santa Lucia alle Malve. Nelle relazioni della visita di Monsignor Saraceno viene chiamata Santa Lucia in Casalis novi. Sulla facciata si notano tre calici di epoca diversa, su cui sono posti gli occhi della Santa. La chiesa si distingue subito dall'antica laura che si sviluppava a destra e a sinistra della cripta ed era formata da grotte, che vennero abbandonate dalle monache benedettine nel 1283, poichè si trasferirono nei pressi della Civita e, quindi, questi spazi  furono utilizzati come abitazioni  dai contadini.

La chiesa è stata tale fino al 1798, quando le monache si trasferirono definitivamente sul Piano, con la costruzione della chiesa di Santa Lucia al Piano, con il convento annesso.

La chiesa rupestre era costituita da tre navate absidate, concepite non in maniera del tutto simmetrica; il soffitto appare pianeggiante, ma mostra ben cinque pseudocupolette, rese evidenti da due cerchi concentrici, appena scavati nella roccia calcarea. Prima che la navata centrale fosse adibita ad abitazione, vi era la divisione tra peristasi ed aula con l'iconostasi, che è stata portata vicino l'ingresso per utilizzare lo spazio come focaia.

Sulla parete della navata di destra si notano nicchie, in cui sono raffigurati due affreschi: San Michele Arcangelo ( prima metà del XIII sec.), in posizione frontale retta, è in un nimbo color ocra dal bordo rosso, orlato di doppia fila di perle, vestito con il loros (abito dell'imperatore bizantino) e in atto di schiacciare il drago; la Madonna del Latte (seconda metà del XIII sec.), ovvero la Galattotrofusa, nel nimbo gemmato, è genuflessa sul trono gemmato, tiene nel braccio destro il Bambino, invece, con l'indice e il medio della mano sinistra gli porge il seno, veste una tunica azzurra sotto un maphorion rosso drappeggiato e calza cimbali rossi. Sul pilastro adiacente è raffigurato San Gregorio (così si legge sull'affresco, seconda metà del XIII sec.), ha l'aureola gemmata, mitria, infulae e pastorale che termina con protome animale, indossa il pallium crociato e una dalmatica decorata, il volto appare severo per la barba e i baffi bianchi ben delineati. Sulla controfacciata, sono presenti altri affreschi, ovvero il Precursore e San Benedetto e, di fronte, nell'intradosso dell'arco, Santa Scolastica. Nella navata di destra sono presenti affreschi di epoche differenti, visto che la struttura continuò ad essere chiesa,  nonostante l'abbandono delle benedettine. Sulla parete di destra si notano affreschi di notevole fattura come l'Incoronazione della Vergine fra Santi, una Deposizione e San Nicola (XIII-XIV sec.). Sulla parete opposta, una Madonna con il Bambino di buona fattura con orante, databile tra la fine del XVI e l'inizio del XVII secolo. Sulla parete dell'altare vi è una nicchia entro cui si trova la statua di Santa Lucia che porta il calice sulla mano, accanto un'altro affresco della Santa,  databile al XVII sec.e sulla sinistra San Vito. Sopra questi affreschi, una finestra bifora scavata nella roccia.