Documentat per primera vegada al 1026 en què la comtessa Ermessenda de Carcassona va fer una donació de terra erma a tres famílies. Aquestes tres famílies van poblar el lloc i van construir una torre de defensa o fortalesa al puig de Cervera.
El castell , situat estratègicament al camí d’Aragó, apareix desvinculat de la família Cervera des del començament del segle XIV. Fou un castell molt utilitzat pels reis per a sojornar-hi durant els seus viatges o en les campanyes militars. Al segle XV es trobava en molt mal estat i consta que els paers de la vila van reclamar al rei que el reparés. Fou restaurat pel rei Joan II: les obres començaren el 1465 i el 1470 encara no havien acabat. Per un inventari del castell del 1482 se sap que constava de: la torre del castlà, la cambra del blat, la cambra del “cargol dalt”, la recambra de la xemeneia, la cambra major de la xemeneia, la sala, el pastador, la capella, cisterna, la cambra de sobre l’església, la torre d’homenatge, la garita nova, l’estable, la cambra de Joan Caçador, el forn, el pati davant la porta del castell, el celler del vi blanc, el celler major, lapallissa, la ferreria i la cambra de sobre la ferreria.
Fou destruït el segle XIX tot i que els vestigis del castell encara es podien veure a mitjan segle XX, moment en què es va acabar d’ensorrar. Ara queden sols vestigis dels murs i la planta.
Actualment romanen unes restes reduïdes de l’antic castell en el qual es practicà una excavació arqueològica l’any 1991. S’hi endevina un recinte ampli amb una planta gairebé quadrada, que devia tenir una torre circular a cadascun dels quatre angles. La façana occidental, la millor conservada, fa poc més de 35 m de llarg, és acabada amb sengles torres d’angle i mostra algunes obertures. Dels dos extrems, nord-oest i sud-oest, a tocar de les torres arrencaven, cap a ponent, les muralles que circumdaven la població de Cervera als darrers segles medievals. Cap al nord passaven per darrere de Sant Domènec i es dirigien vers l’església de Sant Magí on hi havia un dels portals. Per la cara sud les restes del castell queden adossades a construccions particulars d’usos diversos Al mur perimetral oest hi ha una base d’1,5 m d’alçada construïda sobre la roca i feta de manera irregular. El tram superior corresponent als 1,5 a 3 m és fet de carreus no gaire grossos units amb morter de calç i col·locats en filades horitzontals.
A l’interior del clos del castell hi ha un mur que va d’est a oest, amb una llargada almenys de 24 m i un gruix de 155 cm. Era fet amb bons carreus força escairats no gaire grossos, com els del mur perimetral exterior i col·locats en filades. Als extrems d’aquesta paret transversal hi arrencaven sengles murs que es dirigien cap al nord fets amb un aparell constructiu molt semblant. Uns metres cap al sud hi ha una altre mur transversal més estret (70 cm) i fet menys acuradament. És possible que algunes d’aquestes parets corresponguin al castell fet el segle XI, Les torres són molt posteriors al recinte. Foren bastides en un moment tardà de l’edat mitjana. El sector est del recinte del castell ha estat usat fins fa molt poc com a escorxador i està molt malmès. Caldria una campanya d’excavacions de tot el conjunt perimetral per a poder reconstruir amb exactitud la planta del castell primitiu.
Rutes Segarra 