Il castello risale al periodo Longobardo, costruito intorno alla metà del secolo X ,periodo in cui ci furono le autorizzazioni all’incastellamento delle terre e dei poderi dei signori, sulla zona più alta della città.
Il castello nel 1138 fu assalito da re Ruggero II che creò numerosi danni strutturali, poi ristrutturato e riadatta nel 1270. Il primo feudatario del castello fu Francesco Pandone nominato conte di Veanfro nel 1443 da Adolfo I. In questo periodo il castello fu adeguatamente strutturato per una difesa più idoena alle tecniche belliche del periodo.
Nel 1487 i sudditi di Scipione Pandone , nipote di Francesco si ribellarono alle continue ancherie dell padrone del castello e presentarono una petizione a re Ferrante per chiedere che la città passasse al demanio. Con l’inizio del cinquecento finiscono le guerre e al castello vengono apportate modifiche strutturali per utilizzare il castello non più come difesa ma come residenza abitativa. Alle pareti vengono effigiati affreschi che riportavano figure dei cavalli in quanto interessati per la valorizzazione delle razze e affreschi di personaggi importanti.Venne costruita una loggia con delle arcate, un salone e la sala del Teatrino. L’era dei Pandoni termina come feudatari nel mese di settembre del 1528 quando venne catturato e portato a Napoli per essere giustiziato in quanto ritenuto traditore degli spagnoli.
Dopo la morte dei Pandoni ci sono state altre famiglie che hanno acuistato e venduto il castello apportando significative ristrutturazioni , poi nel 1979 il Ministero dei Beni Culturali lo prende per farlo diventare un bene dello Stato.
Oggi il castello è sede del primo Museo Nazionale del Molise dove, oltre alle pitture e affreschi naturali, ci sono importanti pitture di artisti contemporanei e del seicento provenienti da altre regioni.