Edifié sur les anciens remparts de la ville à la fin du 15e siècle, le Castel Franc abritait vraisemblablement le bailli (agent du roi chargé de fonctions administratives et judiciaires). Du 16e jusqu'au début du 20e, ce manoir appartient à la famille Gravier. De 1801 à 1822, il accueille la Mairie. En 1880, la façade est refaite dans un style néo-gothique. En 1928, il devient propiété de la Compagnie fermière de Vichy, qui le transforma en musée d'Art, d'Histoire et d'Archéologie de Vichy. Il est aujourd'hui fermé. La tourelle d'escalier est le seul vestige du Castel Franc dont la construction de la partie la plus ancienne remonte à 1482. Elle est inscrit à l'inventaire supplémentaire des monuments historiques depuis 1926.