Tras la muerte de Ibáñez en 1809, la familia es detenida y llevada a Figueras, por lo que la casa sufrirá diferentes saqueos, siendo utilizada durante un tiempo como cuartel, e incluso como cárcel. Avanzado el siglo XIX, la casa es comprada por el comerciante Antonio Casas, pasando a conocerse como “Casa de Casas” o “Casa de Arriba”. Finalizada la guerra civil, es adquirida por el Ayuntamiento, instalándose aquí desde entonces la sede municipal.