Trala morte de Ibáñez en 1809, a familia é detida e levada a Figueiras, polo que a casa sufrirá diferentes saqueos, sendo utilizada durante un tempo como cuartel, e mesmo como cárcere. Avanzado o século XIX, a casa é comprada polo comerciante Antonio Casas, pasando a coñecerse como “Casa de Casas” ou “Casa de Arriba”. Finalizada a guerra civil, é adquirida polo Concello, instalándose aquí dende entón a sede municipal.