En el solar donde se construyó la antigua Casa Palacio de los Condes de Castellar, se ubica actualmente el Ayuntamiento de El Viso del Alcor, cuya construcción se inició en los años noventa del pasado siglo, terminándose en el año 2007. A finales de los años 70 del siglo XX, previo a la llegada de la democracia, el edificio original fue derribado en su totalidad.
El edificio original sirvió para distintos usos antes de su destrucción total. Además de ser residencia de los señores de la Villa y las personas a su cargo, sirvió de residencia durante un breve espacio de tiempo para los recién llegados frailes mercedarios en el siglo XVII. Ya en el siglo XX, fue sede de monjas trinitarias desde 1914 a 1926 (como las mismas Hermanas Trinitarias mencionaban, su misión era hacer de las jóvenes mujeres laboriosas, inclinadas a la virtud y al trabajo, es decir, mujeres de provecho) y teatinas, albergando escuelas femeninas. Al comienzo de la Guerra Civil, a partir de julio de 1936, sirvió también como depósito carcelario para presos y aquellas personas consideradas no adeptas del golpe de estado franquista.
Dicho edificio,de dos plantas, sede la mayoría de servicios municipales, está en el centro neurálgico de la localidad.
