À l’emplacement de l’ancien palais des comtes de Castellar se trouve actuellement l’hôtel de ville d’El Viso del Alcor, dont la construction a commencé dans les années 90 du siècle dernier et s’est achevée en 2007. À la fin des années 1970, avant l’arrivée de la démocratie, le bâtiment d’origine a été démoli dans son intégralité.
Le bâtiment d’origine a été utilisé à diverses fins avant sa destruction totale. En plus d’être la résidence des seigneurs de la ville et de leurs dépendants, il a servi de résidence pendant une brève période pour les frères mercédaires récemment arrivés au XVIIe siècle. Au XXe siècle, il a accueilli les religieuses trinitaires de 1914 à 1926 (comme les sœurs trinitaires elles-mêmes l’ont mentionné, leur mission était de rendre les jeunes femmes industrieuses, enclines à la vertu et au travail, c’est-à-dire des femmes de profit) et des théâtres, abritant des écoles de femmes. Au début de la guerre civile, à partir de juillet 1936, il a également servi de dépôt de prisonniers et de personnes considérées comme n’étant pas des partisans du coup d’État de Franco.
Ce bâtiment de deux étages, qui abrite la plupart des services municipaux, se trouve au cœur de la ville.