En el barrio de Elsedo, en la población de Pámanes se encuentra el palacio de Elsedo, que se construyó entre 1710 y 1715, a instancias de Francisco de Hermosa y Revilla, primer conde de Torre-Hermosa, caballero de Calatrava y alto dignatario de Felipe V, quien mandó elevar la capilla y reedificar la vieja casa solariega.
Su original diseño se debe al arquitecto Francisco Agüero, nacido posiblemente en Pámanes. Entre sus obras se encuentran la colaboración en la construcción de la Capilla de Alfonso el Casto y el Panteón Real en la Catedral de Oviedo. La entrada al palacio se realiza a través de una portalada con pilastras acanaladas, con arco de medio punto coronado con un escudo con las armas de Avellano y Hermosa, con la divisa: "Hermosa hazaña hiciste, conde Federico".
La planta del palacio es relativamente complicada, con edificaciones unidas, pero con cierta independencia. A la derecha de la portalada, encontramos un edificio bajo con pórtico de dos arcos, del cual arranca la escalera; al lado, otro edificio más alto, con pocos huecos y reforzado con un machón circular en uno de sus ángulos. Al fondo, otra pequeña construcción dedicada a caballerizas. Formando fachada con el primero de los edificios citados, tenemos la torre octogonal, y algo más retirada, la capilla, de cruz latina con cabecera poligonal.
El estilo en general es sobrio y elegante, con ligeras influencias vitruvianas en el uso del almohadillado, la utilización de la columna o la sillería bícroma. La torre, es lo más interesante del palacio. Su planta octogonal, innovación en la región, le confiere una especial esbeltez. Cada uno de los tres pisos está indicado por dos hiladas de piedra roja. La cornisa conserva gárgolas decorativas de tradición gótica, y sobre ella, un antepecho de hierro es sostenido por pilastrillas de piedra que rematan en pináculos platerescos.
La policromía de la torre se acentúa en los sillares almohadillados de la capilla. En su interior, se guardan los sepulcros del fundador y su hija, así como los de Agustín Hermosa y su hijo.
En la actualidad, gran parte del palacio está dedicado a museo de arte moderno, pudiéndose observar obras de destacados artistas como Pablo Serrano, Berrocal, Chillida, Vázquez Díaz, María Blanchard, Gutiérrez Solana, etc.
Este palacio está declarado Bien de Interés Cultural en 1983.
