O Palácio dos Melos, também designado por Palácio dos Marqueses de Olhão, Condes de Castro Marim, em Xabregas, terá sido um dos locais onde se reuniram alguns dos heróis da Revolução de 1640 – que restaurou a Independência nacional e quebrou o domínio castelhano.
Jorge de Melo foi o primeiro habitante desta extensa propriedade, que lhe fora concedida pelo rei D. João III em 22 de maio de 1524. No entanto, o palácio só seria construído no primeiro quartel do século XVIII, sobre o núcleo principal da casa quinhentista. A enorme casa, erguida ao centro da propriedade sofreu grandes danos, com o terramoto de 1755, tendo o seu proprietário de então, D. Pedro de Melo da Cunha de Mendonça e Menezes, procedido a algumas obras de restauro, que obedeceram a um novo traçado.
As primeiras conspirações dos conjurados de 1640 foram feitas neste palácio que, na altura, pertencia a D. Vasco de Menezes, um dos 40 fidalgos partidários da causa de D. João, duque de Bragança, mais tarde Rei de Portugal.
Por morte do proprietário, o palácio dos Melos passou para D. Francisco de Melo Cunha Mendonça e Menezes, que foi o primeiro conde de Castro Marim (1802) e primeiro marquês de Olhão (1808).
No interior do palácio são visíveis os traços da arte seiscentista, com paredes grossas e maciças e corredores abobadados. Mas nota-se, igualmente, uma sobreposição de outros tipos de arte, mercê dos vários restauros efetuados. No último século, a sala de cerâmica de azulejos foi restaurada e hoje ainda podemos contemplar, na Rua de Xabregas, a magistral frontaria do edifício, que dispõe de catorze janelas em cada andar.