Situato al centro del capoluogo, è il castello più antico del comune di Perloz. Fu costruito dalla nobile famiglia valdostana nel XVII secolo con l'intento di realizzare una vera e propria dimora signorile e fu occupato dai baroni e poi dai conti di Vallaise fino al 1852. Ancora ai nostri tempi viene chiamato l' "Ohtal" (dal latino "hospitalis" e dal francese antico "ostel"), cioè dimora comoda con tutti i servizi.

La costruzione è imponente, con cinque piani fuori terra, e queste dimensioni dovevano avere anche un significato politico: l'imponenza della casa-forte doveva infatti colpire lo sguardo di quanti risalivano la Valle del Lys, dando prova della potenza della Famiglia Vallaise.

Si accede all'interno passando dalla torre laterale, munita di caditoia e di "viret", una scala a chiocciola del 1616, con bella balaustra in pietra. Nei due piani superiori della casa-forte i soffitti sono quelli originali in legno; una stanza è munita di controsoffitto con vano-nascondiglio. Nella cucina è presente un enorme camino con cappa in legno. Le cantine e le cosiddette prigioni poggiano sulla viva roccia, mentre a picco sul torrentello vi è un'apertura che facilitava la fuga dall'abitazione in caso di pericolo. Poco distante dalla torretta-ingresso è presente un altro accesso al corpo inferiore del castello, tramite una scala e una porta con lo stemma dei Vallaise-Challant, che ricorda il matrimonio tra Pierre di Vallaise-Challant (ramo De la Côte) e Antoinette de Challant (1400 circa).

Interessanti sono una serie di finestre a bifora, trilobate, a tutto sesto e a crociera, bordate di pietra grigia. All'interno era dotata di un pozzo da cui attingere acqua fresca. Due camini monumentali sono ancora visibili: su uno di essi lo stemma dei Vallaise, scolpito nella pietra grigia. Il castello fu incendiato durante il rastrellamento nazi-fascista del 30 giugno 1944: il tetto è stato rifatto, ma non è stato possibile ripristinare i due piani di pavimento in legno.