Secondo altre fonti, acquistò la proprietà dai Vallaise tale André-Joseph Millet, ma il figlio avvocato Grat-Joseph Millet, nel 1731, la vendette alla prevostura del Gran San Bernardo. Nel 1754 la Bolla di scissione di Benedetto XIV assegnò i possedimenti valdostani all'Ordine dei Santi Maurizio e Lazzaro, espropriando quindi di fatto questi terreni alla prevostura del Gran San Bernardo. Nel 1745 lo stesso Grat-Joseph Millet rivendette il ricavato agricolo (la plus- value) degli stessi terreni al canonico Pierre-François Bizel, vendita separata rispetto alla proprietà non infrequente all'epoca.

Ciò su cui concordano le fonti è che il 9 luglio 1746 i Barillier acquistarono una fattoria nei pressi dei terreni di Montfleury dai Perrone di San Martino per procura dello stesso Bizel: secondo Sandra Barbieri forse era questa la proprietà relativa al castello di Montfleury, mentre Chiara Devoto esclude che possa già trattarsi dell'acquisto da parte dei Barillier di Montfleury e del castello. Per Bruno Orlandoni questa data rappresenta in ogni caso un termine post quem, se non proprio una certificazione attendibile in mancanza di una documentazione completa.

Alcune fonti, come Lin Colliard e Bruno Orlandoni, indicano la costruzione della villa proprio a seguito di quest'atto di acquisto da parte dei Barillier, datandola alla fine del XVIII secolo. I Barillier, nella seconda metà del Settecento, avevano fatto costruire anche l'unico esempio di edilizia residenziale rococò presente ad Aosta, la Maison Barillier in via Croce di Città. La datazione della costruzione della Maison Barillier è incerta, ma far chiarezza su questa permetterebbe di chiarire anche la datazione del villino di Montfleury.

Seguendo la propria ipotesi, che scarta la data del 1746 come acquisto della particella di terreno su cui sorgerà il castello, Chiara Devoti presume che i Barillier negli anni successivi pervennero comunque all'acquisto della fattoria poi trasformata in villino in regione Montfleury: infatti il Catasto sardo di Aosta del 1768 attesta già la presenza di un château (castello) a Montfleury e in regione Champferré di un mas (agglomerato di abitazioni rurali), forse coincidente con la fattoria citata nel documento del 1746, e attribuisce a Claude-Michel Barillier il possesso di particelle a Montfleury, una parte delle quali per Devoto sarebbe stata acquistata (probabilmente dalle Visitandine, seppure manchino gli atti) tra il 1746 e il 1768.

Quel che è certo è che l'edificio fu costruito nella seconda metà del Settecento. Gli studiosi di architettura valdostana sono inoltre abbastanza concordi sul fatto che la delizia possa essere sorta sopra un edificio preesistente, per alcuni sarebbe ipotizzabile l'influenza della struttura pregressa sulle particolari scelte architettoniche della villa, per altri l'evidenza sarebbero i tempi tempi troppo stretti per un'edificazione ex-novo.

Secondo le ipotesi più recenti e accreditate, come abbiamo accennato, l'edificio fu in prima istanza una parte di una fattoria di proprietà del Convento delle Suore dell'Ordine della Visitazione di Santa Maria, dette Visitandine, già proprietarie per il Catasto sardo di Aosta del 1768 di altra proprietà in zona adiacente a quella dei Barillier, probabilmente la cappella della fattoria stessa. Le Visitandine cedettero quindi il castello ai notabili Barillier: passò in mano al suocero di Emmanuel Bich, il commerciante valdostano Claude-Michel Barillier (forse nel 1760, o comunque tra il 1746 e il 1768), il quale volle ingentilire la struttura per trasformarla in residenza estiva per le sue gite fuori porta, apprezzando la posizione panoramica lungo la via per la Francia e lo spazio per un grande salone da ballo.

La villa suburbana divenne celebre in quanto fu lo scenario di fine Settecento per gli incontri galanti tra Xavier de Maistre e Marie-Delphine Petey, vedova di Jean-Joseph Barillier e proprietaria della villa-delizia, celata dallo scrittore nel romanzo Voyage autour de ma chambre (Viaggio intorno alla mia camera, del 1794) e in altri componimenti sotto lo pseudonimo di "Elisa".

Il castello di Montfleury fu acquistato dal barone Emmanuel Bich (1800-1866) all'inizio del XIX secolo, secondo André Zanotto nel 1833. Tra gli anni settanta e ottanta dell'Ottocento (nel 1877, nel 1880 o nel 1887 a seconda delle fonti) entrò a far parte delle proprietà dei notabili valdostani Perrod.

Per un certo periodo, in data imprecisata e secondo la tradizione, come riporta Lin Colliard, il castello di Montfleury ospitò anche la loggia massonica aostana.

Nel 1913 il castello era in mano a Henry Perrod. I Perrod conservarono il castello di Montfleury fino al 1950. Da allora i proprietari sono i Canonici Regolari della Congregazione Ospedaliera del Gran San Bernardo che l'hanno acquistato per dar vita alla scuola di agricoltura.

I Canonici operarono nel giro di pochi anni un restauro dell'edificio e demolirono alcuni agglomerati abitativi che si addossavano allo stesso, costruendo strutture più funzionali poco lontano, ancora oggi in uso.

Nel 1982 l'École pratique d'agriculture confluisce nell'Institut Agricole Régional: ad esso sono state affidate varie strutture, come la villa e la cascina di Montfleury, e i terreni agricoli adiacenti al castello. Oltre che per la scuola regionale d'agricoltura, il castello di Montfleury è noto anche perché a lungo sede dell'Enoteca Regionale.

Il 7 settembre 1986, nella spianata di Montfleury vegliata dal castello, fu celebrata la messa da Giovanni Paolo II in occasione della visita pastorale per la festa di San Grato.

Nel 2003 il castello di Montfleury è stato riaperto dopo un importante restauro iniziato nel 2000 e dal 2004 è sede del Corecom della Valle d’Aosta.

ARCHITETTURA - Il castello di Monfleury ha una pianta ottagonale e un corpo massiccio ingentilito da arcate, in altezza oltre al pianterreno presenta due piani a cui si aggiunge una torretta centrale, anch'essa ottagonale, che rialza la struttura di un ulteriore terzo piano fittizio, di fatto una sorta di "lanterna a comporre la doppia altezza del salone centrale". L'aspetto anomalo della villa-delizia, abbiamo visto, ha dato origine a due ipotesi prevalenti.

La prima ipotesi è che la scelta architettonica sia stata dettata dall'estro del Barillier il quale ambiva ad avere villino, ma restano alcune perplessità. Non conosciamo il nome dell'architetto ingaggiato da Claude Barillier per creare questa delizia da villeggiatura. Anche la sua appartenenza alle strutture dette delizie ha dell'eccezionale, essendo esse abbastanza rare o almeno sporadiche e spesso circoscritte in una cultura, in un'epoca e in uno spazio (le delizie estensi) che non ha riscontri in Valle d'Aosta, se non nella villa Bal di Arensod, a Sarre, a pianta ottagonale, a sua volta probabilmente debitrice dello stile architettonico di Montfleury; a detta dell'Orlandoni, il castello di Montfleury ha pochi paralleli nella storia dell'architettura residenziale e potrebbe trovarne piuttosto con la «tipologia formale diffusa per tutto il Settecento tra i chiostri e le architetture da giardino».

La seconda ipotesi vuole che esso derivi dai contraintes dovuti a una particolare struttura già esistente in loco, che avrebbe spinto l'architetto ad alcune scelte adattative necessarie a conservare la struttura preesistente. Nell'ultimo decennio si tende a preferire questa seconda ipotesi, e a identificare tale edificio con l'edificio di culto della fattoria delle Visitandine. 

Monseigneur Duc conferma che nel 1913 l'importante rimaneggiamento del Barillier era l'ultimo fatto all'edificio.

A differenza dell'ipotesi di costruzione ex-novo da parte del Barillier come delizia, abbiamo esempi coevi e valdostani di edifici di culto a pianta ottagonale: primo fra tutti la cappella del Priorato di Saint-Pierre, ricostruita tra il 1599 e il 1701 e «terminante con una cuspide di lose». Inoltre, si spiegherebbe la presenza di un campaniletto sopra al tetto, testimoniato da numerose opere pittoriche e stridente con gli scopi mondani del Barillier. Come nel caso del Priorato di Saint-Pierre, una meridiana compare dipinta su una facciata fin dai dipinti più antichi, probabilmente elemento già presente ai tempi della fattoria del Convento per continuità stilistica. Affini a quelli della cappella del Priorato di Saint-Pierre sono anche gli spigoli dell'ottagono enfatizzati con finti conci di pietra: durante il restauro l'intonaco originario ha rivelato che anche nel castello di Montfleury all'origine erano presenti pietre d'angolo incise e sono state trovate tracce di uno strato di intonaco color rosso vivo agli angoli a creare un contrasto cromatico con il giallo delle facciate, seppure l'intonaco originario delle Visitandine si presuppone fosse di toni più pacati.

L'edificio sembra quindi sia stato sottoposto a due importanti fasi costruttive: le grandi trasformazioni dell'edificio fatte nel XVIII secolo per volere del Barillier sarebbero state precedute da una costruzione già in partenza a pianta ottagonale. Queste due diverse fasi costruttive sono avvalorate dalle indagini sulle murature compiute durante il restauro degli anni duemila: le porzioni architettoniche inferiori della struttura compongono già sezioni a ottagono, ma sono realizzate con materiali scadenti: materiali litei di varia pezzatura, ciottoli di fiume, pietre appena sgrossate; viceversa, il secondo piano aggiunto dal Barillier e la torretta sono realizzate in mattoni e con una cura maggiore.

Sulle facciate ad ovest e ad est sono presenti due balconi a ringhiera, in particolare quello di ponente, dalle forme rocaille, reca le iniziali di Claude-Michel Barillier "CMB" come si ritrovano anche nella Maison Barillier, mentre quello di levante avrebbe un aspetto più tardo settecentesco. All'epoca Barillier, secondo Devoti, risalirebbe anche un'ipotetica balconata continua al secondo piano, sotto al campaniletto, in sostituzione dei due balconi veri e propri precedenti: restano tracce di mensole lapidee oggi non più presenti e di porte-finestre (ora tamponate) che davano sul ballatoio.

All'esterno, la doppia scala di accesso all'edificio, secondo l'analisi stilistica degli elementi decorativi fatta da Devoti, risalirebbe al XX secolo e quindi all'epoca dei Perrod, in particolare risalirebbe agli anni tra il 1953 e il 1957, prima del restauro, per volere del canonico Loye: come si nota in alcuni dipinti in precedenza era presente uno scalone dritto.

GLI INTERNI - Seppure non si conoscano i nomi degli artisti che decorarono il castello di Montfleury o la Maison Barillier, si sa che in quegli anni lavorava ad Aosta il maître entrepreneur en sculpture Alberto Bertolli, già autore dei rilievi in stile neoclassico nel Vescovado di Aosta; soprattutto, il Bertolli venne chiamato dal Barillier per compiere una perizia architettonica-strutturale anche sul castello di Montfleury tra il 1793 e il 1794 per l'inventario del patrimonio di famiglia, per cui potrebbe aver avuto a che fare con gli elementi decorativi in prima persona, ma non esistono prove ad avallare questa tesi.

La cappella centrale delle Visitandine coinciderebbe con quello che divenne il salone centrale della palazzina, ma la torretta sarebbe successiva. Per raggiungere tale luogo si passava per uno scalone in pietra interno, probabilmente posizionato come lo scalone attuale.

Al primo livello, sia all'epoca della cappella che durante l'epoca Barillier, era una sorta di chiostro porticato le cui arcate esterne erano sorrette da colonne di ispirazione tuscanica, mentre l'anello più interno era a sua volta colonnato e aperto verso l'ottagono interno. L'ampio chiostro porticato, non riscaldabile, fa pensare a un uso prevalentemente estivo della cappella. Oggi è stato tutto tamponato sia verso l'interno che verso l'esterno.