prima del 1353

Poco dopo la sua nomina a cardinale, nel 1342, Etienne Aubert acquista tramite scambio un'aia per battere il grano appartenente all'abbazia di Saint André, per costruire il suo palazzo, sull'esempio di papa Clemente VI e di molti altri cardinali. Questo palazzo, di forma rettangolare, occupava l'attuale ubicazione del chiostro Saint Jean. Eletto papa nel 1352, Etienne Aubert, divenuto Innocenzo VI, acquista varie terre adiacenti, ad est del suo palazzo. Vi fece costruire la cappella San Giovanni Battista e una grande sala di concistoro, trasformata successivamente in Tinello (refettorio dei monaci), quindi oggi in sala per spettacoli. Tra il palazzo e la cappella del concistoro sono costruiti gli appartamenti del papa. La cappella è decorata dall'artista Matteo Giovannetti (della scuola di Siena) nato a Viterbo, che interviene anche nel Palazzo di Avignone. In questo stesso periodo sono scavate, a nord del palazzo, le cantine dette del papa, mentre l'ingresso del palazzo e delle sue dipendenze viene collocato a sud, nell'edificio che sarà poi chiamato «del procuratore».