Il nuovo palazzo fu creato con lo scopo dichiarato di servire da dimora privata riservata agli svaghi, ai divertimenti, al riposo del principe. Iniziato nel 1506, risultava finito già nel 1508: si presentava come un edificio rettangolare lungo e stretto, di circa 50x8 metri, aperto a settentrione con una loggia affacciata su un vasto giardino. Le facciate esterne, sobrie e robuste, secondo la tradizione architettonica locale, erano interamente affrescate e coronate da un grande cornicione superiore ugualmente dipinto. All’interno, tutte le camere avevano pavimenti a mattonelle, caminetti decorati con emblemi diversi, spalliere in legno dipinte per proteggere dall’umidità delle pareti, coronate da cornicioni dorati. Le finestre erano protette da grate in ferro e da tele tirate a cera sino a divenire traslucide.

Per offrire la massima riservatezza al marchese tutti i possibili accessi al palazzo e ai suoi ricchi giardini vennero sbarrati così che tutta l’area risultava totalmente isolata e riservata al marchese. Verso la città, un accesso privato, dotato di porta chiusa a chiave, era collocato sulla strada (odierna via Acerbi) che correva da Porta Pusterla al Palazzo Ducale. Un secondo accesso, verso sud, attraverso Posta Pusterla e un ponte, dava invece un accesso esclusivo all’isola del Te dove si trova un complesso di edifici fatto costruire e decorare dal Gonzaga in quegli stessi anni (1502) interamente dedicato al riposo, agli svaghi e all’allevamento dei cavalli, grande passione di Francesco insieme a quella per falchi e cani.

L’intera isola era utilizzata per le battute di caccia, svago amatissimo del marchese.