Ristrutturato negli anni Novanta e sede nel 2006 della celebre mostra: "Gentile da Fabriano e l'altro Rinascimento", l'edificio che ospita oggi la collezione, venne costruito, a partire dal 1456, per riunirvi le strutture ospedaliere presenti in città e fu in seguito utilizzato come brefotrofio femminile e poi come istituto psicopedagogico. Risalgono al 2007 la piena riapertura al pubblico e il globale riallestimento delle opere. La struttura è una delle più pregevoli testimonianze di architettura tardogotica nelle Marche: la facciata originaria è caratterizzata da un portico voltato a crociera, con cinque arcate a sesto acuto di diversa ampiezza, che poggiano su pilastri cruciformi, mentre nella parte superiore si aprono finestre bifore ad archetti trilobati, inscritte entro un arco a tutto sesto. L'adiacente Chiesa di Santa Maria del Buon Gesù, facente parte del complesso monumentale che ospita la Pinacoteca, conserva lo stendardo, dipinto intorno al 1456 dal Maestro di Staffolo, raffigurante la Madonna in adorazione del Bambino. Allo stesso pittore appartengono gli affreschi visibili sotto il portico. All'interno la chiesa conserva affreschi del fiorentino Andrea Boscoli, realizzati agli inizi del XVII secolo. Nel chiostro si trova il pozzo a pianta ottagonale del 1483.