Il Palazzo si sviluppa sui resti dell'anfiteatro romano ed ha subito vari interventi architettonici nel XVII secolo. Il suo fronte monumentale è allineato con la cinta muraria medioevale e con la porta urbica chiamata "dei Vibi". L'interno richiama una stratificazione di epoche storiche varie, mentre gli affreschi sono di epoca neoclassica. Dal 1874 il Palazzo ospitò una delle più pregiate raccolte d'arte di Perugia che comprendeva opere di Barocchi, Bassano, Bellini, Bronzino, Canaletto, Caravaggio, Carracci, Pietro da Cortona, Giorgione, Guercino, Michelangelo, Perugino, Poussin, Raffaello, Reni, Rosa e Signorelli. La collezione fu successivamente messa in vendita da Fabrizio Ricci delle Penna, a seguito di alcune vicende giudiziarie.
Attualmente il Palazzo della Penna è sede di numerose mostre temporanee ed ospita due collezioni permanenti.
Sabato 30 maggio alle 18.30, nella Chiesa SS. Annunziata del Castello di Postignano, Marino Niola presenta 'La capitale dell'anima. Perché Napoli è un'eccezione' (Raffaello Cortina). Presentano Laura Valente, Mariella Pandolfi ed Elisabetta Moro.
Lisetta Carmi. Cinque strade è la mostra che la Galleria Nazionale dell'Umbria dedica alla fotografa genovese dal 29 aprile al 27 settembre 2026: 23 opere e diciotto anni di lavoro, tra ritratti, reportage e I Travestiti.
Dal 24 al 26 ottobre 2025 il borgo di Castello di Postignano ospita la seconda edizione del Postignano Music Festival: tre concerti e due tavole rotonde nella Chiesa della SS. Annunziata, tra omaggi a Rachmaninov, oboe con archi e jazz standards.