Il Palazzo d’Elci degli Alessi (oggi Pannocchieschi d’Elci) conserva ancora l’aspetto medioevale, con le finestre a bifore e trifore e con la merlatura guelfa.
L’edificio venne fatto edificare dalla famiglia degli Alessi, come loro residenza, ai quali però succedettero ben presto i Conti Pannocchieschi d’Elci. E’ una delle prime dimore nobiliari costruite sulla Piazza del Campo nel Duecento.
Nel corso del Cinquecento, il palazzo subisce una prima ristrutturazione a cui ne seguirà una successiva nel Settecento, che cancellano le originarie aperture, sostituite con finestre rettangolari.
Nella prima metà dell’Ottocento, Agostino Fantastici restaura il Palazzo aggiungendo il magnifico scalone di gusto neoclassico con quattro busti marmorei e gli arredi interni degli appartamenti dei Conti d’Elci. All’interno dell’edifico vi sono inoltre due importanti opere: una tavola con la Madonna ed il Bambino tra San Giovannino e Santa Barbara, ed una tela con il Profeta Elia, entrambe di Daniele Ricciarelli da Volterra.