Il palazzo comunale di Gromo, con i rivestimenti ed i cantonali di marmo grigio venato delle vicine cave di Ardesio, è opera del secolo XV ed è per notizie tramandate che si fa risalire all'anno 1456. I profili delle cornici e le profilature dei contorni delle finestre a curvatura di semiarco, sono autentici. Alla stessa epoca risale anche la struttura a travetti che formano il soffitto nel salone centrale del primo piano, oggi sede della Sala Consiliare. Due loggiati, sovrapposti al portico di pianterreno, presentano quella tradizione lombarda delle camere accostate tra loro con l'ampio disimpegno delle logge utili per lavori della vita quotidiana. I capitelli delle colonne, con foglie angolari ripiegate in volute, denotano la tipica edilizia dei decenni susseguenti alla metà del quattrocento. Il corpo del fabbricato, a forma rettangolare, si eleva per due piani.

A piano terra, tre ampie aperture danno accesso ai locali interni, i quali sono collegati con il vasto sotterraneo che scorre per tutta la lunghezza della pianta con la sua volta a botte, destinato una volta a deposito di barre e blocchi di ferro utilizzato per la lavorazione di armi. L'interno attualmente conserva dei bei soffitti a cassettone dipinti ed un solo soffitto affrescato nell'800 con una "leda col cigno" nel medaglione centrale ed una decorazione monocromatica intorno. Fino all'inizio del '900 un importante ciclo di affreschi ornava le pareti dell'ultimo piano del palazzo ed aveva come tema la vendita delle armi forgiate in Gromo in epoca rinascimentale. Questi affreschi, attualmente riconoscibili in alcuni punti del palazzo, sono stati coperti da intonaco su disposizione nel 1908 di Valerio Milesi, allora proprietario del Palazzo. La nobile costruzione civile e di belle proporzioni, venne venduta al comune dalla famiglia Milesi nel 1924 ed è unico esempio nella provincia che non abbia subito alterazioni stilistiche con l'avvento dell'arte barocca. Nella piazza adiacente inoltre è da notare la fontana circolare di marmo bianco che, sul trono cilindrico centrale, eleva la figura di un cigno che fu l'antico emblema della secolare comunità che abbracciava i tre paesi di Gromo, Valgoglio e Gandellino. Attualmente il Palazzo è sede dell'Amministrazione Comunale di Gromo e della Pro Loco e, ai piani superiori ospita il Museo delle Pergamene ed il Museo EcoNaturalistico.