Sull'origine del nome le tesi sono diverse: alcuni sostengono che derivi da castrum angolare, riferendosi alla forma angolare del suo castello, altri affermano che deriverebbe il suo nome da in glarea. Effettivamente il paese è costruito su un ammasso di ghiaia accumulata dal Tevere nei millenni.

Sorse nel VII secolo un castello longobardo, su preesistenze di età romana, conteso con i Bizantini.

Il castello di Anghiari, ricordato per la prima volta in un documento del 1048, fu dapprima sottoposto alla consorteria longobarda dei conti di Galbino e Montedoglio e nel 1104 il luogo venne donato da Bernardino di Sidonia, signore di Anghiari, ai Camaldolesi con l'obbligo di fondarvi un'abbazia: il monastero di San Bartolomeo apostolo. Intorno ad esso, in seguito, si sviluppò il centro abitato.

Dal 1104 al 1143 Camaldoli divenne assoluto padrone di tutta la zona.

Nel 1322 la famiglia dei Tarlati di Pietramala (ed in particolare Guido Tarlati) riuscirà a conquistare la città, facendola entrare definitivamente sotto l'orbita di Arezzo.

Il 29 giugno 1440 la pianura antistante fu teatro di una famosa battaglia che durò un giorno e fu vinta dai Fiorentini, che consolidarono così i loro domini in Toscana.