Pochi edifici hanno richiesto tanto tempo quanto questo. La storia inizia nel VI secolo prima dell'era comune, quando il sito ospitava già un antico santuario all'aperto dedicato a Zeus. Al tiranno Pisistrato si attribuisce un tempio precedente, costruito intorno al 550 a.C. Dopo la sua morte, quell'edificio fu demolito. Intorno al 520 a.C. i suoi figli, Ippia e Ipparco, iniziarono un tempio di gran lunga più grandioso nello stesso luogo. I lavori si fermarono poi per una lunga serie di cambi di regime. Ripresero nel 174 a.C., in età ellenistica, ma il tempio non era ancora finito. Nell'86 a.C. il generale romano Silla portò via alcune colonne per riutilizzarle nel Tempio di Giove a Roma. All'inizio del I secolo d.C., si dice che Augusto abbia tentato di ricostruire il tempio, ma l'opera non fu completata. Il completamento arrivò con l'imperatore Adriano, grande amante della cultura greca. Visitò Atene nel 124 e nel 125 d.C. e avviò un imponente programma edilizio che comprendeva il completamento di questo tempio. Le fonti datano il completamento al 131 o al 132 d.C. In ogni caso, il progetto iniziato sotto i tiranni fu chiuso da un imperatore, in un arco di circa settecento anni.