Poucos edifícios levaram tanto tempo para ser erguidos quanto este. A história começa no século VI antes da era comum, quando o local já abrigava um antigo santuário a céu aberto dedicado a Zeus. O tirano Pisístrato é apontado como responsável por um templo anterior aqui, construído por volta de 550 a.C. Após sua morte, esse edifício foi demolido. Por volta de 520 a.C., seus filhos, Hípias e Hiparco, deram início a um templo muito mais grandioso no mesmo local. A obra então estagnou durante uma longa sucessão de mudanças de regime. Foi retomada em 174 a.C., na era helenística, e ainda assim o templo não ficou pronto. Em 86 a.C., o general romano Sula retirou algumas das colunas para reaproveitá-las no Templo de Júpiter, em Roma. No início do século I da era comum, diz-se que Augusto tentou reconstruir o templo, mas a obra não foi concluída. O término veio com o imperador Adriano, um grande admirador da cultura grega. Ele visitou Atenas em 124 e 125 d.C. e lançou um enorme programa de construções, que incluiu a conclusão deste templo. Os relatos datam a conclusão em 131 ou 132 d.C. De qualquer forma, o projeto iniciado sob tiranos foi encerrado por um imperador, num intervalo de cerca de setecentos anos.