Le nom du quartier révèle déjà l'histoire. Avant le cimetière, ce terrain appartenait à la famille Aoyama, seigneurs du domaine de Gujo dans la province de Mino, dans l'actuelle préfecture de Gifu. Leurs possessions couvraient autrefois une grande partie de l'actuel Minami-Aoyama et de Kita-Aoyama, ainsi qu'une partie d'Akasaka. Lorsque l'ancien ordre s'effondra, le site de la résidence inférieure de la famille reçut une nouvelle affectation. En 1872, la huitième année du compte de l'ère Meiji n'atteignait que sa cinquième année, et le cimetière ouvrit ici. Au début, il s'agissait d'un lieu d'inhumation pour les funérailles shintoïstes. Puis, le 1er septembre 1874, il devint un cimetière public pour les citoyens de Tokyo, un moment marquant pour la ville. En 1889, la gestion passa de la préfecture de Tokyo à la municipalité de Tokyo. La étape suivante survint en 1926. Les bâtiments de la salle funéraire furent donnés à la municipalité de Tokyo, et Aoyama devint le premier cimetière géré par une municipalité au Japon. Aujourd'hui, il est placé sous la responsabilité du gouvernement métropolitain de Tokyo. Ainsi, en parcourant ces terrains, vous suivez le moment où l'inhumation dans la capitale japonaise est devenue une affaire publique, et non seulement privée ou religieuse.