O nome do distrito revela a história. Antes do cemitério, esta terra pertencia à família Aoyama, senhores do domínio de Gujo, em Mino, no que hoje é a Prefeitura de Gifu. Suas propriedades cobriram certa vez grande parte do que hoje é Minami-Aoyama e Kita-Aoyama, além de partes de Akasaka. Quando a antiga ordem caiu, o local da residência inferior da família recebeu uma nova finalidade. Em 1872, o oitavo ano da contagem da era Meiji chegou apenas ao quinto, e o cemitério foi inaugurado aqui. No início, era um local de sepultamento para funerais xintoístas. Depois, em 1º de setembro de 1874, tornou-se um cemitério público para os cidadãos de Tóquio, um momento marcante para a cidade. Em 1889, o controle passou da Prefeitura de Tóquio para a Cidade de Tóquio. O próximo marco veio em 1926. Os edifícios da capela funerária foram doados à Cidade de Tóquio, e Aoyama tornou-se o primeiro cemitério administrado pelo município no Japão. Hoje, ele é supervisionado pelo Governo Metropolitano de Tóquio. Assim, ao caminhar por estes terrenos, você está acompanhando o momento em que o sepultamento na capital japonesa começou a ser uma questão pública, e não apenas privada ou religiosa.