El nombre del distrito revela la historia. Antes del cementerio, este terreno pertenecía a la familia Aoyama, señores del dominio de Gujo en Mino, en lo que hoy es la Prefectura de Gifu. Sus posesiones cubrieron en su día gran parte de lo que hoy es Minami-Aoyama y Kita-Aoyama, así como partes de Akasaka. Cuando cayó el antiguo orden, el sitio de la residencia inferior de la familia recibió un nuevo uso. En 1872, el octavo año de la era Meiji, según el recuento de años de la era, el cementerio abrió aquí. Al principio fue un lugar de enterramiento para funerales sintoístas. Luego, el 1 de septiembre de 1874, se convirtió en cementerio público para los ciudadanos de Tokio, un momento histórico para la ciudad. En 1889, el control pasó de la Prefectura de Tokio al Municipio de Tokio. El siguiente hito llegó en 1926. Los edificios de las capillas funerarias fueron donados al Municipio de Tokio, y Aoyama se convirtió en el primer cementerio de gestión municipal de Japón. Hoy está supervisado por el Gobierno Metropolitano de Tokio. Así, al recorrer estos terrenos, siguen el momento en que el entierro en la capital japonesa empezó a ser un asunto público, y no solo privado o religioso.