O Bairro do Castelo é a colina onde a Hungria se inventou. Aqui existiu o palácio medieval de Sigismundo de Luxemburgo e, mais tarde, a corte renascentista de Matias Corvino, com uma biblioteca famosa em toda a Europa; aqui chegou a ocupação otomana em 1541 e aqui se travou, em 1686, a batalha que devolveu Buda aos Habsburgo. Palácio real, casas barrocas, escadas estreitas e muros que caíram e foram reerguidos: caminhar aqui é atravessar cinco séculos em quinze minutos.
A Igreja de Matias, com raízes no século XIII e restaurada em estilo neogótico por Frigyes Schulek no século XIX, tem um telhado de telhas de cerâmica Zsolnay que parece feito de renda e foi igreja de coroações — de Francisco José a Carlos IV. Logo ao lado, o Bastião dos Pescadores, construído entre 1895 e 1902 pelo mesmo Schulek, tem 140 metros de fachada e torres pontiagudas que simbolizam os sete chefes magiares da conquista; ganhou o nome da corporação de pescadores que, na Idade Média, defendia esse trecho da muralha. Do terraço sul se veem os pilares brancos da Ponte Erzsébet, o Danúbio, a Colina Gellért e a Citadella; da torre norte, o Parlamento e a Ilha Margarida. Os terraços superiores do Bastião e o interior da igreja são pagos, e o interior vale muito a pena.
Terminem no passeio Tóth Árpád, que corre sobre as muralhas: de um lado se abre a vista para as colinas de Buda, do outro as casas coloridas do bairro.