Первым владельцем замка был Роджер Монтгомери, первый граф Шрусбери, один из приближенных Вильгельма Завоевателя. Владелец замка традиционно носит титул графа Арундела - старейший графский титул в Британии. В 13 веке замок перешел от семьи Обиньи к семье Фицлан, а с 15 века замок принадлежит герцогам Норфолкским из рода Говардов. Этот замок снимали во многих фильмах, и Шекспир очень часто упоминал его владельцев.