К XV веку многие замки пришли в упадок. Даже королевские резиденции не получали достаточных инвестиций, чтобы сохранить свое было величие - крыши протекали, каменная кладка сыпалась, металл и дерево разворовывалось. Королевство было вынуждено выбирать – какие из замков стоит содержать, а от каких отказаться. В XV веке только Виндзор, Лидс, Рокингем и Мур Энд поддерживались в должном состоянии. Ноттингем и Йорк составили основу для королевской власти на севере, Честер, Глостер и Бристоль были резиденциями на западе. Даже крупные фортификационные сооружения, такие как замки Северного Уэльса и приграничных территорий с Шотландией вынуждены были сократить свои расходы на содержание. Многие из королевских замков продолжали существование только в роли уездных тюрем.Число баронов сокращалось , элита становилась меньше числом, но значительно богаче. Это время стало концом для многих баронских замков.
Во время войны Алой и Белой розы, в боях между 1455 и 1485, которые были, прежде всего, в форме сражениях между соперничающими фракциями ланкастерцев и йоркистов замки решающей роли не играли