Kasteel Amerongen, Monument van allure