1道英语从句题~`the castle,---in 1485 ,was never rebuilt.答案是burnt d

1道英语从句题~`
the castle,___in 1485 ,was never rebuilt.
答案是burnt down,但我想知道burnt down作的是什么成分?那为什么不能写having burnt down啊?
是不是就因为有了in 1485 这个时间状语了 所以不能再用状语having been burnt down吧？