关于定语从句的先行词问题

关于定语从句的先行词问题
定语从句的先行词,必须是名词或者是代词吗,不能是副词吗
那我这句话对吗
I went out with him that day when the sun set
这个THAT DAY 在主句中是当时间副词吧,那我这句话对吗