I'm sorry not to have taken the advice he gave me.

这是从句结构;he gave me 是advice的定语从句.修饰名词,这里省略了that
建议是过去给的,所以应该用过去式 ,前面的not to have taken 表示还没有采纳.是be sorry to do sth的句型
这句话的意思是,我很后悔没有采纳他的意见