I didn't want to join them中宾语是them还是to join them

宾语由名词、代词、不定式或相当于名词的词、短语来担任.
英语的及【物动词后必须有宾语】.宾语一般放【及物动词】【之后】,它和及物动词一起说明主语做什么.
说明,除及物动词有宾语之外,英语介词后面也要有宾语.
另外,某些形容词如worth,careful等后也可有宾语.
所以：动词不定式前面及物动词,动词不定式就做及物动词的宾语.
want 就是及物动词,所以这句话的宾语是 to join them