1871年,沙皇俄国乘阿古柏侵占新疆时派兵侵占伊犁,宣布“伊犁永远归俄国管辖”,但沙俄当在俄土克里米亚战争中大败,其驻华公使不得不在照会清朝总理各国事务衙门时说些外交辞令,称占领伊犁是为了“安定边疆秩序”,“只因回乱未靖,代为收复,权宜派兵驻守,俟关内外肃清,乌鲁木齐、玛纳斯各城克服之后,当即交还”.这本来是掩人耳目的谎言,但不料左宗棠率领清军果真收复了乌鲁木齐、玛纳斯等城,被落了口实.
此时俄方表示,在获得中国在通商、割地、赔款和再次调整天山以北边界等方面做出让步后,才能交还伊犁.左宗棠利用从前沙俄驻华公使的口实,强调俄方有归还许诺在先,所以要先通过外交途径和平解决伊犁问题.左宗棠于光绪四年（1878年）正月上书朝廷,力陈在新疆开设行省的主张.并建议朝廷派员与俄国会谈归还伊犁,引渡胡里、白彦虎等事宜.朝廷采纳了他的意见,派遣崇厚为全权大臣出使俄国进行谈判.
沙俄一边谈判,一边使白彦虎和胡里不断武装侵扰中国边境.并公然威胁说,如不满足他们的要求,“就宣布条约被撕毁,不交还伊犁”.俄国人提出的“通
商、划界、赔款”三项不合理要求,但崇厚竟然签了.左宗棠怒向朝廷奏道：“此次与俄人谈判,沙皇包藏祸心,我今索还失地,方要我赔偿军费,趁我多事之秋,
欺我少争战之志,多求合之意,妄图讹诈.伊犁乃我国之领土,俄军乘虚入侵,蹂躏我边民,掠取我财物.我今索还土地,俄方竟然要我赔偿军费,如此强盗行径,
乃国际公理所不容也,此其一.俄方以划定两国边界为名,行掠夺土地之实,双方并未陈战,一弹未发,我朝公然割地与人,此乃外交所不许也,此其二.俄方之所
谓通商,其商人志在谋利,其政府意在广设领事,深入我腹地,坐探虚实,此种通商,为我所不取也,此其三.臣以为如今之计,当先礼而后兵.我朝可更换使臣,
与俄方重开谈判.如沙皇一意孤行,应诉诸于武力.臣虽不才,愿当此任.” 摄政的西太后被左说服,于是治崇厚罪,派曾纪泽出使俄国,重议条约.左宗棠称：“壮士长歌,不复以出塞为苦也,老怀益壮.”自愿请行率军屯哈密,为曾纪泽做后盾.然后,兵分三路向伊犁方向挺进.命金顺部出精河为东路；命张曜部驻特克斯河畔为中路：命刘锦棠部出布鲁特游牧地为西路；左宗棠坐镇哈密亲领后路声援,号称王师四万.左宗棠雄踞新疆,对中俄谈判的中方代表是一个巨大的精神力量.同时,左宗棠将其棺材从肃州运到哈密,借以表示收复伊犁血战到底的决心.这一举动,令沙俄闻讯火速增兵坚守伊犁,并派出舰队在中国北方海域游弋.左宗棠在哈密生活了四个月时间,大力改善天山运道,修筑盘曲山路；多方筹集粮秣,发动军民屯田垦荒,兴修水利,增粮积谷,减轻内地长途调运军粮的困难.在哈密大营加紧训练,提高部队战斗力.
当时沙俄克里米亚战争失败,大伤元气,在谈判桌上,不得不有所收敛.而且沙俄还认为战争纵获胜将得不偿失以及担心打败清国将导致清政府垮台而引发不可预料的反应.1881年2月24日,曾纪泽与俄方代表订立了《中俄伊犁条约》和《陆路通商章程》.沙俄归还伊犁,但仍割去了伊犁霍尔果斯河以西的领土,中国赔偿俄国兵费九百万卢布(折合白银五百余万两)；俄商在中国新疆各城贸易,暂不纳税,对于伊犁居民,规定“愿仍居原处为中国民,或愿迁居俄国入俄籍者,均听所便”.虽然这一条约被中国认为是不平等条约,但曾纪泽确实也尽了最大的努力,中国收回了伊犁九城及特克斯一带地方.左宗棠对这一条约表示满意,说“中俄和议,伊犁全还,界务无损.领事只设嘉峪关、吐鲁番两处,此外均作罢论,则商务亦尚相安.吉林俄船撤还,松花江不许俄船来往”,而对曾纪泽也赞扬道：“劼刚此行,于时局大有裨益,中外倾心,差强人意也”.
