谢玄字幼度,从小聪明且理解能力强,与堂兄谢朗一起为叔父谢安所器重.谢安曾告诫自己的子侄们,于是问道：“我们家的子侄并不需要出来参与政事,为什么还要每个人都有才能呢?”子侄们一时谁也没有回答上来,这时谢玄答道：“像芝兰玉树一样,且要让他生在阶前庭院中.”谢安听后非常高兴.谢玄长大后,显示出了治理国家的才能,朝廷几次征召他,他都推辞不受.后来与王珣一起被桓温如为掾吏,共同被桓温礼遇、器重.其时前秦苻坚正当势力强盛之际,多次侵扰晋国边境.于是朝廷下令征召能够抵御北方的文武兼备的良将.谢安便推荐了谢玄.中书郎郗超虽然历来与谢玄不和,但听到这一举荐也不得不叹息说：“谢安敢于冒触犯众怒的危险举荐亲侄子,确实是英明的；谢玄一定不辜负他叔叔的推荐,因为他确实是难得的人才.”当时许多人都不赞同郗超的看法,郗超说：“我曾经与谢玄共同在桓将军幕府做事,亲眼见他用人能各尽其才,即使是一些细小事务,安排人也非常恰当.所以知道他一定能成功.”于是朝廷如谢玄回朝,任命为建武将军,管理江北军事. 当时苻坚派军围困襄阳,车骑将军桓冲抗击他.朝廷下诏命令谢玄征发三个州的民夫兵丁,并派彭城内史何谦率军队在淮水、泗水一带游弋,让他们表成援助襄阳的态势.襄阳陷落后,苻坚的部将彭超向彭城的龙骧半军戴逯发动进攻.谢玄率领东莞太守高衡、后军将军何谦驻扎在泗口,想要偷偷地派遣使者告诉戴逯,让他知道救兵到了,却找不到前往的途径.小将田泓请命前往,于是他就潜在水中偷偷地过去,快要到城下时,不幸被敌军抓获.敌军用丰厚的赏赐收买田泓,让他对彭城守军说“南来的援军已被打垮了”.田泓假装答应.但到了城下时,却大声告诉城中说：“南来的援军很快就要到了,我一个人前来报信,被敌人抓住,你们一定要努力坚守啊.”于是被害. 等到苻坚亲自率军驻扎到项城,号称雄兵百万.晋孝武帝上诏命令谢玄为先锋,统领徐州、兖州、青州以及扬州之晋陵、幽州之燕国各支军队,和他的叔父征虏将军谢石等抗击,军数八万人.谢玄选派遣广陵相刘牢之率五千人奔袭洛涧,首战告捷,很快就杀了梁成和其弟梁云,敌人的步兵骑兵同时崩溃,争着渡过淮水逃跑.刘牢之派兵追击,活捉敌将梁他、王显、梁悌、慕容屈氏等,获取其军用物资.苻坚进军驻扎在寿阳,在淝水沿岸布阵列兵,谢玄的军队不能过河.谢玄派人对秦将苻融说：“你们那么远到我们的疆土,却在淝水边上列阵,这是不想速战速决.请你们稍微退后一点,也好让我们的部队渡过河去同你们拼一拼.我和你们从容观看,不也是一件快乐的事情吗?”苻坚的部下都说：“咱们应该凭借淝水把他们堵在河对岸,我们人多,产人少,情势一定会有利于我们的.”苻坚却说：“只管让军队退后,让他们过河,等到他们过来了,我们再用铁骑数十万把他们全部赶进河里去,彻底消灭他们.”苻融也认为应该这样,于是就指挥秦军向后退却,谁知后退的命令一发出,那么多人一下子就乱了阵脚,再也控制不住了.在这种情况下,谢玄与谢琰、桓伊等人带领八千精兵渡过淝水.苻坚的军队溃败奔逃,自相践踏,投水而死的不计其数,淝水因而都堵塞得不流通了.其余人马抛弃铠甲连夜逃走,听到风声鹤叫,都以为是东晋军队已经来到,草行露宿,再加上挨饿受冻,死去的有十分之七八.晋帝下诏派殿中将军慰劳谢玄军队.给谢玄加授前将军、假节的称号,坚决推辞不接受.朝廷赐给上百万钱,上千匹彩绸.
