一开始清洗这个名词在苏联政治用语中意为党内的清洗,比如1933年约40万人被开除党籍.但是从1936年直到1953年这个名词的意义变化了,因为在这段时间里开除党籍几乎立刻意味着被捕、被关押,甚至被处决.
大清洗的背景是斯大林和政治局希望消灭任何反对政府的专制统治的源泉.他们希望保障党员会按照“民主专制”无疑地执行以斯大林为中心的中央的命令,他们不希望苏联共产党是一个象第一次世界大战前那样的多元的革命党派.实际上在1920年代里苏联共产党已经失去了它的多元性.另一个官方的理由是在消灭任何战争时期可能会出现的“第五纵队”,但是不中立研究无法证明当时的确有这个危险.第五纵队的理论是莫洛托夫提出的.他本人是斯大林权力中心中的人物之一,而且亲手签署了多个枪决命令.此外共产党还想借此消灭“危害社会的分子”、富农、过去的反对党成员（比如社会革命党的党员）以及过去的沙皇军官.
十月革命后苏联共产党就始终使用一系列手段来镇压它认为对自己有威胁的人,比如施行恐怖,或者施加社会监视,有时这些镇压比较不明显,有时则会达到一个顶峰,比如在红色恐怖期间,或者对反对集体化的富农进行的镇压等等.大清洗与这些镇压不同的地方在于共产党首次对其自己内部进行大规模的镇压.但是实际上总的来说共产党员和官员占被害者总数的小部分.党内清洗与对整个社会的清洗是同时进行的.总的来说整个大清洗过程可以分以下三个阶段：
第一次莫斯科公审（1936年）
引入秘密警察三人审判团来加速“革命正义”（1937年）
引入刑法第58条第14款（反革命破坏）（1937年）
