粉碎“四人帮”后，中国共产党面临的任务既艰巨又繁重。叶剑英首先考虑的是纯洁党和国家各级领导班子，让真正的马克思主义者掌握领导权，平反一切冤假错案。
叶剑英排除阻力，坚决请邓小平等老一辈革命家立即出来担任党和国家的领导职务。邓小平刚从解放军总医院出来，叶剑英就把他接到西山靠近他的地方来休养。在休养期间，叶剑英每天让秘书或保密员给他送中央文件看，让他先了解和掌握一些情况。与此同时，叶剑英积极向中央主要领导人建议，让邓小平出来参与党中央的领导工作。他说，小平同志具有治党治国的经验，是我们党内难得的人才，毛主席和周总理曾多次赞扬过他。他还说，党内军内多数同志和全国人民都强烈要求邓小平出来工作，我们应该尽快把他请出来。然而，这第一次的要求竟没有被同意。
1977年3月，在中央工作会议上，叶剑英又一次提出要求，让邓小平出来工作。陈云和王震同志也提出要求，但这次要求还是没有得到同意。
这次会议之后，叶剑英继续做中央主要领导人的工作，恢复邓小平在党中央的领导职务。经过叶剑英等老一辈革命家反复工作，这次得到了同意。邓小平终於出来重新参加了党中央的领导工作。在1977年7月16日党的十届三中全会上，正式通过了《关於恢复邓小平同志职务的决议》。大会一致决定，恢复邓小平中央委员、中央政治局委员、常委、中央副主席、中央军委副主席、国务院副总理、中国人民解放军总参谋长的职务。
在恢复邓小平职务的同时，叶剑英想到了许多被林彪、“四人帮”诬陷和迫害的党、政、军领导干部，还有成千上万受冤枉的普通干部和群众。他认为，凡是过去的案子，不管是在什么情况下，什么人、什么会议定的，只要被历史证明是错了的，就一定要实事求是地有错必纠。在他和中央其他领导同志的努力下，一批中央领导同志，如陈云、彭真的冤案，薄一波等61人的所谓“叛徒集团案”，杨尚昆、罗瑞卿、胡耀邦、习仲勋等人的冤假错案陆续得到了平反。接着一批党政军领导干部和一批长期受冤的民主人士、高级知识分子、普通干部的冤假错案也陆续得到了纠正。
叶剑英对平反后一些同志的工作、生活十分关心，亲自找他们谈话，征求意见，鼓励他们向前看，继续为党和人民做贡献。1979年薄一波等同志平反出狱后，到西山来看望叶剑英。叶剑英见到他们后第一句话就说：“想不到你们受了这么多的苦！”当时他心情显得很沉重。薄一波等老同志，一直很敬佩叶剑英。后来在叶剑英重病期间，他们经常来电话询问病情，祝愿他早日恢复健康。
