1981年6月，在十一届六中全会上，华国锋主动辞去了中央主席和军委主席的职务，离开了主要领导岗位，不过党和人民没有忘记他的贡献，他仍连续4届当选中央委员，退下来后的华国锋过着低调的晚年生活。

    华国锋和妻子韩芝俊住在北京一处院落，他在院子里种植的有很多果树，最多的是葡萄树，华国锋很少外出公开露面，在这处院子里一住就是27年，直到2008年病重住院，最终华国锋带着一个遗憾离世。

    当时正值北京奥运会的时候，病中的华国锋一直希望能够出院，好去现场看奥运会，可惜由于病情严重，医生没有同意他出院，2008年8月20日，华国锋在医院病逝，享年87岁。

    据华国锋的妻子韩芝俊转述，华国锋在临终前叮嘱说：“让我回卦山吧！那里树多，清净，小时候在那儿，打游击也在那儿。”华国锋在字里行间都流露出对故乡的思念之情，可是在生前他却仅回乡三次。

    1949年初，28岁的华国锋跟随南下的队伍一起离开了家乡交城，后来到湖南任职，在湖南期间由于工作繁忙，华国锋一直没有时间回家乡，直到1958年的时候，华国锋出差路过交城，回家看望了一回母亲。

    后来华国锋长期没有回家乡，即便是在他离开主要领导岗位后，他也一直没有回乡，直到1991年8月底，华国锋才第二次回到家乡，到家时华国锋感慨地说：“到家了！到家了！”

    足见他的家乡的思念之情，这一次他跟妻子韩芝俊一起在老家住了一周的时间，去了曾经打游击的地方，见了许多老朋友，乡亲们遇到华国锋都会亲切地喊他“华老”，走到哪里都有人们欢迎他。

    1995年，华国锋和妻子韩芝俊第三次回到交城，他再次见到了许多老友，由于当地乡亲们太过于热情，让华国锋很是不安，为了不打扰乡亲们的生活，华国锋决定再也不回交城了。

    此后华国锋之前去世也没有回过交城，他把对故乡的思念之前埋藏在心底，直到临终前才对妻子讲了出来，华国锋去世之后，家属向组织申请把他的骨灰运回交城安葬，得到了组织和交城当地的同意。

    2008年9月22日，华国锋的儿子苏斌、苏华和秘书曹万贵来到交城，为华国锋选择墓地，同时苏斌和苏华提出了选墓址的“四不原则”，即“不占用耕地、不与民争地、不破坏环境、不损坏古迹”。

    最终选中了卦山南面的荒山坡作为墓地，墓地的设计由山西省建筑设计院承担，墓前一共设计的有365级台阶，每36级为一组，中间有平台可以供人歇息，墓的外形为5.5米见方，像一个巨大的石鼎。

    同时从正面看墓，像是一个巨大的“H”，正是“华”字和“回”字拼音的首字母，而“5.5米”则寓意着华国锋在55岁那年成为中央主席，整个墓地寓意深刻，墓地与整个吕梁英雄广场合为一体，成为了交城一处著名的景点。

    2011年11月初，华国锋的骨灰终于回葬到了交城的华陵，自华国锋的骨灰回葬之后，每到节日都有各地的民众前来悼念华国锋，尤其是清明节的时候，来悼念的人更多，人们始终铭记华国锋。