1936年10月，李聚奎在红三十一军任参谋长，由于连续冒雨行军患感冒高烧不止，萧克军长派一个排护送他去四方面军卫生部总医院就医。他躺在担架上，昏昏沉沉地随总部直属队过了黄河。相继渡河的部队有四方面军总指挥部及所率之三十军、九军、五军共两万余人。

    他病稍好后即去九军任参谋长。在冰天雪地里，西路军沿河西走廊向甘西行进，与马家军苦战数月，经历了一系列惨烈的战斗，于1937年3月中旬遭到最后失败。余部分三个支队，在祁连山区艰难转战。李聚奎被编入王树声支队，在祁连山中打游击。这支300多人的队伍，艰难地向东行进。他和徐太先同志走在队尾，负责收容掉队人员。天黑、路险、风寒、人倦，为躲避敌人，他们走着走着，就和主队失去了联系。在与敌人周旋了四五天后，决定下山去平川。

    拂晓，他们摸到山脚下一个叫水源的村子时，却发现已驻有敌人，为了不能让敌人都抓去，只得等天黑以后，分散前进后再集合。挨到黄昏后，李聚奎和警卫员下到半山坡的那块小草坪集合，却不见其他同志。他俩四处寻找后，始终不见踪影。望着渐渐落山的残阳，李聚奎心中生出一个念头：太阳有落就有升，西路军是失败了，但革命没有完，党中央还在，河东红军还在，西路军的指战员不会被捕尽杀绝。到河东找党中央去，找红军去！他站起身，带着警卫员向太阳升起的地方走去。

    他们沿着祁连山脚向东走，警卫员的脚烂不能走路被一户老乡收留后，李聚奎含泪独自一人踏上了东返的征程，为了生存，他乔装打扮成乞丐，一路沿讨，几次遇险都化险为夷。

    在河西走廊的一个多月里，李聚奎昼伏夜行、风餐露宿，在热心乡亲们的帮助下，李聚奎从打拉池向东经六盘山北面的海原、西固地区到达陇东的镇原境内，终于回到了党的怀抱，又重新聚集到革命的红旗下。此后历任红三十一军参谋长，八路军一二九师三八六旅参谋长，冀热辽军区参谋长，东北野战军后勤部副部长，第四野战军后勤部部长。新中国成立后，曾任第四野战军副参谋长，东北军区后勤部部长兼政治委员，解放军后勤学院院长，国务院石油工业部部长，高等军事学院院长，后勤学院政治委员。1955年被授予上将军衔。