1927年夏，冯玉祥受蒋介石拉拢，与共产党分手，刘伯坚也被“礼送”到武汉。随后，党中央派他再度赴苏联，入伏龙芝军事学院，与刘伯承等一同学习。1930年，他回到上海，翌年又进入江西中央苏区，先后任军委秘书长、红军党校政治部主任。此时，蒋介石将中原大战中被他打败收编的西北军主力第二十六路军调到江西“剿共”，并由中央军在后面督战。这种“一石两鸟”的毒计激起西北军官兵极大愤慨。中央军委马上派刘伯坚主持策反工作，终于使该部1.7万人在宁都暴动，并编为红五军团。刘伯坚随后担任了该军团政治部主任，将这支部队改造成中央红军的主力之一。

    1934年10月，红军主力离开江西长征，刘伯坚被留下任赣南军区政治部主任。20万国民党军队将留下的3万红军（半数系不能远征的伤病员）压缩到赣南一隅，中央分局书记项英在几个月后才接受陈毅的建议，下令分路突围，开展游击战，可惜为时已晚。1935年3月初，刘伯坚在战斗中左腿中弹，不幸落入敌手。在被囚的17天中，他坚贞不屈，视死如归。他在遗书中把自己的一生归结为：“生是为中国，死是为中国”，并以“我为中国作楚囚”自豪。临刑前，刘伯坚写了最后两封信，他预言：“不久的将来中国民族必能得到解放”，他的“鲜血不是空流了的”。信中谆谆叮嘱他的亲人：“最重要的，诸儿要继续我的志向，为中国民族的解放努力流血，继续我未完成的光荣事业”。

    1935年3月率部队突围时不幸负伤被捕，21日就义。