在皖东北，江上青等利用合法身份，积极开展抗日宣传，推动创办皖东北军政干校。他亲自编写教材，为军政干校学员讲课、作报告，在学员中培养了一大批抗日干部。他还推动创办《皖东北日报》和抗日文化服务社，宣传党的抗日民族统一战线政策。他积极发展党的组织，推动建立和壮大党领导的抗日武装。这些都为皖东北抗日根据地的开辟创造了重要条件。经过党组织和江上青的艰苦努力，皖东北出现了生气勃勃的抗日救亡局面。

    随着斗争形势的发展，1939年3月，中共皖东北特委成立，杨纯任特委书记，江上青为特委委员。特委成立后，积极协助中共豫皖苏省委书记兼八路军、新四军驻皖东北办事处主任张爱萍等，进一步推动皖东北国共合作、团结抗战局面的形成，创建皖东北抗日根据地。

    1939年8月29日，江上青遭地主武装伏击，在安徽泗县小湾村壮烈牺牲，年仅28岁。