一天，杨将军一家正围桌就餐，看着粗劣的饭食，拯中又黑又瘦的面孔，听着孩子哇哇的哭叫，谢葆贞心烦意乱，顺口说了句：“怎么饭菜弄得越来越糟糕？”

　　恰好李家杰路过，他不仅不致歉，反而站在门口阴阳怪气地说：“杨夫人还是将就一下吧，百多号弟兄陪着你们到这山旯旮里来吃苦受罪，也没抱怨半句哩。”

　　谢葆贞不堪顶撞，蓦地将一碗饭兜头盖脸地朝李砸去。

　　李自知理亏，落荒而逃。

　　但从此后，他们便结下了深仇大恨。李家杰虽不敢在杨夫人跟前露面，暗地里则常常无中生有，添油加醋地向戴笠打报告，诬陷杨将军夫妇如何辱骂党国领袖、谢葆贞是精神病、杨虎城有钱不拿出来治病等等，并以谢葆贞有精神病，影响杨虎城生活为由，将谢葆贞和奶妈赶回旧洞居住，活活拆散了这个家庭。

　　面对李家杰的精神虐待和迫害，杨虎城极力抗争，经常和李家杰争吵。戴笠见李家杰实在无法继续工作下去，只得调李到重庆中训团任警卫组副组长，改任龚国彦为特务队队长，一九四九年三月又由白公馆看守所长张鹄接任。对负责看押的三个特务队队长，杨将军的评论是：“李家杰官僚的脑筋，军阀的举动，惟利是图，不知民苦，我太太的病就是受他剌激引起的；龚国彦拨弄是非，爱钱如命，剥削阶级的典型人物，几年来整得我连一口气都喘不过来，这家伙厉害啊！张鹄，獐头鼠目，自尊自大，不把人当人看，纯粹的一个刽子手！”

　　长期的忧郁，谢葆贞精神开始失常，常常隔着窗子大骂特务，甚至不管碗盆、桌椅，皆朝特务砸去。杨虎城屡屡恳求医治，但副队长兼杨虎城的专职医官张静甫虽然恭敬周全，却缺医少药，无法可施。戴笠每来视事，杨虎城总要提出改善生活条件，为儿子延师教读的要求，均未获准。

　　一九四五年初，杨将军病情时好时坏，饮水不良造成的胆结石病经常发作。谢葆贞的病情也愈发严重，急需人照料，经多次请求，戴笠才允许将监禁在息烽集中营的杨虎城的副官阎明、勤务兵张醒民移囚玄天洞，以照料杨虎城夫妇生活。

　　一九四六年一月，旧政治协商会议在重庆召开，要求结束国民党一党专政，结束特务的罪恶活动。释放张学良、杨虎城，成为各界人士的共同呼声。三月戴笠摔死，军统改组为国防部保密局，息烽的军统特务机构相继撤迁南京。

　　一九四六年十月中旬，张学良由贵州桐梓县天门洞（四十兵工厂所在地）被押解到原中美合作所松林坡戴公祠，十一月一日又被押往台湾新竹县竹溪口。

　　在保密局由毛人凤主持的一次局务会议上，司法处长李希成报告张学良的押解经过后，问：“对杨虎城如何处置？”

　　毛人凤想了想说：“总裁对此尚无明确表示。杨虎城这个案子，处理实在有点困难，释放吧，杨虎城必定造反；杀吧，又有好多顾虑，暂时只好继续关下去。”

　　一九四七年四月三十日，杨虎城被移押重庆原中美合作所杨家山一平房内，外卫由交警大队和宪兵二十四团一个连看守。七月，杨将军胆结石病急性发作，在童家桥洗布塘中央医院童家桥分院（前身为军统局四一医院），由中央医院医生陈仁亨割掉胆囊。后又由牙科学博士蒋祝华拔掉两颗牙齿，并为他配上假牙，正是蒋医生配的这两颗假牙，为日后确认杨虎城遗体提供了科学依据。

　　据蒋祝华医生回忆：

　　一九四七年夏天某日，蒋祝华突然接到伪中央医院谢锡珙院长打来的电话，要他准备医疗器械，一会儿有车来接他去为一个病人拔牙。大约半个钟头后，果然就来了一辆美式吉普车，蒋医生带上他的的学生简华彬和张维汉医生一同前行。车开到歌乐山下，经过一道大门检查，然后就到了一个办公室，有两个人陪他们吃中饭。吃完饭后，他们就被带到山上最高的一幢房子，四面有持枪的岗警。当蒋医生等人坐下后，有一个人来给他们招呼，叫他们一会冶病时不要多问，稍后，另外的人便带了一个病人来与蒋医生对面坐下，并介绍这是杨老先生。蒋医生见杨先生个子高大，头发蓬松，未戴帽子，也未戴眼镜，未加修饰的脸上，留有二三寸胡须。他穿了一身陈旧的黑色长绸衫，面容严肃，气宇不凡。但是他全身带有一股浓浓的臭味。当蒋医生一跨进这个地方，他就意识到这位杨先生不是一般的政治犯，既然要请有着他这种医学资历的人来替这个人看病，这姓杨的决非一般的人。蒋医生开始为杨先生检查，问他哪里不好？杨先生没有说话，只用手指着上唇。蒋医生在检查时，发现他两颗上中前门牙松动，明显叩痛，是创伤引起的根尖脓肿，如果早进行治疗，就不会发展这么严重。于是蒋医生提出这两颗牙齿应该到医院照片、作根管治疗及根尖切除手术。但旁边的人说：“到医院去不行，我们这里没有条件，也没有医生，请你来，你把它拔掉就行了。”