这是一个让所有军统特务和革命人士都谈之色变的地方，人们只要关在这里两三年，往往被折磨得连走半里路都不能坚持。杨虎城在这里，几乎每夜都能听到执行枪决的子弹声，以及人们的哀号和孩子的啼哭声。他每日都恐惧自己会被杀害，恐惧死后自己的儿子没有人照顾。在这样担惊受怕的情绪下，他过了整整一年。

1939年夏天，戴笠到了息烽亲自视察。他发现离息烽县城10多里的高山顶上有一个玄天洞，是一个天然的大石洞，有10丈多高。里面有一所道士庙，只有一个大洞口可供出入，警戒极为方便。他便叫人在附近修建供特务队和宪兵等居住的房屋以后，将杨移送过去。

蒋介石还是不放心，再三叮嘱戴笠不可大意。为此，戴笠于1940年又亲往息烽布置，除了在杨住宅四周派有便衣特务严密看守外，外层宪兵也分两层布岗。宪兵连连部设在后山高地，可以控制后山和杨的住宅。军统特务队则设在前面上山的路口。岗哨距离近，白天彼此看得很清楚，晚上更缩小范围，并采用传更办法：就是用大竹子划两道口，像过去城市打更用的竹梆一样，以木棒敲打就发出很大的声音。每到夜间，隔一定时间，由第一个岗哨先敲几下。梆声刚落，第二个便得接着敲打。像这样轮流着一个个敲下去。只要一处不响，带班的马上去检查。从天黑到第二天黎明，梆梆之声响彻高山深谷。

虽然有了这些严密布置，但戴笠还怕不妥，便连息烽县长的职位也抓了过来，先后介绍军统特务邓匡元、徐羽仪、陈国桢去当县长。这样一来，所有地方组织一起掌握在军统特务手中，共同配合看守杨虎城。

除了看守十分严密之外，杨虎城的生活也是非常艰苦。山洞内终年不见阳光，潮湿异常。杨虎城全家在西北地势干燥的地方过惯了，住在这个地方很不适宜，加上心情不快，便常常生病。杨虎城自掏腰包在洞外修建了房屋居住，可是特务队长乘机揩油，偷工减料，房子质量十分简陋，杨虎城也是无可奈何。

约在1941年间，杨夫人又生了一个女孩。这给他精神上带来不少安慰，但这是暂时的安慰，很快就变成了忧伤。因为军统认为他夫人谢葆真是共产党员，常常有意刺激她。再加上生活上缺衣少食，她渐渐有些精神失常。