他对于帝国军队和民族运动之间的联系深信不疑。

然而当1939年德国以进攻波兰开始第二次世界大战的时候，施陶芬贝格感到了困惑。作为帝国军队的军官他陷入了两种感觉的斗争中：一方面要在战争中证明作为士兵的价值 ，而另一方面他也意识到希特勒在军队准备并不充分的情况下实行“闪电战”的危险性。

就在施陶芬贝格在是否忠于希特勒的十字路口徘徊的时候，希特勒已经占领了波兰，又于1940年初开始攻打法国，一年之后开始进军苏联。

也就是在这时，施陶芬贝格第一次接触到帝国军队内部的“反对派”，对于希特勒的狂妄的口气他们都极其反感，这也为他以后发动和团结更多的反对希特勒的高级军官打下 了最初的思想基础。

在随后的两年内，希特勒的军队横扫欧洲，不可一世，其间“反对派”也曾策划过多起暗杀行动，但总是因为种种原因而未能成功，施陶芬贝格也成为“反对派”发展动员的 对象，不过直到1941年之前，他对于刺杀希特勒是否能够改变德国的未来并不确定，所以并没有更多地参与暗杀计划。

与后来反对希特勒形成鲜明对比的是，在希勒特的全面战争计划中，施陶芬贝格因为充沛的精力和工作的优异成绩反而受到了好评和嘉奖。希特勒的节节胜利让很多高级军官 似乎已经闻到了“德国统一世界”的味道，而民间的一些反对希特勒的活动尽管有些声势，毕竟还不能直接接触到“元首”。

直到希特勒将枪口掉向之前曾经与之签订互不侵犯条约的苏联，俄罗斯的寒冬和残酷的战争事实告诉施陶芬贝格和其他将领，“希勒特在滥用军队”。

帝国军队在占领区肆意杀害当地居民和犹太人也加深了这些将领对于希特勒的怀疑，同时，战争也让施陶芬贝格付出了惨痛的代价。

1943年春的一天早上，几架美国战斗机从突尼斯的一条海岸公路上空呼啸掠过，将雨点般的子弹倾泻在德国的一列车队上。卡车顿时燃起了熊熊烈火，滚滚的浓烟飞散在沙漠 上空。施陶芬贝格倒在尸体堆上。