魔术队想再试一年，可新的赛季如同没有尽头的长夜，噩梦连着噩梦，总也看不到黎明。2003-04赛季的第一场，在纽约，魔术以残阵上场，从赛季一开始，伤病就在纠缠球队。比赛打进加时，魔术险胜。头一场比赛，似乎耗尽了魔术的全部气力，接下来他们连输19场。赛季刚开始不到两个月就已经画上句号，不是因为他们输了19场，而是整个球队没有丝毫重新振作士气的迹象，已经乱作一盘散沙，球员脸上的表情越发木讷，盼着时间能飞得再快一些，让这种煎熬迅速终结。麦迪继续得着分，似乎比以往更容易，他好像已经失去了对队友的信任，很少传球，队友们也乐于成为场上的看客。麦迪再一次成为得分王，可魔术整个赛季只赢下21场比赛。

糟糕的战绩，从另外一个角度想，意味着更好的选秀顺位。为了拉近球队之间的实力差距，联盟制定了选秀规则，战绩最差的球队拥有更大的机会得到最高顺位。2004年，魔术抽中了状元签，在接下来的选秀中，他们将得到一位潜力巨大的明日之星。给麦迪一位实力相当的帮手，也许属于魔术的时刻就越来越近了。

在麦迪看来，球队总也迈不过季后赛第一轮，是因为自己的帮手实力太差。魔术得出的结论和麦迪不同，他们认为，球队成绩糟糕，不仅仅因为其他人能力一般，更因为麦迪不是一个成功的领袖。他不防守，也没有丝毫意愿帮助身边人成功。当时的总经理约翰?维斯布劳德认为，麦迪是一个极端自私的人。从此，维斯布劳德和麦迪间的矛盾不断激化，甚至公开到了台面上。

维斯布劳德心中的完美球队，必须无比团结。他是个冰球迷，在冰球的世界里，团队合作是一切的前提。维斯布劳德觉得，麦迪早已把自己凌驾于团体之上：“我过去常常告诉我的球员，如果你坐在板凳席上，你要从左到右，把所有的队友都记在心里，你必须对你自己说，我能为他们中的任何一个人挡子弹。但在篮球的世界里，有太多的自私自利和自尊自大，这让球员们很难有这样的认识。可如果要成功，就必须依靠团队，让每一个人都融入团队。这是我的要求，而麦迪做不到。”

关系交恶后，麦迪提出希望到更强的球队打球，他提到过湖人、马刺的名字，还有太阳，也说到过火箭，他认为如果内线有姚明这样的中锋帮忙，球队一定能够赢下很多东西。