曾经“一手遮天”的堤义明也变得束手无策，而习惯于听命的下属，更是不知所措。

从1996年开始，西武集团连续9年出现赤字，仅2004年就亏损93亿日元。这一年，堤义明的个人财富也迅速缩水至30亿美元，不及巅峰时的零头，最后干脆从福布斯财富排名榜中消失。

跌落神坛的西武集团此后丑闻不断。

2005年，西武铁道被东京证交所勒令退市。随后瑞穗银行入驻西武，对集团资产做全面清理，将多座滑雪场、酒店、棒球队转售，并大幅裁员。

同年，71岁的堤义明因涉嫌发布虚假财务信息、伪造财务报表和非法进行内部股票交易等多项罪名，被判处2年半监禁，缓刑4年。