李績不想參與到結黨營私當中，隻想坐山觀虎鬥。對李治，他心存感激，但也覺得這不過是李世民與李治的帝王之術，並無多少感激在麵。

    他果真在褚遂良與長孫無忌離去之後，便寫了辭呈，遞交了上去。

    李治一再的挽留，李績一再的堅持。

    最後，於永徽元年（650年）十月初三，李治解除李績的尚書左仆射職務，仍任開府儀同三司、同中書門下三品。

    李績還顯得一副很是無奈的樣子“哎，老臣老矣，也不得清閑。”

    關於這個信息，長孫無忌覺得，就算沒拉攏李績，看到李績抽身世外，倒也不錯。

    而褚遂良，繼續調查著皇上去感業寺的真實目的。這看似忠誠的臣子，心到底在想什，誰又知道呢？

    李績的事情少了，也有了空閑，便抽身前往感業寺。他回到京城才得知武媚已經奉先帝旨意出家為尼，心中很是不解先帝的所為。

    他也聽說了一些有關皇上和武媚的傳聞，難道這就是先帝一定要讓武媚出家的原因嗎？雖是繼母，武媚與新皇可是年齡相當。

    李績雖是富家出生，也是當過土匪的，他的思想不拘泥於傳統。這也造成了他明明看出了長孫無忌的陰謀，卻也不願意插手的原因。他覺得，雖是新皇真有心於武媚，就應該給她一個名份，一個可以遮風避雨的窩。他瞧不起這個連自己心愛的女人都保護不了的新皇。可他哪知道李治的難處？

    他是一個知恩圖報的人，當年出征高句麗，是武媚救了他一命，他一直謹記於心。

    他身穿便服，單獨來到了感業寺，會見了武媚“武才人，您清瘦了許多。”

    武媚淡然的一笑“李大人今日為何能得空閑，來看望貧尼？”

    李績看了看四周，並無外人“武才人，老夫如今辭去了尚書左仆射的職務，空掛著開府儀同三司之職。三司之事，自有長孫大人和褚大人操心。我自是清閑了不少。”

    武媚眉頭緊鎖“李大人，朝廷正是用人之際，你怎可隻圖自己清閑？新皇登基，朝政之事，必是需要你的。”

    李績臉色有些難看“皇上可是傾心於您？”

    李績如此直白的問話，讓武媚吃驚不小“啊？這，這……”

    李績又看了看四周“這並無旁人，武才人也不必隱瞞於老夫。您曾經救過老夫一命，老夫從未忘記，必不會做出傷害您的事情來。”

    武媚坦然“嗯，貧尼是與皇上兩心相印。隻是，貧尼並不想讓皇上為了貧尼，而在朝堂上難做。”

    李績不解“皇上往後宮添個妃子而已，有那難嗎？”

    武媚的臉色暗下來“皇上也不是那好當的。初登大寶，政局不穩，就算是無關緊要的小事，也有可能被有心的人利用。”

    武媚的話，讓李績想起了褚遂良與長孫無忌，是那的挖空心思，要調查皇上與武媚的事情，低下頭，沉思了片刻，心中盤算著怎樣才能成全了皇上與武媚的事情。

    隨後，李績起身“武才人且安心靜養，自有雨過天晴的那一天。”

    武媚將李績送走，不管他是否能幫到自己，她的心也是很感激的。當年她救他，完全是一種巧合。換了別人，她依然會救，誰讓她本就善良呢？

    李績回去之後，就開始命人調查朝中大臣，看看誰是與長孫無忌和褚遂良不合的。

    調查之後，發現一個很有意思的事情，那就是，長孫無忌和褚遂良都是關隴門閥，對他們不滿的都是一些受關隴士族所打壓的寒門子弟。

    李績悄悄的派人給皇上送了一個口信“如今關隴門閥獨攬朝政，長此下去，終將一發不可收拾。望陛下能重用寒門子弟，以達到製衡關隴門閥的效果。”

    他不能寫奏折，以免被長孫無忌等關隴門閥中人看到。

    李治得到這個消息，很是欣喜，心想“李大人並沒有置朕於不顧，或許暫時的退縮，隻是為了麻痹需要對付的人。朕又何嚐不知，要想製衡關隴門閥，就得要提攜寒門子弟，才能讓朕有朝一日能乾綱獨斷。隻是，一切都需要時機。”

    為了麻痹褚遂良與長孫無忌，李治從登基之後，就假裝著很聽話，一切都聽之任之。小試牛刀，讓洛陽百姓李弘泰（內衛假扮）誣告長孫無忌謀反。一是想試探長孫無忌的反應，二是當他不問其真假就立即下令將其處斬，以博得長孫無忌的信奈。這也讓長孫無忌很是滿意。

    李績等不了皇上出馬，私下找了李義府。

    此時的李義府隻是一個中書舍人（任起草詔令之職），並無什實權。他得知李績找他私下會麵，豈有不去之禮。