乾德二年（964年），宋太祖部署中樞與地方政權既定，時機成熟，就盡罷留用後周的範質，王溥、魏仁浦三相，任命趙普為門下侍郎、平章事、集賢殿大學士。中書省沒有宰相簽署敕令，趙普以此為由上奏宋太祖，宋太祖說：“卿隻管呈進敕令，朕為卿簽署可以嗎？”趙普說：“這是有關部門官吏的職責而已，不是帝王做的事。”宋太祖命令翰林學士講求舊製，竇儀說：“現在皇弟任開封尹、同平章事，正是宰相的職任。”宋太祖下令簽署權賜給趙普。趙普任宰相後，皇上把他看作左右手，事情無論大小，都向他詢以後決斷。當時，趙普兼任監修國史。太祖命令薛居正、呂餘慶為參知政事以輔助趙普，不能宣布皇帝的詔諭，位次列在宰相之後，不掌印，不參預上奏議事，朝會時不領班，隻是奉令製作敕令而已。原先，宰相副署敕令，都用內製，趙普任宰相後隻有敕，不是原來的典章製度。宋太祖常常便裝出行經過功臣之家，趙普每次退朝，不敢隨便穿戴。一天，傍晚時下大雪，趙普以為宋太祖不會出來。過了一段時間，聽見叩門聲，趙普急忙出門，宋太祖站在風雪中，趙普惶恐迎拜。宋太祖說“已經約好晉王了。”一會兒後趙光義來到，趙普鋪設厚墊子在地上請他們坐在堂中，在熾紅的爐火上燒肉吃。趙普的妻子敬酒，宋太祖稱她為嫂。於是與趙普商議攻伐太原。趙普說：“太原地當西、北二麵，太原如果攻下，則我國須單獨抵擋這兩麵，不如等削平諸國以後，則太原這一彈丸黑子之地，能夠哪逃得掉呢？”宋太祖笑著說：“我的意思正是這樣，特地來試試你罷了。”這番談話表明在確定所謂“先南後北”的方針上，趙普襄讚有功。關於先南後北決策的核心，主要是統一北漢，奪取燕雲十六州是以後的事情。就這樣，宋太祖先南後備的統一戰略得以製定。乾德五年（967）春，加封趙普為右仆射、昭文館大學士。突然母親去世，趙普守喪，皇帝詔令繼續到到職辦公，趙普就全太祖派遣使者到各個要道，征召壯丁戶籍姓名送到京師，以作為守衛的預備。在每個州府設置通判，令其負責錢糧事宜。自此後兵精糧足，府庫充實。開寶二年（969年）冬，趙普生病，宋太祖乘車親自到中書省看望。開寶三年（970年）春，再次到趙普的府邸安撫慰問，賞賜錢財，增加其俸祿。開寶六年（974年），宋太祖又一次造訪趙普府第。正好吳越王錢俶派人送信和禮物，單子上說是“海物十瓶”，放在堂屋的左廊下。正好宋太祖的車駕到了，趙普匆忙出去迎接，來不及遮擋禮物。宋太祖看見，問是什東西，趙普回答是海物。宋太祖說：“錢俶送來的海物，一定很好。”就命人打開，結果發現瓶裝的全是金瓜子（小顆粒的瓜子黃金）。趙普很緊張，叩首道歉說：“我還沒有打開書信，實在不知道麵是什，如果知道，一定會上奏皇上，拒絕掉這些東西。”宋太祖笑著說：“盡管收下，不要過慮。他還以為國家大事都是你擬定的呢。”趙普收下金子，韓王在東京汴梁的府宅都是用這些金子修建的。趙普輔政是相當****，其他的朝臣非常忌憚他。當時官府禁止私人販賣陝西、甘肅的大木料，趙普曾經派遣小吏到市場去買木材，連成巨大的木筏運到京城蓋房子。這個小吏就趁機偷竊木材，打著趙普的旗號在京城賣。權三司使趙玭廉知道了又稟告給宋太祖，宋太祖非常生氣，督促下令追查此事，想要下旨驅逐趙普，幸好有王溥上奏求情才解決了這件事情。依照以往的舊製，宰相、樞密使每次在長春殿等候召問，一起在廬中等候；趙匡胤聽說趙普的兒子趙承宗娶樞密使李崇矩的女兒為妻，於是命令他們分開等候。趙普又用空閑地私自換取皇家菜地來擴建自己的住宅，又經營客店謀利。盧多遜任翰林學士，趁著趙匡胤召見時多次攻擊趙普的短處。正好雷有鄰敲響登聞鼓，告發堂後官胡讚、李可度受賄枉法以及劉偉偽造代理官職文書而得官，王洞曾經收受李可度的賄賂，趙孚除授西川官卻稱病不到任，都受到趙普的庇護。宋太祖大怒，下令禦史府審查訊問，他們都受到處罰。任命雷有鄰為秘書省正字。太宋祖對趙普的恩寵漸漸疏淡了，開始下詔參知政事與趙普交替掌印、領班、奏事，來分奪趙普的權力。不久，把趙普調出京師任河陽三城節度、檢校太傅、同平章事。開寶九年（976年）十月，宋太祖駕崩，趙光義繼位，是為宋太宗。太平興國二年（977年）三月，趙普自河陽入朝，遷太子少保留京城奉朝請。趙普常被盧多遜詆毀，在朝廷任官幾年，鬱鬱不得誌。遇到柴禹錫、趙鎔等人告發秦王趙廷美驕奢恣肆，將會發生陰謀。宋太宗召問，趙普表示希望在機要部門來觀察事變，退朝後又上書宋太宗，自陳參預知道宋太祖、昭憲皇太後臨終顧托之事，言辭非常懇切。太宗感動醒悟，召趙普加以慰諭。不久任趙普為司徒兼侍中，封為梁國公。原先，秦王趙廷美位次在宰相之上，到這時，因為趙普是勳舊大臣，又任宰相，趙廷美上表請求位次在趙普之下，宋太宗聽從了。到涪陵事敗，盧多遜遷往南方，都是趙普的功勞。太平興國八年（983年），趙普外調任武勝軍節度、檢校太尉兼侍中。宋太宗作詩給他餞別，趙普捧詩而哭說：“陛下賜臣詩，應當刻石，與臣朽骨一並葬在地下。”宋太宗被他感動了。第二天，宋太宗對宰相宋琪說：“趙普對國家有功，朕先前與他同遊，現在牙齒頭發都衰落了，不能用樞務政事煩擾他，選擇善地來安置他，因此作詩篇來表達我的本意。趙普感激得哭泣流涕，朕也為之淚下。”宋琪回答說：“昨天趙普到中書省，手拿禦詩哭泣，對我說：‘此生餘年，無法報答皇上，希望來世能為陛下效犬馬之力。’臣昨天聽到趙普的話，今天又聽到皇上的宣諭，君臣之間善始善終的情份，可以說是兩全啊！”雍熙三年（986年）春，宋太宗為報高梁河之辱而伐遼，親征幽薊，戰事遷延，久未班師。趙普上手疏諫阻說：“我看今年春天出師征討，將要收複關外，多次聽見克敵的捷報，深感痛快。但是時間消逝，轉眼又到炎夏季節，軍事一天天繁忙，戰爭沒有停息，軍隊疲勞而耗費錢財，實在無益。我認為陛下自從平定太原以來，閩、浙歸順，統一中國，大振英名，十年之間，就傳遍天下，遠方的人不歸服，自古聖王置之度外，不足介意。我個人考慮奸邪諂媚的人，蒙蔽皇上的聰明睿智，以致發動師出無名的戰爭，陷入深不可測的境地。臣遍讀典籍，很知道些以往的事，我認為漢武帝時主父偃、徐樂、嚴安的上書及唐朝宰相姚崇上書唐明皇十件事，都是忠言至論，可以實行。希望陛下萬忙之中，有幸讀一讀，過失並不深遠，即使後悔也來得及追回。臣以為大發驍勇善戰的雄兵，動輒使用百萬軍隊，得到的少，而失去的多。又聽說戰爭是件危險的事，難以保證一定獲勝；戰爭是凶器，最戒忌的是不測。關係很大，不能不三思。我又聽說上古聖人，心不固執，理貴變通。前人的書上有‘兵久生變’的話，實在值得考慮，如果改變遲緩計劃，會失去機遇。十天半月過去，時間就到了秋季，北邊轉入秋涼，弓弩強勁，戰馬肥壯，我軍久困，考慮到這個時候，可能會導致錯誤的指揮謀劃。臣剛剛蒙皇上寵愛駐守地方，哪敢妄言阻止軍隊。因為臣年歲已老，剩餘的時間不多，報答國家和皇帝的恩情，正是這個時候。希望迅速頒發詔令回師，不能輕視敵人。臣還有萬全之策，願獻給陛下。希望陛下精心調製膳食，保養身體，提攜那些貧民，使他們轉為富庶。將來會看到邊烽無事，大門不關，天下都歸於仁德，不同風俗的地區，相繼向慕歸化，歸順朝廷，契丹又能單獨怎樣呢？陛下不為這樣考慮，而相信奸邪諂媚之徒，以為契丹皇帝年少而國事繁多，所以訴諸武力，恰好迎合陛下的意思。陛下以禍為樂，求功心切，以為萬全之策，臣認為萬萬不可。希望陛下審察虛實，追究妄謬，懲治奸臣誤國之罪，停止伐燕軍隊的行動。