干德二年(964)，范质等三位宰相同日被罢，任命赵普为门下侍郎、平章事、集贤殿大学士 。中书省没有宰相签署敕令，赵普以此为由上奏太祖，太祖说“：卿只管呈进敕令，朕为卿签署可以吗？”赵普说：“这是有关部门官吏的职责而已，不是帝王做的事 。”
太祖命令翰林学士讲求旧制，窦仪说：“现在皇弟任开封尹、同平章事，正是宰相的职任 。”太祖下令签署权赐给赵普 。赵普任宰相后，皇上把他看作左右手，事情无论大小，都向他咨询以后决断 。当时，赵普兼任监修国史 。
【跪而拾之以归的以什么意思】太祖命令薛居正、吕余庆为参知政事以辅助赵普，不能宣布皇帝的诏谕，位次列在宰相之后，不掌印，不参预上奏议事，朝会时不领班，只是奉令制作敕令而已 。原先，宰相副署敕令，都用内制，赵普任宰相后只有敕，不是原来的典章制度 。
太祖常常便装出行经过功臣之家，赵普每次退朝，不敢随便穿戴 。一天，傍晚时下大雪，赵普以为皇帝不会出来 。过了一段时间，听见叩门声，赵普急忙出门，皇帝站在风雪中，赵普惶恐迎拜 。
皇帝说“：已经约好晋王了 。”一会儿后太宗来到，赵普铺设厚垫子在地上请他们坐在堂中，在炽红的炉火上烧肉吃 。赵普的妻子敬酒，皇帝称她为嫂 。于是与赵普商议攻伐太原 。
赵普说：“太原地当西、北二面，太原如果攻下，则我国须单独抵挡这两面，不如等削平诸国以后，则太原这一弹丸黑子之地，能够哪里逃得掉呢？”皇帝笑着说：“我的意思正是这样，特地来试试你罢了 。”
五年(967)春季，朝廷给赵普加官右仆射、昭文馆大学士 。不久，赵普遭母丧，守丧制未毕，太祖诏令起用赵普处理政事 。于是他劝皇帝派遣使者分赴诸道，征发丁壮编好名册送到京师，以备守卫之兵；各州设置通判一官，主管钱粮 。从此军队和武器都很精锐，府库充实 。