太祖建隆二年闰三月，以慕容延钊为山南东道节度使。先是，帝受禅，延钊握重兵屯真定，韩令坤领兵巡北边。帝遣使谕意，许以便宜从事，两人皆听命，乃加延钊殿前都点检，令坤亦加侍卫指挥使。至是，延钊自真定来朝，令坤亦从讨李重进还，皆罢为节度使。自是殿前都点检不复除授。
秋七月，罢侍卫都指挥使石守信等典禁兵。初，石守信、王审琦等皆帝故人，有功，典禁卫兵。赵普数以为言，帝曰：“彼等必不吾叛，卿何忧之深邪？”普曰：“臣亦不忧其叛也。然熟观数人者，皆非统御才，恐不能制伏其下，则军伍间万一有作孽者，彼临时亦不能自由尔。”帝悟。一日，召普从容论天下之事，因喟然叹息曰：“自唐季以来数十年间，八姓十二君僭窃相踵，兵革不息，生民涂炭。吾欲息天下之兵，建久长之计，其道何如？”普对曰：“陛下之及此言，天地神人之福也。节镇太重，唯稍夺其权，则天下自安矣。”帝曰：“卿勿复言，吾已喻矣。”顷之，帝因晚朝，与石守信等饮，酒酣，屏左右谓曰：“朕非卿等不及此。然天子亦大艰难，殊不若为节度使之乐，朕终夕未尝敢安枕卧也。”守信等请其故，帝曰：“是不难知，此位谁不欲为！”守信等顿首曰：“陛下何为出此言？今天命已定，谁复有异心！”帝曰：“卿等固然，其如麾下欲富贵何？一旦有以黄袍加汝身，汝虽欲不为，其可得乎！”守信等泣谢曰：“臣等愚不及此，惟陛下哀矜，指示可生之途。”帝曰：“人生如白驹过隙，所以好富贵者，不过欲多积金钱，厚自娱乐，使子孙无贫乏尔。卿等何不释去兵权，出守大藩，择便好田宅市之，为子孙立永远不可动之业；多置歌儿舞女，日夕饮酒相欢，以终天年。朕且与卿等约为婚姻，君臣之间，两无猜疑，上下相安，不亦善乎？”守信等皆谢曰：“陛下念臣等至此，所谓生死而肉骨也。”明日，皆称疾，乞罢典兵。帝从之，以守信为天平节度使，高怀德为归德节度使，王审琦为忠正节度使，张令铎为镇宁节度使，赵彦徽为武信节度使，皆罢宿卫就镇，赐赉甚厚，唯石守信兼职如故，其实兵权不在也。已而欲用天雄节度使符彦卿典禁兵，赵普谏曰：“彦卿名位已甚，岂可复委以兵柄？”帝曰：“朕待彦卿厚，岂忍相负耶？”普对曰：“陛下何以能负周世宗？”帝默然，事遂寝。
久之，王彦超及诸藩镇入朝，帝宴于后苑，酒酣，从容谓之曰：“卿等皆国家宿旧，久临剧镇，王事鞅掌，非朕所以优贤之意也。”彦超谕意，即前奏曰：“臣本无勋劳，久冒荣宠，今已衰朽。乞骸骨，归丘园，臣之愿也。”安远节度使武行德、护国节度使郭从义、定国节度使白重赞、保大节度使杨廷璋竞自陈攻战阀阅及履历艰苦。帝曰：“此异代事，何足论？”明日皆罢镇，奉朝请。
胡一桂曰：太祖深思天下唐末以来，生民涂炭，知所以处藩镇收兵权之道。既以从容杯酒之间，解石守信等兵权，复以后苑之宴，罢王彦超等节镇，于是宿卫、藩镇不可除之痼疾，一朝而解矣。
乾德元年春正月，初以文臣知州事。五代诸侯强盛，朝廷不能制，每移镇受代，先命近臣谕旨，且发兵备之，尚有不奉诏者。帝即位初，异姓王及带相印者不下数十人。至是，用赵普谋，渐削其权，或因其卒，或因迁徙致仕，或因遥领他职，皆以文臣代之。
夏四月，诏设通判于诸州，凡军民之政皆统治之，事得专达，与长吏均礼。大州或置二员。又令节镇所领支郡皆直隶京师，得自奏事，不属诸藩，于是节度使之权始轻。时符彦卿久镇大名，专恣不法，属邑颇不治，故特选常参官强干者往莅之，自是遂着为令。
三年三月，初置诸路转运使。自唐天宝以来，藩镇屯重兵，租税所入，皆以自赡，名曰留使、留州，其上供者甚少。五代藩镇益强，率令部曲主场务，厚敛以入己，而输贡有数。帝素知其弊。赵普乞命诸州度支经费外，凡金帛悉送汴都，无得占留。每藩镇帅缺，即令文臣权知所在场务。凡一路之财，置转运使掌之，虽节度、防御、团练、观察诸使及刺史，皆不预签书金谷之籍，于是财利尽归于上矣。
八月，选诸道兵入补禁卫。先是，帝诏殿前、侍卫二司，各阅所掌兵，拣其骁勇者升为上军。至是，命诸州长吏择本道兵骁勇者送都下，以补禁旅之阙。又选强壮卒定为兵样，分送诸道，召募教习，俟其精练，即送阙下。复立更戍法，分遣禁旅戍守边城，使往来道路，以习勤苦、均劳佚。自是将不得专其兵，而士卒不至于骄惰，皆赵普之谋也。
帝谓宰臣曰：“五代诸侯跋扈，有枉法杀人者，朝廷置而不问。人命至重，姑息藩镇当如是邪！自今诸州决大辟，录案闻奏，付刑部详覆之。”
帝复问赵普以文臣有武干者，普以左补阙辛仲甫对，帝遂用之为四川兵马都监。因谓普曰：“五代方镇残虐，民受其祸。朕今用儒臣干事者百馀人分治大藩，纵皆贪浊，亦未及武臣十之一也。”
吕中曰：天下之所以四分五裂者，方镇之专地也；干戈之所以交争互战者，方镇之专兵也；民之所以苦于赋繁役重者，方镇之专利也；民之所以苦于刑苛法峻者，方镇之专杀也；朝廷命令不得行于天下者，方镇之继袭也。太祖与赵普长虑却顾，知天下之弊源在乎此，于是以文臣知州，以朝官知县，以京朝官监临财赋，又置运使，置通判，皆所以渐收其权。朝廷以一纸下郡县，如身使臂，如臂使指，无有留难，而天下之势一矣。
帝既定计尽收诸宿将兵柄而削藩镇权，尤注意命将分部守边，具得要领。以赵赞屯延州，姚内斌守庆州，董遵诲屯环州，王彦升守原州，冯继业镇灵武，以备西夏；李汉超屯关南，马仁瑀守瀛州，韩令坤镇常（州）［山］，〈据《宋史》二五一《韩令坤传》改。〉贺惟忠守易州，何继筠领（隶）［棣］州，〈据《宋史》二七三《何继筠传》改。〉以拒北狄；又以郭进控西山，武守琪戍晋州，李谦溥守隰州，李继勋镇昭义，以御太原。其家族在京师者，抚之甚厚。郡中筦榷之利悉与之，恣其图回贸易，免所过征税。令召募骁勇以为爪牙。凡军中事，许从便宜。每来朝，必召对，命坐，赐以饮食，锡赉殊异。由是边臣皆富于财，得以飬募死士，使为间谍，洞知蕃情。每入寇，必能先知预为备，设伏掩击，多致克捷。自此累年无西北之虞，得以尽力东南，取荆、湖、川、广、吴、楚之地。
汉超在关南，民有讼其强娶己女为妾及贷民钱不偿者。帝召讼者，谓曰：“汝女可适何人？”对曰：“农家尔。”又问：“汉超未至关南时，契丹何如？”对曰：“岁苦侵暴。”曰：“今复尔邪？”对曰：“无也。”帝曰：“汉超，朕之贵臣，汝女为之妾，不犹愈为农妇乎？且使汉超不在关南，汝家尚能保其所有货财邪？”责其人而遣之，密使谕汉超曰：“亟还其女并所贷，朕姑贳汝，勿复为也。不足于用，何不以告朕邪？”汉超感泣，由是益修政理，吏民爱之。
初，遵诲父宗本仕汉为随州刺史。帝微时，客游至汉东，依宗本。遵诲冯藉父势，尝侮之，一日谓帝曰：“每见城上有紫云如盖。又梦登高台，遇黑蛇，约长百尺馀，俄化龙，飞腾东北去，雷电随之。是何祥也？”帝皆不对。他日论兵，遵诲理屈，拂衣起，帝乃辞宗本去。自是紫云渐散。及即位，召遵诲谕之曰：“卿尚记曩日紫云、黑龙之事乎？”遵诲惶恐再拜。俄而部下卒诉其不法十馀事，遵诲待罪请死。帝曰：“朕方赦过赏功，岂念旧恶邪？”遵诲母在幽州，患难暌离，帝厚赏边民，购得之，仍加优赐。至是，以环、夏近边，授通远军使。遵诲至镇，召诸族酋长，谕以朝廷威德，众皆感悦。后数月，复来扰边，遵诲率兵深入其境，俘斩甚众，获羊马数万，夷落以定。
陈邦瞻曰：宋祖君臣惩五季尾大之祸，尽收节帅兵柄，然后征伐自天子出，可谓识时势、善断割，英主之雄略矣！然观其任将如此，此岂猜忌不假人以柄者哉？后世子孙不深惟此意，徒以杯酒释兵权为美谈。至南渡后，奸臣犹托前议，罢三大帅兵以与仇敌连和，岂太祖、赵普之谋误之耶？然当时务强主势，矫枉过直，兵财尽聚京师，藩篱日削，故主势强而国势反弱矣，亦不可谓非其遗孽也。