于栗石单是代郡人。从小就学习武艺，才干和气力都超乎常人，能左右驰射。登国年间，任冠军将军，授新安子爵。他和宁朔将军公孙兰，暗地里从太原沿着韩信故道，开通井陉关的道路，在中山暗袭慕容宝。道武帝随后赶来，他见道路已经修好，十分高兴，当即赐于栗石单名马。当赵、魏两地被讨平之后，道武帝大摆筵席欢会众官时，对于栗石单说：“你就是我的黥布和彭越啊！”晋封爵位为新安公。道武帝到白登山狩猎，看见一头大熊带着几只小熊，便看着于栗石单说“：能够和它相搏斗吗？”于栗石单答“：如果打不过它，岂不是白白当作一名勇士吗？自当把它们赶到您的车驾前，轻而易举地制服它们。”不一会，这几头熊都被捕获了。道武帝注视着他并表示谢意。
后来他当河内镇将。刘裕攻打姚泓时，于栗石单担心他会继续往北侵扰，便在河边构筑坚固的堡垒，刘裕很觉不安，便送信给于栗石单，向他借道西去。这封信开头写“：黑槊公麾下。”于栗石单将书信表奏皇帝，明元帝因此而赐号于栗石单为“黑槊将军”。于栗石单喜欢拿着一把黑槊，刘裕远远望见，很是惊奇，所以有了这样称呼。后升任豫州刺史，晋爵位为新安侯。洛阳虽然原是历代的都城，如今却是北魏的边界地。于栗石单勤于治理，人心安定，深得百姓的拥戴。明元帝南行至盟津时，问于栗石单说：“黄河上能造桥吗？”于栗石单说：“杜预曾经造过桥，有这样的往事，应当可以。”于是他把许多大船连结在一起，在冶坂这个地方造了一座桥。当大军渡过黄河后，明元皇帝大为赞叹。
太武帝攻打赫连昌时，命令于栗石单跟宋兵将军周几领兵袭击陕州城，两人统率的军队长驱直入，攻至三辅之地。太武帝给他晋封公爵。他多次担任外地重镇的大官，判案、量刑都很公平，很有声望。死时，追赠太尉官职。
于栗石单从年轻时就统率军队，直至白发苍苍，他临事善作决断，所向无前。加之又谦虚待人，礼贤下士，不滥用刑罚。所以他去世时太武帝十分伤心，惋惜不已。
他的儿子名叫洛拔，长得十分秀美，又善于言谈。被任命为侍御中散大夫。太武帝十分宠爱他，所以赐给他这个名字。不久被任命为监御曹令。景穆帝为东宫太子时，对他格外敬重和礼遇。可是洛拔经常怀有戒心而自行退避，不敢倾心和景穆太子结交。过了一些时间，他承袭了父亲的爵位。后来曾任侍中、尚书令，同僚官员们都怕他。后死于任上。洛拔生有六个儿子。