裴安祖，少年时就很聪慧。八九岁时听老师讲《诗经》，对兄长们说：“鹿得到吃的还鸣叫着呼唤同类，更何况人呢！”从此，他不单独吃东西。二十岁那年，州府征辟他任主簿。有兄弟两个人争夺财产，到州里打官司。裴安祖召见他们兄弟，用兄弟间的礼义责备他们。这两兄弟第二天就到州府找到他承认错误。州内的人都很佩服他。后来有人劝他去做官，他说：“高尚的道德我不敢说自己差不多全部都有，实在是害怕京城遥远，政务琐碎。”于是，他在家中闲居以颐养性情，从不离开城市。天气炎热，他曾在树下乘凉，一只苍鹰追赶雉鸡，雉鸡急忙逃命，碰在树上昏死过去。裴安祖很可怜它，便把它放在阴凉的地方，认真照看，过了很久它才苏醒过来。他很高兴，将它放掉。后来他晚上忽然梦见一个年轻的男子，衣服和帽子都十分讲究，上面绣着花纹，向他一再拜谢。他感到奇怪，便询问是怎么一回事，这人答道：“感谢你前天放了我，所以来报答你的恩德。”听的人都感到惊异。
后来，孝文帝到长安，路过河东，访问旧臣故吏，裴安祖在蒲坂拜见了孝文帝。孝文帝与他谈话后十分高兴，封他为安邑县县令，他以年老多病坚决辞绝。孝文帝下诏发给他俸禄以供他买药用。八十三岁在家中去世。