據《資治通鑑·卷第一百九十五》記載，太宗因賞識他英勇忠貞，輔佐有功，曾經對敬德說：「朕想將女兒許配與卿爲妻，不知意下如何？敬德叩頭辭謝道：「臣妻雖然淺薄卑陋，但是臣與她共貧賤，歷患難已多年；臣雖不學無術，但曾聽說古人『富不易妻』，臣願效仿古人，不忍離棄老妻。」太宗聽完尉遲敬德的肺腑之言，也就作罷。
與此事蹟相仿的是漢朝宋弘的故事。
據《後漢書·卷二十六》記載，宋弘，字仲子，京兆長安人((今陝西省)。漢光武帝即位以後，官拜太中大夫。後來又做了大司空，被封爲栒邑侯。他把自己所有的田地租稅收入和俸祿，一併用來贍養九族中的人，因此家中並無資產，以清廉的德行而聞名。
當時正逢光武帝的姐姐湖陽公主喪夫寡居，光武帝念及姐弟之情，常請她入宮見面、聊天，也想再爲姐姐找一個丈夫。一天，二人談及朝中大臣。公主說，宋公威容德器，朝中無人能及。光武帝知道姐姐的意思後，就召見宋弘，讓公主坐在一座屏風後面聽他們談話。光武帝對宋弘說：「俗語說：『貴易交，富易妻』。這是人之常情，卿可知朕的心意否？宋弘答道：「我聽說『貧賤之交不可忘，糟糠之妻不下堂』」。聽了這話，光武帝也就明白了宋弘的想法。於是他對公主說：「此事不成。 」