西晉有位名將叫羊祜，字叔子，原費縣南城人(今山東費縣西南)，他出身於名門世家，德才兼備，魏末歷任中書侍郎、祕書監等職，掌管軍事機要。晉武帝時，升任尚書左僕射，衛將軍。他不管是爲政還是治軍，始終重行仁德，謙遜禮讓，因此而深受人們敬重，甚至連敵軍也對其由衷敬佩。
當時的王佑、賈充、裴秀在前朝時很有名望，羊祜雖居高位，但對他們總是非常謙讓。晉武帝曾經爲羊祜在洛陽建築豪宅，但羊祜卻拒絕了。女婿勸他購置產業以養老，他說：「作爲大臣去謀私產，這必定會損害公家的利益，這是爲人臣子最要忌諱的。」
羊祜經常向晉武帝推薦有德有才的人擔任高位，但每次他都將起草的文書燒掉，不讓別人知道。有人認爲他過於謹慎了，應該讓被提拔的人知道是誰推薦的。羊祜說： 「這是什麼話！這不是邀功取寵，期望別人對自己感恩戴德嗎？對這些，我避之惟恐不及。身爲朝中大臣，不能舉薦特異之才，豈不有愧，難道要我承擔不善知人的責任嗎？像那些在朝上爲公卿，出來則到私宅去接受謝恩的事，我是絕不會去做的。」
羊祜曾駐守荊州。每次與吳軍交戰，都要約定與吳軍約定交戰的時間和地點，從來不搞偷襲、奇襲等詭詐計謀。每有將領提及偷襲欺詐之類的計策，羊祜總是讓他們喝酒，藉故扯開話題，顧左右而言他。
有因進犯而被俘獲的吳人想要離去，羊祜都任由他們來去，有吳軍死難將領，便厚加葬殮，家屬願迎官柩還鄉的，都以禮遣送。在邊境狩獵時，如果獵物是先被吳人所傷，然後才跑到晉地而被晉軍所捕獲，羊祜都命手下人去送還給吳人。羊祜的軍隊進入吳境後，如果沿路割了吳人的稻穀充做軍糧，都會令士兵留下等價的絹作爲補償。
吳人私下尊稱這位敵軍的主帥爲「羊公」，都爭先恐後跑去歸附羊祜，投降的吳人越來越多，最終人心歸晉。《晉書》中贊曰：「羊公恩信，百萬歸來。」
當時的吳軍主將是陸抗，他也十分羨慕羊祜的德行氣量，兩人亦敵亦友，互相敬重。陸抗曾贈美酒給羊祜，羊祜一點也不疑心有毒爽快喝下；陸抗病了，向羊祜請求幫忙尋找良藥，羊祜將成藥給他，陸抗立即服用，部下進諫勸阻，陸抗說：「怎麼會有用毒酒殺人的羊祜？」陸抗告誡他那些守邊的將士說：「他（羊祜）專門做道德仁義的事，我們做殘暴不義的事，這就是沒有交戰卻已被對方降服了。我們現在只做到各自保衛好自己的邊界就行了，不要去佔那些很小的利益。」
吳主孫皓後來聽說了晉吳邊境居然友好交往，於是爲此責問陸抗，陸抗回答說：「一縣一鄉都不可以沒有「信義」，何況我們這樣的大國呢！我如果不這樣做，正是顯揚了羊祜的美德，對羊祜毫無損傷啊。」
羊祜去世後，晉武帝哭得非常哀傷。那天特別冷，晉武帝流下的眼淚沾在須鬢上，都結成了冰。羊祜曾有遺言不讓把南城侯印放入棺木。晉武帝說：「羊祜堅持謙讓已很多年了，現在人死了而謙讓的美德還在。如今就按他的意思辦，恢復他原來的封號，以彰明他高尚的美德。」荊州百姓聽說羊祜去世後，爲悼念他而罷市，停止集市交易，街巷中的哭泣之聲接連不絕，就連吳國守衛邊境的將士們也爲此而傷心流淚。因爲「屋」、「戶」與「祜」字諧音，荊州、襄陽一帶的百姓爲表示對羊祜的尊敬，避諱羊祜的名字，所以把「屋」改爲「門」，把「戶曹」改爲「辭曹」。
羊祜生前曾喜歡遊峴山，襄陽百姓便在峴山上爲他建廟立碑，一年四季祭祀。望着這座碑的人沒有不落淚的，所以人們稱這座碑爲「墮淚碑」。後來歷代的很多詩人也感嘆羊祜的仁德而紛紛賦詩讚頌。