퇴계 선생에게는 많은 일화들이 전한다. 그 중에는 단양 군수시절 기생 두향과의 사랑이야기가 전해 오고 있다.
나이 마흔 여덟 되든 해, 퇴계는 단양군수로 부임했다. 거기서 두향이라는 관기를 알게 되었는데,
유달리 시와 매화를 좋아했던 두 사람은 만나자마자 서로 뜻이 통하여 사랑하게 된다.
그런데 퇴계의 형인 이해가 관찰사로 오게 되면서 상피제도에 의해 퇴계는 부임 10달 만에 풍기군수로 전근하게 되고,
정이 들대로 든 두 사람은 생이별의 아픔을 나누며 마지막 밤을 보낸다.
불은 껐으나 워낙 달이 밝아 문을 통해 들어오는 달빛으로 방안은 초롱을 밝힌 듯 훤하였다.
두향은 투명한 달빛 아래에서 붓에 먹을 듬뿍 묻힌 다음 종이 위에 이별시 한 수를 쓰기 시작했다.
찬 자리 팔베개에 어느 잠 하마오리(轉輾寒衾夜不眠)
/ 무심히 거울 드니 얼굴만 야윗고야(鏡中憔悴只堪憐)
/ 서로의 이별은 서럽고 괴로워라(何須相別何須苦)
/ 백년을 못 사는 인생 이별 더욱 서러워라(從古人生來百年).
퇴계가 떠나던 날 두향은 매화(녹악매)화분을 건네주며 자신처럼 생각해 달라고 했고 퇴계도 흔쾌히 수락했다.
새로운 군수가 오자 두향은 수령을 찾아가 자신은 퇴계밖에는 사랑할 수 없음으로 기생 명부에서 빼달라고 간청했고
감동한 군수는 허락했다. 두향은 퇴계와 함께 자주 갔었던 구담봉 앞 강선대가 잘 보이는 곳에 초막을 짓고
퇴계만 생각하며 살았다. 퇴계 또한 두향이 준 화분을 어디든지 가지고 다니며 애지중지 했다.
그리고 퇴계는 “저 매화화분에 물을 주라.”는 유언을 남기고 마지막 숨을 거두었다.
두향은 퇴계의 임종 소식을 듣자 “내가 죽거든 강선대 옆 거북바위에 묻어다오,
거긴 내가 선생과 함께 자주 인생을 논하던 곳이다.”라는 유언을 남기고 강선대에 올라가
거문고로 초혼가를 탄 후 뛰어내려 자결했다. 매년 5월이면 단양에서는 “두향제” 를 개최하여
두 사람의 아름다운 사랑이야기를 기리고 있다.