明朝初定，洪武帝刚登大宝，后宫空虚。军师刘伯温和众文武大臣纷纷奏本，要皇上快选娘娘和嫔妃，以保大明江山久远。洪武帝准奏，于是众臣有举张家女的，也有保李家妞的。洪武帝虽也选了几个嫔妃，可却都不甚满意，所以正宫娘娘之位一直空着。

　　洪武帝是马上皇帝，整天拼杀惯了，再加上从小就给人放牛，苦出身，一见这些拿捏着架子走一步退半步的人，从心里就腻烦。

　　军师刘伯温深知洪武帝心思，就奏道：“万岁，臣闻好花开在山间，好女出在乡间。万岁既是不愿在京城娇娃中选正宫娘娘，何不亲自到乡间山野去选?一来可歇息游玩，二来如看中投缘的，可立时招选来京。这样一举两得，岂不甚好?”洪武帝一听，正合心意，立马准奏。

　　第二天，君臣几人换上百姓装束，离开了京城。多年征战，难得能信马由缰，一路游山玩水，洪武帝好不高兴。这天来到了下邳，前面有座大山挡住了去路，隐隐约约树木掩映中露出了寺庙红墙。看看天已不早，军师刘伯温奏启：“天色已晚，不如就到山上寺庙借宿一晚，一来不需投店问路，二来寺庙中也安静祥和。”洪武帝点头应允。

　　来到寺庙近前观看，门楣上书“瑞香寺”三个大字。进到寺中，只见殿宇宏伟，步入大殿，中立释迦佛像，丈六金身，庄严慈祥，两侧环列十八尊罗汉。君臣人等敬供香资百余两，方丈亲自接待，泡上最好的山泉香茶，并陪坐闲话。只听老方丈说：“看各位是远来贵客，定不知俺这寺庙为何叫瑞香寺吧?”君臣摇头说不知。老方丈说：“俺这寺庙是一位云游僧人到此，发现一宝凤神鸟在此落脚，并口吐神种一粒。此神种落地就生根发芽，半天工夫，竟高有几丈，并散发出阵阵扑鼻香气，方圆几十里都能闻到。云游僧知此为宝地，就在此处化缘建庙。庙建好后，就为此庙题名为‘瑞香寺’。