据说，财神爷是有钱人家供奉的，没钱的人供奉是不会显灵的。民间流传有“财神菩萨休妻”的故事：从前，财神庙财神身边总有一位端庄美丽的财神娘娘陪伴。后来这位善良的女菩萨突然不知去向，原来她被财神爷给休掉了。

财神爷为什么要休妻呢？这要从一个乞丐说起。有个讨饭化子穷得无路可走，讨饭路过一座古庙。进庙后，他什么菩萨都不拜，单摸到财神爷像前，倒头便拜，口里祷求财神爷赐财。赵公元帅见是一个叫花子，心里想连香烛都舍不得点，还来求财？天下有那么多穷叫花子，我能接济得过来吗？可乞丐心中想的正相反，他认为财神总会救济穷人的，富人不悉吃穿，求财何用？便不住地拜。

这时，财神娘娘动了恻恻隐之心，想推醒打瞌睡的财神夫君，劝他发发善心给这叫花子一点施舍。可财神爷不理睬，打了两个哈欠又闭上了眼睛。虽然是财神娘娘，可财权在夫君手上，夫君不点头，怎么好将钱赐给叫花子呢？

娘娘无奈只得取下自己的耳环，扔给了叫花子。乞丐突然感到神龛上掷下一物，一见是一副金耳环，知道是财神所赐，急忙磕头，连呼“叩谢财神菩萨”。财神爷睁眼一看，发觉娘娘竟将自己当年送她的定情物送给了穷叫花子，气得大发雷霆，将财神娘娘赶下了佛龛。自此以后，数百年来就再也没有一个穷人是拜了财神而发财的。