女郎仏の由来については資料がなく、昔からの言い伝えのみですが、最も信ずべき書き残された記録を紹介します。

1790年（寛政2年）3月1日に暴風雨があり、翌日に村の役人が土手山という官林を見回りに行ったところ、山の中から、若い女性のすすり泣く声が聞こえてきました。行ってみると、18～19歳位の気品卑しからぬ女性が病に倒れ苦しんでおり、病に重く言葉も絶え絶えで、どこの者とも分からないため、仮小屋を造って手当てをしました。
しかし、村民たちの手厚い看護のかいもなく、5日後に女性は息を引き取ってしまいました。その女性を葬り、お堂を建てて祀ったのが、女郎仏と言われています。

その女性があまりにも美しく身分を明かさなかったため、悪い病にかかった女郎とも、由緒ある者の落人とも、越後新発田藩主の落胤で由あって帰る途中に不慮の災厄に遭ったとも、様々な説が残されていますが、何時ごろから下の病に霊験あらたかであると知れ渡り、人々の信仰を集めたそうです。

なお、女郎仏は、長年の念願が叶い、1953年（昭和28年）に真言宗智山派妙延寺として正式に認証されました。
戸塚安行駅から国道122号線方面へ歩いて20分ほどの妙延寺は、今では皮膚病や腫れ物によく御利益があるといわれ、多くの参詣者が訪れています。