「日本書紀」によると、聖徳太子が道のほとりに伏せっている飢人を見つけ、助けましたが、飢人は亡くなりました。大いに悲しんだ聖徳太子は、飢人の墓をつくり、厚く葬りました。しかし、埋葬したはずの飢人の遺体が消えてなくなっていました。この飢人が、のちに達磨大師の化身と考えられるようになり、達磨寺は生まれました。
達磨寺の本堂の下には、今も達磨3号墳とよばれる古墳時代後期の円墳があります。
これが、聖徳太子が飢人のためにつくったお墓、すなわち達磨大師の墓とされ、鎌倉時代にその上にお堂が建てられて、本尊として堂内に聖徳太子像と達磨大師像が安置されました。