石敢当传说源于黄帝时代，蚩尤的头角无人能敌，所向之处，玉石难存，黄帝屡遭败绩。某次蚩尤登泰山，自称天下谁敢当，女娲投下炼石，上刻“泰山石，敢当”，终致蚩尤溃败。于是黄帝乃遍立泰山石敢当，蚩尤每见此石，便畏惧而逃，后在逐鹿被擒，从此泰山石敢当便成为民间辟邪神石。
另一种传说是起源于周朝，石敢当是神名“石将军”。因姜子牙辅佐文武二王灭商有功，死后被谥封“泰山——石敢当”，执守鬼门关道。东岳泰山雄伟且富有神气，被视为具有无边法力的山神，能镇压任何厉鬼，此后便演化成驱邪之神。
以上当然只是传说，比较可信的起源是商代的奠基遗俗。人类文明发端于对石头的使用，石头崇拜是一种自然拜物教。商代在建设城邑和屋宅时，埋石奠基既有对基址土质考察的功能，又是一种具有象征意义的仪式。直至今天，重大工程、重要建筑开工前往往也举行奠基仪式。
石敢当在唐代以前作为奠基器物，唐代起逐渐赋予其辟邪的色彩。到了南宋末年，石敢当已完全转变为辟邪神石，使用地点也扩大至河岸、桥头、村落入口等，功能也扩大到镇百鬼、压灾殃、止风邪、辟凶煞等。
灵石镇宅民俗历史悠久，北周庾信在《小园赋》里说“镇宅神以埋石，厌山精以照镜”，要镇定宅神，使其常护左右，就必须于造屋时埋石为祭。民间最简便、最常用的灵石镇宅法是设立“石敢当”，重约50-100斤，以青石赤石为吉。高四尺八寸，宽一尺二寸，厚四寸，埋入土中八寸。
其适用范围和设立的具体方法是，当住宅、大门被道路、巷口、桥梁所冲时，就正对道路、巷口、桥梁处立一石人或植入一片石，上刻“石敢当”或“泰山石敢当”，有的还在上部雕上虎头图案，以此象征镇压不祥，敢当无敌。石敢当主要适用于镇压道路冲射，至于非道路性的冲射，则采用刻写其它字样的灵石予以镇压。
在民间信仰中，泰山是治鬼之府，人死魂魄归于泰山，故古代镇墓券中常有“死属泰山”的说法。治鬼之神被称为泰山府君或东岳大帝，主阴府冥间，好比佛教中的阎罗王，各地都设庙奉之。泰山石敢当因而也就具有惩治凶神恶鬼的功用，风水术也以此作为主要的避让和化煞方法之一。
石敢当这种避让和化煞方法在观念上与泰山治鬼的观念一样都带有原始宗教山岳崇拜的痕迹，在形式上借用了民间的信仰习俗。设立石敢当主要用来抵消住宅周边环境对人心理的不利影响，根本目的还是让人心安，心安则诸事平安。