A hagyomány a korabeli temetkezési szokásokban gyökerezik. Évezredekkel ezelőtt a zsidóság a hajdani Izrael sivatagos vidékén élt. Itt a holtak eltemetése nem volt egyszerű, hiszen a köves talajba mély gödröt ásni nagy nehézséget jelentett. Így hát a gödör kimélyítése helyett/mellett nagy kövekből halmot emeltek a holttest fölött, hogy az nehogy a vadállatok martalékává váljon (innen ered egyébként a sírkőállítás szokása is).
A közösség tagjai úgy tudtak az elhunyt javára tenni, ha vittek egy követ a sírra, hogy az minél erősebb legyen. Ezt a hajdan praktikus szokást őrzi a hagyomány; bár ma nagy kő helyett egy kis kavics is megteszi.
A sírra helyezett kő vagy kavics jelzi továbbá, hogy az elhunyt emlékezete tovább él, a közeli hozzátartozókat jó érzéssel töltheti el, hogy vannak még mások is, akik felkeresik a sírt. A kő továbbá nem múlandó, mint a virág, akár örök emlékként is megmarad.