Grimstenen som gett namn åt Grimstens Härad Vid Sörby ligger på sluttningen av "Sörhammarn" en jordfast sten som kallas grimsten. Stenen är inte särskilt påfallande vad gäller storlek eller form. Det enda som skiljer den från andra stenar, är att den har en grop eller håla av 15-20 cm diameter. (Säkerligen en ren naturbildning). Enligt sägnerna skall Grimstens härad fått sitt namn efter denna sten. Detta gick till på något av följande sätt, berättas det: "En av våra kungar i gammal tid var ute och red sin eriksgata. Vid Sörby gjordes den första rasten efter Ramunderboda. Kungen band då sin häst med grimskaftet i en ögla av järn som var fastgjord i stenen. Hästen blev dock skrämd av något, slet sig loss och skenade i väg. Därvid följde öglan och en bit av stenen med. De raska Vibyborna satte dock efter hästen och återförde den till kungen så snabbt att konungen gladdes däröver. Till minne av händelsen befallde kungen att häradet därefter skulle heta Grimstens härad." "En annan sägen, säger att Fylleskonungen "Grims" häst, skulle ha sparkat kraftigt i stenen så att en grop uppstod. Hålet liknar faktiskt en hästhov, så kanske?" "En tredje sägen säger att konungarna som stannade vid Kungsvallby gård lät sina hästar gå i bet i backarna omkring Sörby. Man lade då hästarnas grimmor på Grimstenen, som av detta fick sitt namn." Den har också en sägen som offerplats. "När du färdas förbi denna Grimmsten, ska du lägga en knappnål där uppå och allt kommer att gå bra för dig." Texten om Grimstenen är hämtad ur Vibyboken

Grimsten på sluttnigen av Hammaren.