Группа образована в Гладбеке (Германия) в 1980 году. В первом составе группы были вокалист и гитарист Петер Массон, бас-гитарист Крис Болтендаль (Chris Boltendahl) и ударник Лутц Шмельзер. Вскоре место у микрофона занял Крис, чей вокал стал «визитной карточкой» группы. Впервые творчество группы было выпущено в 1983 году — песня «Violence» попала в сборник «Rock From Hell». В 1984 вышел первый альбом группы «Heavy Metal Breakdown». После выпуска альбомов «Witch Hunter» и «War Games» Петер Массон ушел из группы, и его заменил Уве Люлис (Uwe Lulis).

С 1987 году группа выступала под именем «Digger». Под этим названием выпущен альбом «Stronger Than Ever», по стилю отличавшийся от «Grave Digger». В конце 1987 года группа распалась.

В 1991 году Болтендаль начал возрождение «Grave Digger». В состав возрожденной группы вошли гитарист Уве Лулис, бас-гитарист Томи Готтлих (Tomi Göttlich)(экс-Asgard, Rebellion) и ударник Питер Брейтенбах. В 1993 году вышел альбом «The Reaper». В 1994 году Брейтенбаха заменил Йорг Михаэль(Jörg Michael), но следующий альбом «Symphony Of Death» записан уже с ударником Франком Ульрихом. Вскоре ушел и он, на его место пришел Стефан Арнольд. В 1996 году Grave Digger записали концептуальный альбом «Tunes Of War», который посвятили славному прошлому Шотландии.

В 1998 году записан концептуальный альбом «Knights Of The Cross», тематика которого относится к Крестовым походам и Ордену Тамплиеров. В альбоме на бас-гитаре играл новый бас-гитарист — Йенс Беккер (Jens Becker)(экс-Running Wild и X-Wild). Финальной частью трилогии концептуальных альбомов стал «Excalibur» (1999), который посвящён рыцарям Круглого стола и Артуровским мифам.

В конце 2000 года группу покинул Уве Люлис, его заменил Манни Шмидт (Manni Schmidt)(экс-Rage).

Новый альбом «Rheingold» выпущен в 2003 году. Он основан на немецком фольклоре, в частности на саге Рихарда Вагнера «Кольцо Нибелунгов». Следующий альбом «The Last Supper» выпущен в январе 2005 года. После него группа отметила своё 25-летие, записав живой концерт на DVD «25 To Live».

В январе 2007 года выходит новый, вновь концептуальный альбом «Liberty or death», посвященный террору, тиранам и борьбе с ними. Весной того же года группа дала три концерта в России в рамках тура в поддержку альбома. В 2008 году, во время записи нового альбома, в составе впервые появился второй гитарист. Им стал Тило Херманн (Thilo Hermann)(экс-Running Wild), старый приятель Мани Шмидта.

В январе 2009 выходит новый альбом «Ballads Of A Hangman». Как рассказывал Крис, на создании концепции альбома его подтолкнула книжка со стишками про смерть, подаренная его женой. Во время тура в поддержку альбома из группы уходит Тило Херманн. Три концерта в России были отыграны уже в одну гитару. Летом 2009 года было анонсировано выступление на фестивале «ПроРок» на Украине. Однако шоу так и не состоялось из-за отмены второго дня фестиваля. В октябре того же года из-за разногласий группу покидает Манни Шмидт. Замена ему была найдена в лице старого знакомого Криса, гитариста Акселя Ритта (Axel Ritt).

В 2010 году группе исполняется 30 лет. К этой дате было приурочено грандиозное выступление на «Wacken Open Air». 1 октября выходит новый альбом «The Clans Will Rise Again», в котором «могилокопатели» вновь возвратились к славному прошлому Шотландии. В рамках тура в поддержку альбома группа дала несколько концертов в России и Беларусии. 7 марта состоялся выход юбилейного DVD «The Clans Are Still Marching», съемки которого прошли на фестивале Wacken Open Air. В качестве специальных гостей на сцене засветились Van Canto, Hansi Kürsch и Doro Pesch