В июне 1941 года Кельпш был призван на службу в рабоче-крестьянскую Красную Армию. Принимал участие в боях на Западном, Северо-Западном и 3-м Белорусском фронтах. Отличился во время освобождения Польши.
8 февраля 1945 года Георгий Кельпш с товарищами во время ожесточенного сражения против почти полка пехоты, танков и артиллерийских батарей противника оказался в окружении. В том бою погиб весь расчет Кельпша, сам он получил несколько серьезных ранений, но продолжал вести огонь. Когда его орудие было уничтожено, боец продолжал стрелять из автомата, пока не скончался от потери крови.
Указом Президиума Верховного Совета СССР от 19 апреля 1945 года за «образцовое выполнение боевых заданий командования в боях за освобождение Польши и проявленные при этом мужество и героизм» сержант Георгий Кельпш посмертно был удостоен высокого звания Героя Советского Союза.
Похоронен Георгий Кельпш в деревне Зеленице в 5 километрах к югу от польского города Гурово-Илавецке.
На родине героя установлен памятный знак. В честь Георгия Францевича названа улица в селе Лесное.
