Japan tog sig till åttondelsfinal med minsta möjliga marginal, då man kom tvåa i gruppen på färre gula kort än Senegal. Belgien å sin sida vann sinn grupp med tre raka segrar.
I Belgien gjorde Manchester Citys stjärna Vincent Kompany sin första start för detta VM, då han skadade sig strax innan mästerskapet och bara gjorde ett inhopp under gruppspelet.
Belgien hade det mesta av spelet i den första halvleken och även ett par halvchanser att sätta ett ledningsmål, men när domaren blåste för halvtid stod det fortfarande 0-0.
Det var Japan som skulle ta ledningen i den andra halvlekens upptakt, när Genki Haraguchi löpte i djupen, fick en fin passning och borrade ner bollen vid Thibaut Courtouis högra stolpe. Minuten efter målet var Belgien nära att kvittera, då Eden Hazard träffade stolpen med ett skott.
I stället för 1-1 skulle Japan utöka till 2-0 i minut 52 då Takashi Inui satte bollen från distans.
I minut 69 skulle Belgien reducera till 1-2 genom en lurig lobbnick av Jan Vertonghen efter en hörna, och bara fem minuter senare skulle Belgiens kvittering också komma. Inbytte Mauouane Fellaini höll sig framme på ett inlägg och nickade in 2-2.
I minut 86 var Romelu Lukaku nära att sätta 3-2 för Belgien, men Eiji Kawashima i Japans mål stod för en jätteräddning.
Matchen såg ut att vara på väg mot förlängning, men i den sista stopptidsminuten kontrade Belgien in 3-2, ett anfall som avslutades av Nacer Chadli. Målet blev matchens sista spark, och tog Belgien vidare till kvartsfinal.
- Sådant här händer i VM. Det var ett karaktärstest för laget. Det säger allt om den här gruppen av spelare, säger Belgiens förbundskapten Roberto Martinez till Fifa efter matchen.
Belgien är i och med vändningen första lag sedan 1970 att vända ett tvåmålsunderläge till seger i en utslagsmatch i VM.
En seger för Japan hade inneburit att man kvalificerat sig för sin första kvartsfinal någonsin i ett VM.
I kvartsfinalen ställs Belgien mot Brasilien, som tidigare i dag slog ut Mexiko.
Startelvor:
Belgien: Courtois - Alderweireld, Kompany, Vertonghen - Meunier, De Bruyne, Witsel, Carrasco - Mertens, Lukaku, Hazard.
Japan: Kawashima - Sakai, Yoshida, Shoji, Nagatomo - Hasebe, Shibasaki - Haraguchi, Kagawa, Inui - Osako.