När Milner satte 1-0 hade det bara gått 66 sekunder av matchen, och därmed noterades han för årets snabbaste mål hittills i Premier League. Ett fint vänsterskott från kanten av straffområdet.
I andra halvlek ökade Daniel Sturridge på till 2-0 med ett tungt skott. Samme Sturridge satte även 3-1 efter att Villa slunkit emellan med en reducering från Rudy Gestede.
Det blev dock dramatiskt med 20 minuter kvar, när Rudy Gestede satte sitt andra för dagen och reducerade till 3-2.
Aston Villa: Guzan, Hutton, Richards, Lescott, Amavi, Sanchez, Gana, Westwood, Gestede, Grealish, Sinclair.
Liverpool: Mignolet, Clyne, Skrtel, Sakho, Moreno, Can, Lucas, Milner, Coutinho, Ings, Sturridge