Återstoden av dagen är berättelsen om butlern som är så lojal mot sin arbetsgivare att han helt försakar sig själv. Det är en saktmodig film om oförmågan att klä känslor i ord och om kärlek som aldrig får pröva sina vingar.

I efterkrigstidens Storbritannien får butlern Stevens (Anthony Hopkins) ett brev. Brevet är från Miss Kenton (Emma Thompson), som han en gång lärde känna då hon arbetade som hushållerska på godset där han fortfarande är anställd. Deras förre arbetsgivare, Earlen av Darlington (Hugh Grant), har nu avlidit. Efter kriget avslöjades han som en förrädare på grund av sina nazistsympatier och hans gods, Darlington Hall, ägs nu av en pensionerad amerikansk kongressledamot. Efter att ha fått brevet ber Stevens om lov att låna arbetsgivarens bil och beger sig sedan iväg för att möta Miss Kenton. Därefter får vi genom tillbakablickar följa deras arbete på Darlington Hall under 1930-talet.

Återstoden av dagen är filmatiseringen av Kazuo Ishiguros roman om butlern som undertrycker sig själv så till den grad att han inte til låter sig utveckla en egen identitet. Stevens filosofi som butler är att varken synas eller höras. Att rollen som butler är hans enda karaktärsdrag, förstärks av att han inte ens ges något förnamn i filmen. Han är Stevens och ingenting mer.