Auf einer Baumwollfarm im südstaatlichen Macon, Georgia der 1920er Jahre herrschen immer noch Zustände wie zur Zeit der Sklaverei. Der jugendliche Plantagen-Arbeiter Cecil Gaines erlebt, wie seine Mutter vom Besitzer der Farm, Thomas Westfall, vergewaltigt und sein Vater anschließend von diesem erschossen wird. Strafrechtliche Konsequenzen muss dieser bei einem Mord an einem Schwarzen zu dieser Zeit nicht fürchten. Westfalls Mutter Annabeth nimmt den entsetzten Jungen vom Feld und gibt ihm im Haus eine elementare Ausbildung als „Haus-Nigger“, d. h. Diener im Haus. Einige Jahre später verlässt Cecil die Farm, weil er befürchten muss, auch zum Opfer des rassistischen Farmers zu werden, und macht sich auf Arbeitssuche.
Außerhalb der Farm wird er mit den schlimmen Realitäten der südlichen USA konfrontiert, er muss oft im Freien übernachten und leidet Hunger, weil er nirgendwo eine Anstellung finden kann. Schließlich schlägt er vor lauter Hunger das Bäckerei-Schaufenster eines Hotels in North Carolina ein, um einen Kuchen zu stehlen. Dabei wird er von Maynard, dem schwarzen Maitre d`Hotel, überrascht, der ihn jedoch nicht an die Hotelbesitzer verrät. Eigentlich will Maynard Cecil wieder wegschicken, doch dieser überredet ihn, ihm mit seinen Erfahrungen als „Haus-Nigger“ eine Anstellung zu geben. Maynard lässt sich überzeugen und wird in der folgenden Zeit zum Förderer von Cecil, indem er ihn in allen Bereichen der Hotellerie ausbildet. Dieser schärft ihm auch ein, dass er den Gästen immer alle Wünsche von den Augen abzulesen, aber ansonsten unsichtbar zu bleiben hat.
Aufgrund der Vermittlung von Maynard erhält Cecil einige Zeit später eine Anstellung im Excelsior, einem vornehmen Hotel in Washington, D.C. Dadurch kommt er zu bescheidenem Wohlstand und kann sich ein Haus sowie ein Auto kaufen. Er heiratet das Zimmermädchen Gloria und hat zwei Kinder mit ihr, Louis und Charly. Im Hotel wird Arthie Warner, der Personalchef des Weißen Hauses, auf ihn aufmerksam und schlägt dem dortigen Majordomus Freddie Fallows Cecil zur Anstellung als Butler vor. Beim folgenden Vorstellungsgespräch ist Fallows zuerst nicht überzeugt, auch weil derartige Personalfragen üblicherweise durch ihn selbst geregelt werden. Doch Cecil kann Fallows mit seinen Fähigkeiten überzeugen und erhält schließlich die Anstellung.
Durch seine Tätigkeit nahe am Zentrum des politischen Geschehens bekommt er die Umbrüche der US-amerikanischen Gesellschaft und den Lauf der Weltgeschichte aus einer ungewöhnlichen Perspektive zu sehen und übt teilweise sogar einen kleinen Einfluss auf die jeweiligen Hausherren aus. Cecil trifft die Präsidenten in persönlichen, teilweise intimen Situationen und lernt aus nächster Nähe ihre politischen Auffassungen und Handlungen zum Problem der Rassentrennung kennen: Cecil bedient Präsident Eisenhower, während dieser malt. Dessen Vizepräsident Nixon befragt während seines Wahlkampfs 1960 Cecil und dessen Kollegen nach deren politischen Ansichten und Wünschen und verspricht den Butlern die gleiche Bezahlung wie für Weiße. Präsident Kennedy liegt wegen seines Rückenleidens ausgestreckt auf dem Boden und lässt sich von Cecil aufhelfen. Danach berichtet Kennedy Cecil, dass dessen Sohn Louis schon sechzehnmal verhaftet worden sei. Nach der Ermordung von Kennedy schenkt dessen Witwe Jacqueline Cecil eine Krawatte des Ermordeten. Präsident Johnson sitzt bei geöffneter Tür auf der Toilette, gibt währenddessen seinen draußen stehenden Mitarbeitern Anweisungen, spricht mehrfach von „Niggern“ und lässt sich schließlich von Cecil Pflaumensaft geben, wohl zur Förderung der Verdauung. Während der Watergate-Affäre kauert Präsident Nixon deutlich angetrunken auf der Couch; er lädt Cecil zum Sitzen ein und erklärt ihm dann, er werde nicht zurücktreten. Präsident Reagan schließlich zieht Cecil ins Vertrauen und beauftragt ihn, private Geldzuwendungen an in Not geratene Menschen zu überbringen; gegenüber Nancy Reagan verpflichtet Reagan ihn zum Schweigen.
Im Gegensatz zu seinem prestigeträchtigen Beruf steht sein Familienleben vor einem Zusammenbruch. Seine Ehefrau Gloria ist zeitweise alkoholkrank und tröstet sich mit einem Mann aus der Nachbarschaft, weil Cecil zu viele Überstunden im Weißen Haus leistet. Sein älterer Sohn Louis kann sich lange nicht mit dem dienenden Beruf des Vaters abfinden, den er mit der Unterdrückung der Schwarzen in Amerika in Verbindung sieht. Auf Demonstrationen wird er immer wieder verhaftet und ins Gefängnis geworfen. In Alabama gerät er in einem Freedom-Rider-Bus in einen rassistisch motivierten Hinterhalt. Er schließt sich als radikaler Kämpfer für die Rechte der Schwarzen der Black-Panther-Bewegung an. Während eines Abendessens mit Charly, Louis und dessen Freundin kommt es zum Bruch zwischen Louis und seinen Eltern. Charly meldet sich freiwillig zur Armee und fällt im Vietnamkrieg. Später beendet Louis sein Studium und wird Kandidat für den Kongress.
Cecil und seine Frau werden von Nancy Reagan als Gäste zu einem Staatsbankett eingeladen und sitzen in der Nähe des Präsidentenpaares. Im Gegensatz zu dieser persönlichen Wertschätzung wird Cecil durch Reagans Haltung zum Regime der Apartheid in Südafrika verunsichert: Reagan kündigt gegenüber Senatoren seiner eigenen, der Republikanischen Partei, an, er werde gegen ein Gesetz, das Sanktionen gegen Südafrika verhänge, ein Veto einlegen. Darauf kündigt Cecil seine Stelle. Auf dem Weg nach Hause kommt er an der Botschaft Südafrikas vorbei und trifft dort auf seinen Sohn Louis, der eine Demonstration gegen Reagans Südafrika-Politik anführt. Louis und Cecil versöhnen sich. Cecil schließt sich der Demonstration an, und sie werden gemeinsam verhaftet.
An einem Sonntag, kurz vor der Präsidentschaftswahl, aus der Barack Obama siegreich hervorgehen wird, stirbt Gloria. Später will Präsident Obama den ehemaligen Butler im Weißen Haus empfangen. Als der Protokollchef ihm respektvoll den Weg zeigen will, entgegnet Cecil: „Ich kenne den Weg.“