בניית הבית הלבן בוושינגטון, D.C., החלה בשנת 1792. בשנת 1800, הנשיא ג'ון אדמס היה הנשיא הראשון שעבר לאחוזת ההנהלה, והוא שוקם, שופץ ונבנה מחדש פעמים רבות מאז. הבית הלבן מוכר ברחבי העולם כביתו של נשיא אמריקה וסמל לעם האמריקני. אבל כמו האומה שהיא מייצגת, האחוזה הראשונה של אמריקה מלאה בהפתעות בלתי צפויות.
במהלך מלחמת 1812, ארצות הברית שרפה את בנייני הפרלמנט באונטריו, קנדה. אז, בשנת 1814, הצבא הבריטי נקם על ידי להצית חלק גדול מוושינגטוןכולל הבית הלבן. החלק הפנימי של המבנה הנשיאותי נהרס והקירות החיצוניים היו חרוכים מאוד. לאחר השריפה התגורר הנשיא ג'יימס מדיסון באזור בית אוקטגוןאשר שימש לימים כמטה למכון האמריקני לאדריכלים (AIA). הנשיא ג'יימס מונרו עבר לבית הלבן המשוחזר בחלקו באוקטובר 1817.
בערב חג המולד 1929, זמן קצר לאחר שארצות הברית נפלה לדיכאון כלכלי עמוק, פרצה שריפה חשמלית באגף המערבי של הבית הלבן. האש הפילה את משרדי ההנהלה. הקונגרס אישר קרנות חירום לתיקונים, והנשיא הרברט הובר וצוותו עברו להתגורר ב- 14 באפריל 1930.
כאשר האדריכל פייר צ'ארלס לאנט גיבש את התוכניות המקוריות לוושינגטון הבירה, הוא קרא לארמון נשיאותי מורכב וענק. החזון של L'antf הושלך והאדריכלים ג'יימס הובן ובנג'מין הנרי לטרוב עיצבו בית הרבה יותר קטן וצנוע יותר. ובכל זאת, הבית הלבן היה מפואר בתקופתו והגדול ביותר במדינה החדשה. בתים גדולים יותר לא נבנו עד לאחר מלחמת האזרחים ועלייתם של
אחוזות גיל מוזהבות. הבית הגדול ביותר בארצות הברית הוא בית מאותה תקופה, בילטמור שבאשוויל, צפון קרוליינה, שהושלם בשנת 1895.אבן הפינה של הבית הלבן הונחה בשנת 1792, אך ייתכן שבבית באירלנד היה המודל לעיצובו. האחוזה בבירת ארה"ב החדשה נבנתה באמצעות רישומים של ג'יימס הובאן, יליד אירלנד, שלמד בדבלין. היסטוריונים מאמינים כי הובאן ביסס את עיצוב הבית הלבן על מקום מגורים מקומי בדבלין, בית לנסטר, בית הסגנון הגאורגי של הדוכסים של לנסטר. בית לנסטר באירלנד הוא כיום מושבו של הפרלמנט האירי, אך לפני כן סביר להניח היווה השראה לבית הלבן.
הבית הלבן שופץ פעמים רבות. בשנות ה -18 המוקדמות עבד הנשיא תומאס ג'פרסון עם האדריכל יליד בריטניה, בנג'מין הנרי לאטרוב, על מספר תוספות, כולל מצבות הכנף המזרחית והמערבית. בשנת 1824 פיקח האדריכל ג'יימס הובאן על תוספת של "מרפסת" ניאו-קלאסית על בסיס תוכניות שגיבש לטרוב. נראה כי הפורטיקו הדרומי האליפטי משקף את ה שאטו דה רסטיגנאק, בית אלגנטי שנבנה בשנת 1817 בדרום מערב צרפת.
האדמה שהפכה לוושינגטון, D.C., נרכשה מווירג'יניה ומרילנד, שם נהגו בעבדות. דוחות שכר היסטוריים מתעדים זאת רבים מהעובדים שנשכרו לבניית הבית הלבן היו אפריקאים אמריקאים- כמה חופשיים וכמה עבדים. אמריקאים אפריקאים עבדו לצד פועלים לבנים באבן חול במחצבה באקוויה, וירג'יניה. הם גם חפרו את המדרגות לבית הלבן, בנו את היסודות וירו לבנים לקירות הפנים.
הבית הלבן לא יכול היה להסתיים בלי אומנים ופועלים מהגרים אירופאים. עובדי אבנים סקוטיות הרימו את קירות אבן החול. בעלי מלאכה מסקוטלנד גילפו גם את קישוטי הוורד והזר מעל הכניסה הצפונית ואת התבניות המסולסלות מתחת למשטחי החלון. מהגרים אירים ואיטלקים עשו עבודות לבנים וטיח. מאוחר יותר, אומנים איטלקים חצבו את עבודות האבן הדקורטיביות בתמונות הבית הלבן.
הנשיא ג'ורג 'וושינגטון בחר בתוכניתו של ג'יימס הובאן, אך הוא הרגיש שהיא קטנה מדי ופשוטה עבור נשיא. תחת פיקוחו של וושינגטון הורחבה תוכניתו של הובאן והבית הלבן קיבל חדר קבלה מפואר, פילאסטרים אלגנטייםברדסים לחלונות וסלילי אבן של עלי אלון ופרחים. אבל וושינגטון מעולם לא התגוררה בבית הלבן. בשנת 1800, כשהבית הלבן כמעט הסתיים, הנשיא השני של אמריקה, ג'ון אדמס עברו לגור. אשתו של אדמס אביגיל התלונן על מצבו הלא גמור של הבית הנשיאותי.
בוני הבית הלבן המקורי לא שקלו את האפשרות של נשיא עם מוגבלות. הבית הלבן לא הפך לכיסא גלגלים נגיש עד פרנקלין דלאנו רוזוולט נכנס לתפקיד בשנת 1933. הנשיא רוזוולט חי בשיתוק בגלל מחלת הפוליו, ולכן הבית הלבן עבר שיפוץ כדי להכיל את כסא הגלגלים שלו. פרנקלין רוזוולט הוסיף גם בריכת שחייה מקורה ומחוממת כדי לעזור בטיפול שלו. בשנת 1970 כיסתה בריכת השחייה ומשמשה כחדר התדרוך לעיתונות.
לאחר 150 שנה, קורות העץ והקירות הנושאים עומס חיצוניים של הבית הלבן היו חלשים. מהנדסים הכריזו על הבניין כבלתי בטוחים ואמרו שהוא יקרוס אם לא יתוקן. בשנת 1948, החדר הפנימי של הנשיא טרומן היה מרופד כך שניתן יהיה להתקין קורות תמיכה חדשות מפלדה. במהלך השחזור, התגוררו הטראומנים מעבר לרחוב ב בית בלייר.
הבית הלבן נקרא בשמות רבים. דולי מדיסון, אשתו של הנשיא ג'יימס מדיסון, קרא לה "טירת הנשיא." הבית הלבן נקרא גם "ארמון הנשיא", ה- "בית הנשיא", ו"אחוזת ההנהלה ". השם "הבית הלבן" לא הפך רשמי עד כה 1901, מתי הנשיא תיאודור רוזוולט אימץ אותה רשמית.
יצירת בית לבן אכיל הפכה למסורת ואתגר של חג המולד עבור הקונדיטוריה הרשמית וצוות אופים בבית הלבן. בשנת 2002 הנושא היה "כל היצורים גדולים וקטנים", ועם 80 קילו של זנגוויל, 50 פאונד שוקולד ו 20 ק"ג מרציפן. הבית הלבן נקרא התבשיל הטוב ביותר לחג המולד אי פעם.
הבית הלבן עשוי אבן חול בצבע אפור ממחצבה באקוויה, וירג'יניה. השערים הצפוניים והדרומיים בנויים מאבן חול אדומה של Seneca ממרילנד. קירות אבן החול לא נצבעו לבן עד לשחזור הבית הלבן לאחר השריפות הבריטיות. זה לוקח 570 ליטרים של צבע לבן כדי לכסות את כל הבית הלבן. הכיסוי הראשון בו נעשה שימוש נוצר מדבק אורז, קזאין ועופרת.