על בסיס ממצאים ארכיאולוגיים הועלתה הנחה כי הומיניד הפעילות ביפן עשויה להתקיים כבר ב -200,000 B.C. כאשר האיים היו קשורים ליבשת אסיה. למרות שחלק מהמלומדים מפקפקים בתאריך מוקדם זה למגורים, רובם מסכימים כי בסביבות 40,000 לפנה"ס. הקרחון חיבר מחדש את האיים עם היבשת.
מאכלס את ארץ יפן
בהתבסס על עדויות ארכיאולוגיות, הם גם מסכימים כי בין 35,000 ל 30,000 B.C. הומו ספיינס היגרו לאיים ממזרח ודרום-מזרח אסיה והיו להם דפוסים מבוססים של ציד ואיסוף וייצור כלי אבן. בכל איים של יפן נמצאו כלי אבן, אתרי אוכלוסייה ומאובני אדם מתקופה זו.
תקופת ג'ומון
דפוסי חיים יציבים יותר הולידו בסביבות 10,000 לפנה"ס. ל ניאוליתית או, כפי שטוענים חוקרים מסוימים, מזוליתית תרבות. אבות אבות רחוקים ככל הנראה של תושבי יונה המודרניים ביפן המודרנית, חברי תרבות ג'ומון ההטרוגנית (ca. 10,000-300 לפנה"ס) השאירו את התיעוד הארכיאולוגי הברור ביותר. בשנת 3000 לפנה"ס יצרו אנשי ג'ומון דמויות חימר וכלי קישוט המעוטרים בתבניות שנעשו על ידי התרשמות חימר רטוב עם חוט קלוע או בלתי מקושר ומקלות (ג'ומון פירושו 'דפוסים של חוט משובץ') עם הגדלה תחכום. אנשים אלה השתמשו גם בכלי אבן סדוקים, מלכודות וקשתות והיו ציידים, לקטים ודייגים מיומנים מחופי ים ועמוקים. הם תרגלו צורה חקלאית מבודדת וחיו במערות ובהמשך בקבוצות של זמניות דירות בור רדודות או בתים מעל הקרקע, ומשאירות אמצעי מטבח עשירים למחקר אנתרופולוגי מודרני.
עד סוף תקופת ג'ומון, חל שינוי דרמטי על פי מחקרים ארכיאולוגיים. גידול מתחיל התפתח לחקלאות מתוחכמת של אורז ולשליטה ממשלתית. אלמנטים רבים אחרים של התרבות היפנית עשויים להגיע גם לתקופה זו ומשקפים נדידה מעורבת מיבשת צפון אסיה ומאזורי דרום האוקיאנוס השקט. בין האלמנטים הללו ניתן למנות מיתולוגיה של שינטו, מנהגי נישואין, סגנונות ארכיטקטוניים והתפתחויות טכנולוגיות, כגון לכה, טקסטיל, עיבוד מתכת, וייצור זכוכית.
תקופת Yayoi
התקופה התרבותית הבאה, ה- Yayoi (קרויה על שם הקטע של טוקיו בה היו חקירות ארכיאולוגיות) חשף את עקבותיו) פרחו בין כ -300 לפנה"ס. ו- A.D. 250 מדרום קיושו לצפון הונשו. הקדומים מבין האנשים האלה, שנחשבים כי נדדו מקוריאה לצפון קיושו ושילבו עם הג'ומון, השתמשו גם בכלי אבן סדוקים. אף כי כלי החרס של היאיוי היה מתקדם יותר מבחינה טכנולוגית, הוא היה מעוצב בפשטות יותר מכלי ג'ומון.
ה- Yayoi יצר פעמונים, מראות וכלי נשק בלתי-פונקציונליים מברונזה, ועד המאה הראשונה A.D., כלי ברזל וכלי נשק מברזל. ככל שהאוכלוסייה גדלה והחברה הפכה מורכבת יותר, הם אריגו בד, התגוררו בכפרי חקלאות קבועים, שנבנו מבנים מעץ ואבן, צברו עושר באמצעות בעלות על אדמות ואחסון תבואה ופיתחו חברתיים מובחנים שיעורים. תרבות האורז הרטוב והמושקה שלהם הייתה דומה לזו של מרכז סין ודרומה, והצריכה תשומות כבדות של עבודה אנושית, שהביאה להתפתחות וצמיחה של חברה אדיאלית מאוד מושבתת.
בשונה מסין, שהייתה צריכה לבצע עבודות ציבוריות מאסיביות ופרויקטים של בקרת מים, מה שהוביל לממשלה ריכוזית ביותר, היו ביפן מים בשפע. ביפן, אם כן, ההתפתחויות הפוליטיות והחברתיות המקומיות היו חשובות יחסית לפעילות הרשות המרכזית ולחברה מרובדת.
הרשומות המוקדמות ביותר שנכתבו על יפן הן ממקורות סיניים מתקופה זו. ווה (ההגייה היפנית לשם סיני מוקדם ליפן) הוזכר לראשונה ב- A.D. 57. היסטוריונים סיניים קדומים תיארו את ווא כארץ של מאות קהילות שבטיות מפוזרות, ולא של המדינה ארץ מאוחדת עם מסורת של 700 שנה כפי שנקבעה ב Nihongi, אשר מעמידה את היסוד של יפן 660 B.C.
מקורות סיניים מהמאה השלישית דיווחו כי אנשי הוו חיו על ירקות גולמיים, אורז ודגים שהוגשו על מגשי במבוק ועץ, ניהלו יחסי וסאל-אדון, גבו מיסים, אוספים ושווקים פרובינציאליים, מחאו כפיים בפולחן (דבר שעדיין נעשה במקדשי שינטו), היו מאבקי ירושה אלימים, בנו תלולי קברים ארציים וצפו אבל. הימיקו, שליט בפדרציה פוליטית מוקדמת המכונה יאמאטאי, פרח במהלך המאה השלישית. בזמן שהימיקו שלט כמנהיג רוחני, אחיה הצעיר ביצע ענייני מדינה, שכללו יחסים דיפלומטיים עם בית המשפט של שושלת וויי הסינית (A.D. 220 עד 65).