בגיל 39 ג'ו קלארק הפך לראש הממשלה הצעיר ביותר של קנדה בשנת 1979. שמרן פיסקלי, ג'ו קלארק, ושלו ממשלת מיעוט הובסו לאחר תשעה חודשים בלבד בשלטון בהצעת אי-אמון לתקציב העלאת מסים וקיצוצי התוכנית.
לאחר שהפסיד בבחירות ב -1980, ג'ו קלארק נשאר כמנהיג האופוזיציה. כאשר בריאן מולרוני נכנס לתפקיד מנהיג המפלגה השמרנית הפרוגרסיבית של קנדה בשנת 1983 ואחר כך לראש הממשלה שר בשנת 1984, ג'ו קלארק המשיך כשר יעיל ליחסי חוץ וכשר לחוקה עניינים. ג'ו קלארק עזב את הפוליטיקה בשנת 1993 כדי לעבוד כיועץ עסקי בינלאומי, אך חזר כמנהיג המפלגה השמרנית הפרוגרסיבית בין השנים 1998-2003.
ג'ו קלארק החל את הקריירה הפוליטית שלו כמנהל הארגון של המפלגה השמרנית הפרוגרסיבית של אלברטה בין השנים 1966 עד 1967. הוא היה עוזר מיוחד לחבר פרלמנט קונסרבטיבי דייווי פולטון בשנת 1967. הוא שימש כעוזר המנהל של חבר הפרלמנט הקונסרבטיבי רוברט סטנפילד בין השנים 1967-1970.
ג'ו קלארק נבחר לראשונה לבית הנבחרים בשנת 1972. הוא נבחר כמנהיג המפלגה השמרנית הפרוגרסיבית של קנדה בשנת 1976 והיה מנהיג האופוזיציה עד 1979. ג'ו קלארק הושבע כראש ממשלת קנדה לאחר הבחירות הכלליות ב -1979.
הממשלה הקונסרבטיבית הובסה בשנת 1980. ג'ו קלארק היה שוב מנהיג האופוזיציה משנת 1890 עד 1983. ג'ו קלארק כינס ועידת מנהיגות של המפלגה השמרנית הפרוגרסיבית ואיבד את הנהגת המפלגה לבריין מולרוני בשנת 1983.
בממשלת מולרוני כיהן ג'ו קלארק כשר לענייני חוץ משנים 1984 עד 1991. הוא היה נשיא המועצה והשר האחראי לעניינים חוקתיים משנת 1991 עד 1993. ג'ו קלארק לא התמודד בבחירות הכלליות ב -1993.
ג'ו קלארק חזר כמנהיג המפלגה השמרנית הפרוגרסיבית של קנדה בשנת 1998. הוא נבחר שוב לבית הנבחרים בשנת 2000. בשנת 2002 ג'ו קלארק אמר שהוא סחב את המפלגה השמרנית המתקדמת ככל יכולתו. התפטרותו של ג'ו קלארק כמנהיג המפלגה השמרנית המתקדמת הייתה יעילה בוועידת ההנהגה במאי 2003.