התפתחות הספורט העולמי תלויה במי שיעמוד בראש הוועד האולימפי הבינלאומי. אחרי הכל, ראש הוועד האולימפי הוא לא רק פקיד, אלא אדם שנתלות בו מספר עצום של תקוות, והוא מתמודד עם משימות קשות. לכן, אדם אקראי לא יכול להיות במקום כזה.
ראש הוועד האולימפי הבינלאומי הוא הנשיא שלה. פוסט זה הוא בחירה. ראש הוועדה נבחר בישיבה מאורגנת במיוחד בהצבעה חשאית. תקופת כהונתו של ראש ה- IOC נועדה למשך 8 שנים, אך כל ארבע שנים ניתן לחדש אותן לשמונה שנים נוספות. איש ציבור הידוע ומפורסם בנאומיו, צדקה ומעשים אחרים הנעשים לטובת מולדתו ולמען התפתחות העולם כולו יכול להפוך לנשיא הוועדה.
הנשיא הראשון נבחר בשנת 1894 עם הקמת הוועד האולימפי. הוא היה משורר ואיש ציבור יווני בשם דמטריוס וויקלאס. הברון פייר דה קוברטין, השראה האידיאולוגי של המשחקים האולימפיים הראשונים של זמננו, מונה לסגנו. עם זאת, שנתיים לאחר שהמשחקים הראשונים התקיימו בניצחון, הוחלף וויקלאס באותו ברון דה קוברטין כנשיא ה- IOC. הוא נשאר בתפקיד זה עד 1925.
בשל העובדה שניתן להרחיב את הסמכויות, 8 נשיאים בלבד ביקרו בתפקיד ראש ועדת הספורט הבינלאומית מזה 100 שנה.
את דה קוברטין החליף אנרי דה בול-לטור, שהחזיק מעמד בכיסא ההנהגה במשך 17 שנים. הבא היה זיגפריד אדסטרום - הוא היה נשיא בין השנים 1946 עד 1952. הוא הוחלף על ידי אייברי ברנדג 'מארה ב. הוא ניהל את ה- IOC במשך 20 שנה עד 1972. יורשו, מייקל מוריס קילנין, הוא אירי וכיהן כהונה אחת כראש הוועדה. לאחר מכן, חואן אנטוניו סמראנץ 'הגיע לראש במשך 21 שנה. משנת 2001 ועד היום נשיא הוועד האולימפי הבינלאומי הוא ז'אק רוג 'הבלגי.
עם זאת, הנשיא לבדו כמעט ולא היה מסוגל לנהל את הוועדה. לכן ישנם גם עוזרי מנהיגים כמו 4 סגני נשיא ועשרה חברים רגילים בוועדה, שנבחרים גם בהצבעה חשאית. תקופת כהונם היא 4 שנים. בנוסף, ועדת ההיגוי כוללת 25 אנשים המכונים כאן "כבוד" - אלה שהיו בעבר חברים בוועדה. ה- IOC כולל גם חברים נכבדים שלא היו חברים בוועד האולימפי, אך סיפקו שירותים לא יסולא בפז לתנועה.
הרכב הוועדה כולל 110 חברים מ -70 מדינות העולם. עקרון הפעולה הוא כדלקמן: מי שחברים בוועד האולימפי הבינלאומי אינם נציגי מדינותיהם בו, אלא להפך, מייצגים את הגוף הרגולטורי במולדתם.