במהלך הדיון בנושא קיום האולימפיאדה השלישית, הוועד האולימפי הבינלאומי החליט לארגן אותה על שטחה של ארצות הברית, מכיוון שמדינה זו הציגה תוצאות טובות בשני המשחקים הקודמים. בתחילה הם רצו לקיים את האולימפיאדה בשיקגו או בניו יורק, אך כתוצאה מכך, הבחירה נפלה על עיר הנמל הקטנה סנט לואיס.
האולימפיאדה השלישית בסנט לואיס, יחד עם אולימפיאדת פריז, נערכה במסגרת התערוכה העולמית. עם זאת, ההנהלה המקומית של התערוכה לא ראתה בה מתחרה, אלא להפך, בכל דרך אפשרית ניסתה להשתמש במשחקים למטרות פרסום משלהם. בנוסף, המארגנים חזרו על כמה מהטעויות באולימפיאדת קיץ 1900 בפריס. בגלל הזיקה לתערוכה העולמית התחרויות נדחקו לרקע, והאולימפיאדה עצמה נמשכה כמעט 5 חודשים (1 ביולי - 23 בנובמבר 1904). תחרויות רבות נערכו בהנהגת ארגונים מקצועיים שונים, אולם למרות זאת, כולם זכו בתואר דיסציפלינות אולימפיות.
על פי נתוני ה- IOC, 12 מדינות השתתפו במשחקי הקיץ של סנט לואיס. המדינה היחידה שהשתתפה בתחרות לראשונה הייתה דרום אפריקה. בהשוואה לאולימפיאדת פריז, מספר המדינות המשתתפות צנח באופן דרמטי. 13 המדינות שהשתתפו במשחקי קיץ פריז לא הצליחו להגיע לסנט לואיס מסיבות כלכליות. רוסיה, שהייתה באותה תקופה במלחמה עם יפן, לא לקחה חלק בתחרות.
בסך הכל השתתפו 651 אנשים באולימפיאדת הקיץ השלישית, כולל 6 נשים. הם התחרו על 94 סטים של פרסים ב -18 ענפי ספורט. מספרם הגדול ביותר היה צוות ארצות הברית של אמריקה, והם ייצגו 533 אנשים במשחקים. בהרבה ענפי ספורט (אגרוף, היאבקות, כדור מים, חץ וקשת וטניס) רק ספורטאים אמריקאים הופיעו, כך שהמשחקים הוכיחו בבירור את עליונותה של המדינה.
בסנט לואיס, לראשונה, החלו להעניק לשלושה, ולא לשניים, אתלטים שהראו את התוצאה הטובה ביותר. לזוכה המרכזית בתחרות הוענקה מדליית זהב; הספורטאי שתפס את המקום השני - כסף; ולמקום השלישי הוענקה מדליית ארד. מסורת זו שרדה עד ימינו.
באירוע הקבוצתי הלא רשמי, המדינות המשתתפות התמקמו באופן הבא: אני במקום - ארה ב (78 זהב, 82 כסף, 78 מדליות ארד), מקום II - גרמניה (4 זהב, 4 מדליות כסף, 5 מדליות ארד), מקום III - קובה (4 מדליות זהב, 2 מדליות כסף, 3 מדליות ארד).
