Prva fudbalska lopta donesena je u Bosnu i Hercegovinu 1903. godine, ali se fudbal u Sarajevu počeo igrati tek 1908. godine. Naime, te godine grupa đaka saraejvske Gimnazije boravila je u Zagebu, gdje se upoznala sa pravilima fudbalske igre i zavoljela fudbal. Posmatrali su treninge zagrebačkih đaka, pa su i sami zaigrali. U Sarajevo su se vratili sa loptom i odmah počeli vježbe iz fudbalske vještine na časovima gimnastike na igralištu Realne gimnazije. Iste godine učenici su osnovali svoj Srednjoškolski sportski klub, čiji su osnivači bili Emil Najšul, Feodor Lukač, Stevo Jokanović, Zdravko Jeftanović... Splitski "Hajduk" je 1911. godine pozvao u goste sarajevski klub i njihovu momčad na plakatima označio kao "Osman". Mladićima iz Sarajeva se ime dopalo, pa je tako nastao prvi organizovani fudbalski klub u gradu na Miljacki.
Prije prvog svjetskog rata bilo je pet klubova u Sarajevu: Srpski ŠK (kasnije Slavija), Hrvatski ŠK (kasnije SAŠK), Muslimanski ŠK (kasnije Sarajevski), Židovski ŠK (kasnije Barkohba) i Radničko športsko društvo Hajduk. "Osman" je ubrzo po osnivanju rasformiran. Poslije završetka prvog svjetskog rata, uz obnavljanje pomenutih, osnivaju se i novi klubovi: Troja, Šparta i Građanski.
Fudbal je u začetku u Jugoslaviji, pa i u Sarajevu, bio privilegija intelektualaca, ali ga je ubrzo počela igrati i radnička omladina. Sredinom druge i početkom treće decenije 20. stoljeća postao je najjeftinija i najdraža zabava mladih radnika. Mladi radnici Željezničke radionice osnovali su 1912. godine prvi radnički klub u Sarajevu - Hajduk, koji je godinama bio mjesto okupljanja radnika i svojevrstan način borbe protiv nacionalističkih stremljenja ispoljenih prilikom stvaranja i djelovanja Srpskog, Hrvatskog, Muslimanskog i Židovskog kluba. U tom periodu, tačnije 1921. godine, osnovan je FK Željezničar.
Najuspješniji klubovi u periodu između dva svjetska rata svakako su bili Slavija i SAŠK. Ova dva kluba su nastupali na gotovo svim državnim prvenstvima u tom periodu, a najveći uspjesi su dva osvojena druga mjesta. Prvo je SAŠK 1923. godine poražen zagrebačkog kluba "Građanski" u finalu (1:1 i 2:4), a zatim Slavija u sezoni 1935/36, kada je u finalu bolji bio beogradski BSK (1:1 i 0:1).
Početkom Drugog svjetskog rata, sve sportske aktivnosti su zamrznute, a samo mjesec dana nakon oslobođenja Sarajeva u glavnom gradu BiH došlo je do obnove sportskog života. Na inicijativu Rate Dugonjića u zgradi Hipotekarne banke 10.5.1945. sastala se grupa mladića u partizanskim uniformama, a pridružili su im se brojni sportski radnici. Učesnici sastanka složili su se da ne dolazi u obir obnavljanje klubova koji su u periodu između dva svjetska rata djelovali na vjerskoj i nacionalnoj osnovi. U to vrijeme osnivaju se novi klubovi Sloboda i Udarnik, a obnovljen je i rad SD Željezničar. 1946. godine fuzijom Slobode i Udarnika nastaje novi klub FK Torpedo, koji godinu dana kasnije mijenja ime u Sarajevo.
Od tada grad Sarajevo ima dva respektabilna kluba koji će ime grada Sarajeva pronositi terenima širom svijeta. Sarajevo i Željezničar su bili gotovo stalni Prvoligaši, pa je tako FK Sarajevo od ukupno 46 odigranih Prvenstava Jugoslavije, u čak 43 bio član Prve savezne lige, dok je i Željezničar u Prvoj saveznoj ligi Jugoslavije proveo 34 sezone. Nije se dugo čekalo na prvi veći uspjeh, pa je tako FK Sarajevo već u sezoni 1947/48 bio polufinalista Kupa Maršala Tita, a isti uspjeh ponovili su i u sezoni 1951/52.
Nakon toga nastupa uspješno razdoblje sarajevskih klubova. Tako je najprije Željezničar u sezonie 1963/64 osvojio treće mjesto, da bi iduće sezone Sarajevo bilo četvrto, a godina nakon toga se okitilo vicešampionskom krunom.
U sezoni 1966/67 dolazi do najvećeg uspjeha bosnaskohercegovačkog fudbala, FK Sarajevo osvaja prvu titulu prvaka Jugoslavije, a paralelno i nastupa u finalu Kupa Maršala Tita, gdje je poražen od splitskog Hajduka (1:2). Već u idućoj sezoni Željezničar osvaja titulu jesenjog prvaka, a u sezoni 1970/71 i prvu vicešampionsku titulu. Ipak kruna tih uspješnih godina dolazi u idućoj sezoni, 1971/1972 kada se i Željezničar po prvi put u svojoj historiji okitio šampionskom titulom.
U narednih sedam godina nastupa loš period za sarajevske klubove, tako da ni Sarajevo ni Željezničar nijednom nisu uspjeli završiti među prve četiri ekipe na tabeli, a ekipa Željezničara je u sezoni 1976/77, samo pet godina nakon osvajanja titule, ispada iz Prve savezne lige. Ipak početkom osmog desetljeća sarajevski se fudbal ponovo budi. Tako Sarajevo predvođeno Safetom Sušićem najprije osvaja titulu jesenjeg prvaka, a na kraju vicešampionsku titulu u sezoni 1979/80. U idućoj sezoni Željezničar igra finale Kupa Maršala Tita, ali gubi od mostarskog Veleža (2:3). Ipak uspjesi sarajevskih klubova se nastavljaju, tako je Sarajevo u sezoni 1981/82 osvojilo četvrto mjesto, a godinu dana kasnije po drugi puta nastupilo u finalu Kupa, no i opet su bili poraženi, ovaj put od zagrbačkog Dinama (2:3). A u sezoni 1983/84 Željezničar završava Prvenstvo na visokom trećem mjestu
Kruna uspjeha dolazi u sezoni 1984/85, kada Sarajevo osvaja drugu titulu prvaka Jugoslavije, a Željezničar ostvaruje historijski uspjeh plasmanom u polufinale Kupa UEFA, kada ih je samo par minuta dijelilo od eliminacije mađarskog Videotona i plasmana u finale protiv velikog Real Madrida.
