Brunson syntyi Longworthissa Teksasissa - kylässä, jossa asui ihmisiänoin n.sata 100ihmistä. Hän oli vanhin perheen kolmesta lapsesta. Longworthin pienen koon takia Brunson juoksi toisinaan pitkiä matkoja toisiin kyliin ja hänestä tuli lupaava urheilija. Hän pelasi All-State Texas -koripallojoukkueessa ja harjoitteli kausien välissä [[mailin juoksu]]a. Vaikka hän oli kiinnostunut enemmän koripallosta kuin juoksemisesta, hän osallistui vuonna 1950 Texas Interscholastic Track Meet -kisoihin ja voitti mailin ajalla 4:38. Hän sai tarjouksia useilta korkeakouluilta ja päätyi lopulta Hardin-Simmonsin yliopistoon, koska se sijaitsi lähellä hänen kotiaan. Minneapolis Lakers (nykyisin [[Los Angeles Lakers]]) oli myös kiinnostunut Brunsonista, mutta hänen kesätöissä saamansa polvivamma lopetti peliuran. Brunson oli ollut purkamassa tonnin painoista lastulevylastia, kun kuorma oli pudonnut hänen jalkansa päälle murtaen sen kahdesta kohdasta. Hän piti kipsiä kaksi vuotta, mutta loukkaantuminen lopetti kerralla hänen ammattilaiskoripallohaaveensa. Vielä nykyäänkin hän tarvitsee ajoittain kainalosauvaa. Loukkaantumisen jälkeen Brunson keskittyi urheilun sijasta opiskeluun ja valmistui hallintotieteen maisteriksi.
