Ashenfelter oli jälleen mukana olympialaisissa [[Kesäolympialaiset 1956|Melbournessa 1956]], mutta hän karsiutui alkuerissä.
VarsinaiseltaVuosina ammatiltaan1949–1959 Ashenfelter oli [[FBI|FBI:n]] agentti ja sen jälkeen hän toimi myyntimiehenä jalometalliteollisuudessa.<ref>{{Verkkoviite|osoite=http://www.iltalehti.fi/yleisurheilu/201801082200653952_yl.shtml|nimeke=Helsingissä olympiakultaa voittanut FBI-agentti kuoli 94-vuotiaana - ”Hän sanoi, että voittaa huomenna”|viitattu=2018-01-18|ietf-kielikoodi=fi-FI}}</ref> Harjoituksensa hän pääsi tekemään kotinsa lähellä olleessa puistossa yleensä vasta iltamyöhällä töiden jälkeen. Olympiavoiton jälkeen vitsailtiin, että hän on ainoa amerikkalainen vakooja, jota on kehuttu siitä, että hän antoi venäläisen ajaa itseään takaa.
Ashenfelter vietti eläkepäiviään [[New Jersey]]ssä. [[Pennsylvanian osavaltionyliopisto]]n sisäratahalli on nimetty hänen mukaansa.
