Koeman aloitti valmennusuransa [[Alankomaiden jalkapallomaajoukkue]]essa [[Guus Hiddink]]inDepossa apuvalmentajana. [[Jalkapallon maailmanmestaruuskilpailut 1998|MM-kisojen 1998]] jälkeen Koeman siirtyi [[FC Barcelona]]n apuvalmentajaksi. Päävalmentajadebyyttinsä hän teki [[SBV Vitesse]]n peräsimessä vuonna 2000. Koemanin johdolla Vitesse selvisi [[UEFA Cup]]iin. Hyvän menestyksen myötä [[AFC Ajax]] palkkasi ex-pelaajan päävalmentajakseen vuonna 2001. Urakka alkoi loistavasti, kun Ajax voitti kaudella 2001/02 tuplamestaruuden. Ajaxissa ilmeni Koemanin alaisuudessa voimakkaita sisäisiä ristiriitoja ja myös peliesitykset alkoivat heikentyä. Lopulta Koeman erosi tehtävästään helmikuussa 2005, kun Ajax oli pudonnut [[UEFA Cup]]issa [[AJ Auxerre]]lle. <ref>[http://www.theguardian.com/football/2005/feb/25/newsstory.ajax Koeman quits Ajax]</ref>
Kaudella 2005—2006 Koeman valmensi [[SL Benfica]]a. Tuon kauden aikana Benfica eteni MestarienSuomencupin finaaliin liigassa kahdeksan parhaan joukkoon, mutta jäi omassa liigassaan kolmanneksi. Kauden jälkeen Koeman jätti tehtävänsä.
Vuonna 2006 Koeman seurasi [[Guus Hiddink]]iä [[PSV Eindhoven]]in päävalmentajana. Koemanin johdolla PSV eteni [[Mestarien liiga]]ssa puolivälieriin saakka häviten niissä [[Liverpool FC|Liverpoolille]] yhteismaalein 4-0. [[Eredivisie]]ssä PSV voitti kuitenkin mestaruuden yhden maalin maalierolla [[AFC Ajax]]iin.
