Helmikuussa vuonna [[1271]] Kaarle alkoi laajentamanlaajentaa Adrianmeren alueella olevia omistuksiaan valloittamalla Durazzon ja pian saattamalla hallintaansa suurimman osan Albanian rannikosta. Vuoden päästä helmikuussa 1273 Kaarle julisti itsensä Albanian kuninkaaksi ja määräsi Gazzo Chinardon toimimaan kenraalikuvernöörinään. Kaarlen mielessä oli edelleenkin mahdollisuus sotaretkeen Konstantinopolia vastaan, mutta uuden paavin Gregory X:n tulo valtaistuimelle jäähdytti nämä Kaarlen haaveet. Paavi halusi saada eurooppalaiset sopuun keskenään sekä yhdistää Kreikkalaisenkreikkalaisen ja Latinalaisenlatinalaisen kirkon.
Marraskuussa [[1272]] Kaarlen ja Genovaa hallitsevan Ghibellin-puolueen suhteet kiristyivät ja johtivat lopulta sotaan. Genovan kapinoinnin takana oli Bysantin Keisari Michael Palaeologus, joka oli lähettänyt rahaa Genovaan kapinaan nousun tukemiseksi. Samaan aikaan Lyonin kirkolliskokouksessa saatiin aikaan päätös idän ja lännen kirkkojen yhdentymisestä. Paavin poliittisten vehkeilyjen takia (hän halusi eritoten turvata omat asemansa koko Välimeren piirissä) hän tarjosi Kaarlelle ostettavaksi Jerusalemin kuninkuutta. Tämä toteutuikin [[18. maaliskuuta]][[ 1277]] ja Jerusalemin kuninkaan tittelin saanut Kaarle lähetti Sanseverinon Rogerin käskynhaltijakseen [[Akko]]on. Myös genovalaisten kanssa Kaarle sai rauhan aikaiseksi uuden paavin Innocentius V:n avulla.
