Barachet je rukomet počeo igrati u klubu Chambéry Savoie HB. Od značajnijih rezultata ostvarenih s klubom to su dva naslova francuskog viceprvaka 2008. i 2009. godine kao i finale francuskog kupa.
Xavier Barachet je od 2005. do 2008. bio član francuske U-21 reprezentacije. S njom je osvojio brončanu medalju na europskom juniorskom prvenstvu u Rumunjskoj. Mladog igrača je uočio francuski izbornik Claude Onesta te ga pozvao u seniorsku reprezentaciju na pripremni turnir Pariz-Bery uoči početka Svjetskog rukometnog prvenstva u Hrvatskoj 2009. Kao i francuski rukometni velikan Jackson Richardson, i Barachet je za Francusku debitirao u utakmici protiv Alžira.
S francuskom rukometnom reprezentacijom osvojio je jedno europsko i dva svjetska naslova prvaka.