Iako je početkom 2000-ih bio među najvažnijim fudbalerima HSV-a i ponio titulu prvog strijelca Bundeslige 2001. godine, iza sportskih uspjeha Sergeja Barbareza nalazila su se i znatno teža iskustva, prenose njemački mediji detalje iz njegove biografije.
Prvi veći udarac uslijedio je u ljeto 2004. godine, kada je poslije četiri sezone u klubu očekivao kapitensku traku. Tadašnji šef stručnog štaba Klaus Toppmöller odlučio se za Tomasa Ujfalusija, a nakon što je češki odbrambeni igrač otišao u Fiorentinu, kapitenska uloga dodijeljena je Danielu van Buytenu. Barbarez, koji danas ima 55 godina, smatra da je u tu odluku bio uključen i tadašnji čelnik kluba Bernd Hoffmann, pretpostavljajući da ga nije želio na toj funkciji ili je nastojao povećati tržišnu vrijednost Ujfalusija.
Dvije godine poslije dogodilo se novo razočaranje jer pregovori oko nastavka saradnje nisu urodili plodom. Barbarez je napustio tim kao slobodan igrač nakon odigranih 216 mečeva i postignutih 76 pogodaka, te karijeru nastavio u Bayer Leverkusenu. To što su ključni razgovori organizovani tek poslije završetka prvenstva danas vidi kao jasan signal da ga uprava zapravo nije namjeravala zadržati.
