Akadeemik Peter von Köppeni andmetel oli 1848. aastal kokku 5148 vadjalast, kes elasid Peterburi kubermangu Jamburgi ja Oranienbaumi maakondade 36 külas. 20. sajandi sündmuste tagajärjel vähenes vadjalaste asuala pidevalt. 1934. aastast algasid vadjalaste vastu suunatud repressioonid ning alates 1937. aastast ei peetud nende üle arvestust ka rahvaloenduste käigus. Teise maailmasõja ajal deporteeriti paljud vadjalased esmalt Klooga koonduslaagrisse ja hiljem Soome. Tagasi pöördunud vadjalasi lubati oma koduküladesse alles pärast Stalini surma 1953. aastal, mil järgnes represseeritud rahvaste rehabiliteerimine ning 1954. aastal kaotati paragrahv 38, millega piirati „soome rahvusest isikutel“ võimalikke elukohti ning keskeri- ja kõrgkoolides õppimise võimalust. 

1990. aastate hakul sai alguse liikumine vadja keele ja kultuuri taaselustamiseks. Selle keskmeks sai vadjalaste küla Luutsa, kuhu loodi vadja muuseum ning hakati korraldama iga-aastaseid pidustusi „Luutsa vakkavõ“. 2005. aastal loodi Vadja Kultuuri Selts, mille töö tulemusena kanti vadjalased 2008. aastal Venemaa väikesearvuliste põlisrahvaste loendisse, mis tagab traditsioonilise eluviisi ja rahva elupaiga territooriumi kaitse. Vaatamata sellele jätkus vadjalaste poolt tihedalt asustatud aladel 2000. aastal alanud Ust-Luga sadama ja külgnevate tööstusterritooriumite ehitus. Metsad võeti maha, ligipääs merele kadus ning ehitustegevus liikus üha lähemale kolmele viimasele vadja külale (Luutsa, Liivtšülä ja Jõgõperä), kus veel vadja keeles räägitakse. 2010. aasta Venemaa rahvaloenduse andmetel oli vadjalasi kokku 64.

19.-20. sajandi andmed vadjalaste arvu kohta on väga erinevad. Aastatel 1937 - 2002 ei peetud vadjalaste üle rahvaloenduste käigus arvestust.

Sellisel andmete erinevusel võib olla mitmeid põhjuseid, millest kaks olulisemat on:
1.    19. sajandil ja 20. sajandi esimeses pooles ei suutnud loendajad alati teha vahet vadjalastel ning nende sugulasrahvastel isuritel ja ingerisoomlastel. 2002. ja 2010. aastate loenduste käigus aga ei tahtnud loendajad tihti vadjalast rahvusena kirja panna ning pakkusid aktiivselt võimalust panna end kirja venelasena.
2.    1930. aastatel kohalikes koolides isurikeelsete õpikute kasutuselevõtu, edasise rahvusliku kuuluvuse põhjal represseerimise ja ametliku staatuse kaotamise tagajärjel 1939. aastal hakkasid paljud vadjalased end vene keeles nimetama isuriteks ning kutsusid end vadjalasteks vaid oma emakeeles. 2002. aasta rahvaloenduse andmed 2000 vadja keelt kõnelevast inimesest tulenevad samuti loendajate ebakompetentsusest ning tõenäoliselt arvati nende inimeste sekka lisaks vadjalastele ka osa udmurte, kes märkisid end votjaki keele oskajateks, mis on udmurdi keele vananenud nimetus.