Leidsin ühe huvitava R paketi ggpage, mis võimaldab korraga visualiseerida pikemaid tekste. Kuna parasjagu on käimas kohalikud valimised, siis otsustasin katsetada seda visualiseerimise viisi erakondade Tallinna valimisprogrammide tekstidel. Alustuseks laadisin alla kõigi Tallinnas kandideerinud erakondade programmid.
Allolevatel visuaalidel on iga erakonna kogu valimisprogramm Tallinnas. Punase värviga on tähistatud negatiivse tooniga sõnad ja sinisega positiivsed.
Lisaks võrdlen omavahel erakondade programme ja tuvastan igale erakonnale kõige iseloomulikumad sõnad. Selleks kasutan mõõdikut tf-idf (term frequency–inverse document frequency). Sisuliselt aitab see tuvastada sõnu, mis on kõigi erakondade programmides kokku suhteliselt haruldased, aga konkreetse erakonna puhul sagedasemad. Sama meetodit kasutasin ka näites ühes varasemas postituses Eesti presidentide kõned.
Kuidas?
Andmete kraapimise, analüüsi ja visualiseerimise skriptiga saab tutvuda githubis.