Poistin Markun kanssa käymääni keskustelua luokitusten arvioimisesta
ja esitän alla yhteenvedon ja menetelmäkuvauksen. Kommentit
tervetulleita. --[Paavo Pietarila] 29-11-02

----

Luokitusten säätäminen korottamalla kerhonsa pelaajia ei ole aivan
yksinkertaista. Kun pelaajamäärä on vähänkään suurempi, ongelmia
tuottaa se, että sillä, jolla korotusvastuu on, ei ole riittävää
omakohtaista tietoa kaikkien korotustarpeessa olevien pelaajien
nykyisestä pelitaidosta. 

[Markku Jantunen] ja minä kävimme sekä täällä wikissä että offlinenä
hieman keskustelua asian tiimoilta. Markku esitti, että pelaajien
välisten keskinäisten tasoituskivien määrän taulukoimalla voidaan
ainakin suuntaa-antavasti arvioida korotustarpeessa olevia pelaajia ja
korotusten suuruutta. Itse olin aikaisemmin käyttänyt samankaltaista
menetelmää [Oulun Goonpellaajien|Oulun Goonpellaajat] alkuaikoina,
kohtalaisin tuloksin. Esitän seuraavassa hieman viritetyn version
algoritmista luokitusten arvioimiseen siitä, minkä kukin pelaaja
luulee olevan oikea tasoitus suhteessa muihin.

Alla olevat esimerkit on kirjoitettu myös matlab (octave) -koodina,
joka toivottavasti auttaa insinöörejäkin ymmärtämään, mitä tarkoitan. 

Jokaiselta pelaajalta kysytään, mikä hänen mielestään on sopiva
tasoitus kunkin muun pelaajan kanssa, ja tulokset laitetaan
neliömatriisiin siten, että jokaisella rivillä on pelaajan näkemys
tasoituskivista sen sarakkeen kohdalla, jonka kanssa samannumeroinen
rivi vastaa k.o. pelaajan mielipiteitä. Mikäli arvausta ei ole
saatavissa, laitetaan arvoksi pelaajien luokitusero. Valkoisen antama
tasoitus on negatiivinen luku, mustan vastaanottama positiivinen.

Alla matriisiin __H__ on kirjoitettu neljän täysin fiktiivisen pelaajan
näkemykset siitä, mikä on tasaväkisen pelin aikaansaava tasoituskivien
määrä keskinäisissä peleissään. Huomataan, että pelaajat 1 ja 2
pelaavat keskenään tasa-avauksella ja pelaajat 3 ja 4 ovat
ensiksimainittuja joitakin kiviä heikompia.

{{{
>> H = [ 0 0 -8 -5; 0 0 -8 -4; 8 7 0 2; 5 5 -2 0]

H =

     0     0    -8    -5
     0     0    -8    -4
     8     7     0     2
     5     5    -2     0

}}}

Tarkoituksena on seuraavaksi laskea __kunkin__ __pelaajan__
__antama__ __tai__ __saama__ __keskimääräinen__
__tasoitus__. Tämän laskemiseksi matriisista __H__ vähennetään sen
transpoosi, jonka jälkeen rivit lasketaan yhteen ja tulos jaetaan
pelaajien määrällä kertaa kaksi. (Koska vähennettäessä transpoosi
luvut kaksinkertaistuvat.)


{{{

>> D = H - H'

D =

     0     0   -16   -10
     0     0   -15    -9
    16    15     0     4
    10     9    -4     0

>> h_rel = D * [1 1 1 1]' / (2*4)

h_rel =

   -3.2500
   -3.0000
    4.3750
    1.8750

}}}

Nyt vektorissa __h_rel__ on jokaisen pelaajan antama keskimääräinen
tasoitus. Miten tämä liittyy pelaajien luokituksiin? Kun lasketaan
__pelaajien__ __keskimääräinen__ __luokitus__, on keskimääräinen
tasoituskivien määrä suoraan suhteessa tähän. Kirjoitetaan pelaajien
nimelliset luokitukset vektoriin __r__ ja lisätään sen keskiarvo
vektoriin __h_rel__.

{{{

>> r = [2 3 11 8]'

r =

     2
     3
    11
     8

>> r_est = h_rel + mean(r)

r_est =

    2.5000
    2.7500
   10.1250
    7.6250

}}}

Nyt vektorissa __r_est__ on estimaatti kunkin pelaajan
luokituksesta. Vektori __r_est__ on minimietäisyydellä nimellisistä
luokituksista. Mikäli nimelliset ja arvioidut luokitukset poikkeavat
toisistaan, on syytä harkita korotuksia. Korotusmääriä voi kokeilla
muuttamalla nimellisten luokitusten arvoja vektorissa __r__ ja
esim. laskemalla keskimääräisen neliövirheen.

{{{
>> r_mse = sum((r_est - r).^2 ) / 4

r_mse =

    0.4297

}}}

Edellisestä menetelmästä täytyy huomata, että se perustuu kahteen
oletukseen: 

# Pelaajien luokitusero ja käytetty tasoituskivien määrä ovat
  toisiansa vastaavia, mikäli luokitukset ovat oikein.
# Pelaajat osaavat arvioida oikean tasoituskivien määrän
  suurinpiirtein oikein


--[Paavo Pietarila] 29-11-02

----

Alla vielä vanhoja jorinoita.

----


Olli väittää, että minä olisin ehdottanut Suomen luokitusjärjestelmän korvaamista 
IGS-luokituksen kaltaisella järjestelmällä. Tässä kohden hän mätkii olkiukkoa. Minä 
vain tuonut luokittajien tietoon SM-karsintojen kärkipelaajien IGS-luokitukset ja
esittänyt, että ne otetaan jollakin tavoin huomioon muun informaation ohella korotuksista
päätettäessä. 

IGS-luokituksia Olli näyttää pitävän liian epäluotettavina siksi, että ne päivittyvät liian hitaasti ja koska pelaajat voivat itse määrittää alkuluokituksensa. Mielestäni nuo tekijät eivät tee suomalaisten pelaajien IGS-luokitusten vertailusta millään tavoin kelvotonta, koska tiedämme milloin mainitsemani pelaajat ovat tunnuksensa luoneet ja minkä luokituksen he ovat asettaneet alkuarvoksi. Koska he ovat kaikki minua ja Teemu Roviota lukuunottamatta nousseet alkuarvostaan, hidas päivittyminen toimii argumenttina sille, että heidän vahvuuttaan on arvioitava ''ylöspäin''.

Olli esittää myös, että luokituskriteerejä ei saa höllentää mielivaltaisesti, koska
muutoin "homma voi hajota täysin alta aikayksikön". Voisiko joku kertoa mitä muuta kuin mielivaltaisia luokituskriteerit ovat alunperinkään olleet? Mistä jumalaisesta totuudesta ne on kenties johdettu, jos ne eivät ole mielivaltaisia? 

Lisäksi tietysti olisi ihan mielenkiintoista myös kuulla mitkä ne kriteerit täsmälleen ovat, jos ne kerran eivät kerran perustu subjektiivisiin arvioihin.

Olli kysyy myös miten (luokitukseensa nähden) stabiilit pelaajat erottaa kehittyvistä,
jos kerran hän ei osaa tehdä turnaustuloksista systemaattista erottelua. Eiköhän asia
ole niin, ettei Suomen kaltaisessa pelaajapopulaatiossa ole helppoa tehdä minkäänlaisia
aukottomia systemaattisia erotteluja. Lienee kuitenkin enemmän tai vähemmän kaikkien tiedossa se pelaajien joukko, joka on menestynyt turnauksissa nykyisillä luokituksillaan odotettua paremmin, vaikkei erityisiä teräviä menestyspiikkejä olisikaan ollut, ja joka panostaa gon opiskeluun ja pelaamiseen voimakkaimmin. Tätä pelaaja-aineista on juuri välillä 3 kyu - 1 dan. Kun vielä me kaikki tähän keskusteluun osallistujat, jotka asiasta ovat mielipiteensä lausuneet, olemme olleet yhtä mieltä siitä, että Suomi on taskuuntunut kokonaisuudessaan, olisi varmasti syytä ryhtyä antamaan toistaiseksi korotuksia jonkin verran aikaisempaa herkemmin.

Olli ilmeisesti puhuu tasoitusturnauksista esittäessään, ettei 3/5 tuloksella koroteta, koska kyseessä on liian lähellä odotusarvoa oleva tulos. Itse asiassa pelaajia on de facto korotettu huonomminkin menneiden turnausten jälkeen. Luokituskomitea ei nimittäin
onneksi tyydy katsomaan vain yksittäisiä turnauksia päättäessään korotuksista. Esimerkiksi Teemu Rovio korotettiin 1 daniksi Herralan kesäleirin 2002 pikapeliturnauksen jälkeen, vaikka hänen tuloksensa tässä turnauksessa oli vain 3/6. Päätöksessä otettiin huomioon Teemun menestys kuluvan vuoden aikaisemmissa turnauksissa. Minut korotettin 2 daniksi Tampereen kesäleirillä 1998 kesken turnauksen (tasoituksia ei muutettu).

Sokea tuijottaminen voittoprosenttiin yksittäisissä turnauksissa on vielä vähemmän järkevää tasa-arvausturnauksissa. Huomioon pitää ehdottomasti ottaa, ketä pelaaja voitti ja kenelle hän hävisi. En tiedä mitä luokittajilla on mielessään, vai oliko kyseessä lipsahdus, kun Seppo Suorsaa ei korotettu SM-karsintojen jälkeen. Seppo (3k) voitti tämän vuoden SM-karsinnoissa seuraavat pelaajat: Antti Holappa (3k), Tapio Poutiainen (2k) ja Teemu Rovio (1d). Seppo hävisi seuraaville: Olli Lounela (4d) ja Pietarila Paavo (2k). Nykyisessä deflatorisessa tilanteessa tuollainen tulos oikeuttaisi omasta mielestäni yhden luokan korotukseen jo yksinään. Sepolla on kuitenkin muutakin menestystä: tulos 4/5 Oulun Älypelifestivaalien tasoitusturnauksessa (kaikki pelit luokituksiin nähden sopivilla tasoituksilla). Mielestäni on perusteltua väittää, että Sepon korottamatta jättäminen oli laiminlyönti. 

Toinen ouluesimerkki on Ari Kauppi (4k), joka voitti SM-karsinnoissa kolme 4 kyuta:
Mauri Torikan, Jari Kylmälän ja Tuomo Salon. Ari hävisi Tapio Poutiaiselle (2k) ja
Antti Holapalle (3k). Isänmaamme karut olosuhteet (deflaatio) huomioon ottaen Ari
olisi voitu aivan huvin korottaa 3 kyuksi. (Jos halutaan korottaa 2 luokkaa kerralla,
kynnyksen Arin korottamiseen olisi syytä olla alhaalla seuraavissa turnauksissa.)

Olli väitti minun esittäneen, että ylemmät pelaajat jäävät pois tasoitusturnauksista siksi, että aliluokitettuja vastaan häviäminen pelottaa heitä (tasoitusturnauksissa varsin todennäköistä). Itse asiassa minä väitin, että pelko ei ole pienempi tasa-avausturnauksissa. Esitin väitteelleni perusteluna, että EGF-pistemenetysten (vaikuttavat taloudellisiin kannustimiin Euroopassa) odotusarvo on kummassakin tapauksessa sama. Tässä kohden Olli käsitti sanomani täysin väärin.

-- [MarkkuJantunen], 12.11. 2002

----

Olisi sinänsä oikein kiva, jos ylle pitkiä pätkiä kirjoitelleet viitsisivät siivota ja lyhentää tekstejään, sekä listata _havaintoja_ Suomen luokitussysteemin hyvistä ja huonoista puolista, niin niistäkin voisi tehdä analyysiä. 

Havaintoja siis, eikä pohdintoja että miten asioita voisi muuttaa. Pohdinnossa on aina se, että analysoijalle lyödään sanat suuhun ja näin viedään analyysin mahdollisuus, kun taas analyysin idea on __nimenomaan__ pohtia ''havaintojen pohjalta'' että mikä on tilanne, ja arvioida sekä muutosmahdollisuuksia että niiden vaikutuksia.

Analyysin tekeminen on aivan eri asia kuin keskustella analyysin pohjalta vedetyistä johtopäätöksistä. Kuten turnaustyyppikeskustelussakin, aineisto analyyseineen on kaikkien nähtävillä, ja siitä voi huoletta vetää eri johtopäätökset kuin itse tein. Kunhan kertoo ne perustelut johtopäätöksilleen.

En todellakaan siis aio tehdä edes alustavaa analyysia ennen kuin arvon herrat siivoavat tekstejä.

-- Olli Lounela, 20.11.