Jak dobrze AI przewiduje wyniki Teorii Beczki?
Po przygotowaniu zbiorów treningowych dla kilku strategii podlewania można było wreszcie sprawdzić, jak dobrze model uczenia maszynowego radzi sobie z przewidywaniem wyników bez wykonywania pełnej symulacji dzień po dniu.
W tym etapie badania wykorzystano po 1000 przykładów dla każdej strategii. Dane zostały podzielone na dwie części:
- 800 przykładów uczących – na nich model się uczył,
- 200 przykładów testowych – na nich sprawdzano, jak radzi sobie z danymi, których wcześniej nie widział.
Dzięki temu można było uczciwie ocenić, czy model naprawdę nauczył się zależności, czy tylko zapamiętał wcześniejsze przypadki.
Poniżej znajduje się porównanie czterech strategii:
- no_rain + cold – nie podlewaj w dni deszczowe i w chłodne dni,
- constant – stałe podlewanie,
- seasonal – podlewanie tylko w sezonie, bez deszczu,
- temp_seasonal – podlewanie sezonowe zależne także od temperatury.
| Strategia | Capacity MAE / R² | Used MAE / R² | Coverage MAE / R² | Overflow MAE / R² | Turnover MAE / R² |
|---|---|---|---|---|---|
| no_rain + cold | 1136 L / 0.899 | 7.82 / 0.943 | 0.055 / 0.900 | 7.65 / 0.919 | 2.15 / 0.859 |
| constant | 1102 L / 0.872 | 6.63 / 0.964 | 0.032 / 0.925 | 5.33 / 0.866 | 3.59 / 0.862 |
| seasonal | 1167 L / 0.907 | 7.80 / 0.913 | 0.067 / 0.892 | 8.40 / 0.928 | 1.98 / 0.793 |
| temp_seasonal | 1428 L / 0.869 | 10.24 / 0.793 | 0.102 / 0.750 | 10.34 / 0.873 | 1.83 / 0.827 |
Na pierwszy rzut oka widać, że model najlepiej radzi sobie z prostszymi strategiami, a najtrudniejsza okazała się strategia temp_seasonal, czyli taka, w której podlewanie zależy nie tylko od sezonu i opadów, ale również od temperatury.
To nie jest zaskoczenie. Im bardziej złożona logika działania, tym trudniej modelowi ML wiernie odwzorować zachowanie pełnej symulacji.
Co oznaczają te nagłówki i liczby?
W tabeli porównawczej przy każdej strategii pojawiają się skróty typu Capacity MAE / R², Used MAE / R² itd. Dla osoby spoza świata ML może to brzmieć dość tajemniczo, więc warto to rozbroić prostym językiem.
Każda z tych kolumn mówi o tym, jak dobrze model AI przewiduje konkretny rodzaj wyniku. Zapis MAE / R² oznacza po prostu dwie różne miary jakości modelu:
- MAE mówi, o ile średnio model się myli,
- R² mówi, jak dobrze model rozumie zależności w danych.
Najprościej:
- mniejsze MAE = lepiej
- większe R² = lepiej
Co oznaczają poszczególne nagłówki?
Capacity MAE / R²
To jakość przewidywania rekomendowanej pojemności zbiornika. Innymi słowy: jak dobrze model zgaduje, czy zbiornik powinien mieć na przykład 2000, 3000 albo 5000 litrów.
Used MAE / R²
To jakość przewidywania ile deszczówki uda się wykorzystać w ciągu roku. Czyli jak dobrze model szacuje roczne zużycie wody ze zbiornika.
Coverage MAE / R²
To jakość przewidywania jaką część potrzeb podlewania pokryje deszczówka. Na przykład czy deszczówka pokryje 40%, 70% albo 90% planowanego zapotrzebowania.
Overflow MAE / R²
To jakość przewidywania ile wody się przeleje i nie zmieści w zbiorniku. To można traktować jako miarę strat wynikających z ograniczonej pojemności.
Turnover MAE / R²
To jakość przewidywania jak intensywnie pracuje zbiornik w ciągu roku, czyli ile razy jego objętość jest w praktyce „wykorzystana”.
Co oznacza R² i jak je czytać?
To właśnie R² jest często najbardziej mylące, więc warto je wyjaśnić po ludzku.
R² pokazuje, na ile model potrafi wychwycić prawdziwe zależności w danych. Im bliżej 1, tym lepiej.
- R² = 0.98 oznacza wynik znakomity. Model prawie idealnie łapie zależności i bardzo dobrze przewiduje dany parametr.
- R² = 0.90 oznacza wynik bardzo dobry. Model wyraźnie rozumie problem i daje wiarygodne przewidywania.
- R² = 0.75 oznacza wynik nadal dobry, ale już wyraźnie słabszy. Model rozumie dużą część zależności, ale częściej się myli i mniej precyzyjnie odwzorowuje rzeczywistość.
- R² = 0.50 oznacza wynik średni. Model coś łapie, ale jeszcze sporo mu brakuje.
- R² bliskie 0 oznacza, że model prawie nie rozumie zależności i jego przewidywania są słabe.
Najprościej można to zapamiętać tak:
- 0.95-1.00 – bardzo blisko ideału
- 0.85-0.95 – bardzo dobrze
- 0.70-0.85 – dobrze, ale z wyraźnym marginesem błędu
- poniżej 0.70 – model wymaga ostrożności albo dalszego douczenia
A co oznacza MAE?
MAE to średni błąd bezwzględny. Pokazuje, o ile przeciętnie model myli się w liczbach.
Dla przykładu:
- jeśli przy pojemności zbiornika MAE wynosi 1100 L, to model myli się średnio o około 1100 litrów,
- jeśli przy pokryciu potrzeb MAE wynosi 0.03, to błąd jest średnio rzędu kilku punktów procentowych.
Dlatego MAE mówi o wielkości błędu „w praktyce”, a R² mówi o tym, jak dobrze model rozumie samą strukturę problemu.
Jak czytać tabelę bez technicznego przygotowania?
Najprościej tak:
- sprawdź, czy R² jest wysokie – im bliżej 1, tym lepiej,
- sprawdź, czy MAE jest małe – im mniejszy błąd, tym lepiej,
- porównuj strategie między sobą i patrz, dla których parametrów model radzi sobie najlepiej.
Dzięki temu tabela przestaje być zestawem tajemniczych skrótów, a staje się prostą odpowiedzią na pytanie:
czy AI naprawdę umie przewidywać wyniki tej symulacji i jak dobrze robi to dla różnych strategii?
Wnioski
Najważniejszy wniosek z tego etapu jest dość prosty: AI naprawdę potrafi nauczyć się przewidywać wyniki Teorii Beczki, ale nie każda strategia jest dla niej równie łatwa.
Najlepiej wypadają strategie prostsze, takie jak constant czy no_rain + cold. W ich przypadku model bardzo dobrze przewiduje roczne wykorzystanie wody, pokrycie potrzeb oraz przelewy.
Strategia seasonal także wypada bardzo dobrze, choć już widać nieco większą złożoność problemu. Najtrudniejsza okazuje się temp_seasonal, co jest logiczne, bo w tej wersji dochodzi więcej ruchomych elementów: sezon, opad i wpływ temperatury.
To jednak nie jest zła wiadomość. Wręcz przeciwnie: oznacza to, że obecne podejście działa i daje mocny punkt odniesienia. Teraz można spokojnie przejść do kolejnego etapu, czyli sprawdzić, czy model da się jeszcze uprościć i uogólnić przez normalizację względem powierzchni oraz przejście do jednostek wyrażanych w milimetrach.
Innymi słowy: pierwszy etap został zamknięty sukcesem. Teraz zaczyna się etap drugi, w którym można sprawdzić, czy da się zbudować model jeszcze bardziej elegancki, skalowalny i odporny na zmianę powierzchni zbierania deszczówki.
W tabeli porównawczej przy każdej strategii pojawiają się skróty typu Capacity MAE / R², Used MAE / R² itd. Dla osoby spoza świata ML może to brzmieć dość tajemniczo, więc warto to rozbroić prostym językiem.
Każda z tych kolumn mówi o tym, jak dobrze model AI przewiduje konkretny rodzaj wyniku. Zapis MAE / R² oznacza po prostu dwie różne miary jakości modelu:
- MAE mówi, o ile średnio model się myli,
- R² mówi, jak dobrze model rozumie zależności w danych.
Najprościej:
- mniejsze MAE = lepiej
- większe R² = lepiej
Co oznaczają poszczególne nagłówki?
Capacity MAE / R²
To jakość przewidywania rekomendowanej pojemności zbiornika. Innymi słowy: jak dobrze model zgaduje, czy zbiornik powinien mieć na przykład 2000, 3000 albo 5000 litrów.
Used MAE / R²
To jakość przewidywania ile deszczówki uda się wykorzystać w ciągu roku. Czyli jak dobrze model szacuje roczne zużycie wody ze zbiornika.
Coverage MAE / R²
To jakość przewidywania jaką część potrzeb podlewania pokryje deszczówka. Na przykład czy deszczówka pokryje 40%, 70% albo 90% planowanego zapotrzebowania.
Overflow MAE / R²
To jakość przewidywania ile wody się przeleje i nie zmieści w zbiorniku. To można traktować jako miarę strat wynikających z ograniczonej pojemności.
Turnover MAE / R²
To jakość przewidywania jak intensywnie pracuje zbiornik w ciągu roku, czyli ile razy jego objętość jest w praktyce „wykorzystana”.
Co oznacza R² i jak je czytać?
To właśnie R² jest często najbardziej mylące, więc warto je wyjaśnić po ludzku.
R² pokazuje, na ile model potrafi wychwycić prawdziwe zależności w danych. Im bliżej 1, tym lepiej.
- R² = 0.98 oznacza wynik znakomity. Model prawie idealnie łapie zależności i bardzo dobrze przewiduje dany parametr.
- R² = 0.90 oznacza wynik bardzo dobry. Model wyraźnie rozumie problem i daje wiarygodne przewidywania.
- R² = 0.75 oznacza wynik nadal dobry, ale już wyraźnie słabszy. Model rozumie dużą część zależności, ale częściej się myli i mniej precyzyjnie odwzorowuje rzeczywistość.
- R² = 0.50 oznacza wynik średni. Model coś łapie, ale jeszcze sporo mu brakuje.
- R² bliskie 0 oznacza, że model prawie nie rozumie zależności i jego przewidywania są słabe.
Najprościej można to zapamiętać tak:
- 0.95-1.00 – bardzo blisko ideału
- 0.85-0.95 – bardzo dobrze
- 0.70-0.85 – dobrze, ale z wyraźnym marginesem błędu
- poniżej 0.70 – model wymaga ostrożności albo dalszego douczenia
A co oznacza MAE?
MAE to średni błąd bezwzględny. Pokazuje, o ile przeciętnie model myli się w liczbach.
Dla przykładu:
- jeśli przy pojemności zbiornika MAE wynosi 1100 L, to model myli się średnio o około 1100 litrów,
- jeśli przy pokryciu potrzeb MAE wynosi 0.03, to błąd jest średnio rzędu kilku punktów procentowych.
Dlatego MAE mówi o wielkości błędu „w praktyce”, a R² mówi o tym, jak dobrze model rozumie samą strukturę problemu.
Jak czytać tabelę bez technicznego przygotowania?
Najprościej tak:
- sprawdź, czy R² jest wysokie – im bliżej 1, tym lepiej,
- sprawdź, czy MAE jest małe – im mniejszy błąd, tym lepiej,
- porównuj strategie między sobą i patrz, dla których parametrów model radzi sobie najlepiej.
Dzięki temu tabela przestaje być zestawem tajemniczych skrótów, a staje się prostą odpowiedzią na pytanie:
