Jak dobrze AI przewiduje wyniki Teorii Beczki?

Po przygotowaniu zbiorów treningowych dla kilku strategii podlewania można było wreszcie sprawdzić, jak dobrze model uczenia maszynowego radzi sobie z przewidywaniem wyników bez wykonywania pełnej symulacji dzień po dniu.

W tym etapie badania wykorzystano po 1000 przykładów dla każdej strategii. Dane zostały podzielone na dwie części:

• 800 przykładów uczących – na nich model się uczył,
• 200 przykładów testowych – na nich sprawdzano, jak radzi sobie z danymi, których wcześniej nie widział.

Dzięki temu można było uczciwie ocenić, czy model naprawdę nauczył się zależności, czy tylko zapamiętał wcześniejsze przypadki.

Poniżej znajduje się porównanie czterech strategii:

• no_rain + cold – nie podlewaj w dni deszczowe i w chłodne dni,
• constant – stałe podlewanie,
• seasonal – podlewanie tylko w sezonie, bez deszczu,
• temp_seasonal – podlewanie sezonowe zależne także od temperatury.

Strategia	Capacity MAE / R²	Used MAE / R²	Coverage MAE / R²	Overflow MAE / R²	Turnover MAE / R²
no_rain + cold	1136 L / 0.899	7.82 / 0.943	0.055 / 0.900	7.65 / 0.919	2.15 / 0.859
constant	1102 L / 0.872	6.63 / 0.964	0.032 / 0.925	5.33 / 0.866	3.59 / 0.862
seasonal	1167 L / 0.907	7.80 / 0.913	0.067 / 0.892	8.40 / 0.928	1.98 / 0.793
temp_seasonal	1428 L / 0.869	10.24 / 0.793	0.102 / 0.750	10.34 / 0.873	1.83 / 0.827

Na pierwszy rzut oka widać, że model najlepiej radzi sobie z prostszymi strategiami, a najtrudniejsza okazała się strategia temp_seasonal, czyli taka, w której podlewanie zależy nie tylko od sezonu i opadów, ale również od temperatury.

To nie jest zaskoczenie. Im bardziej złożona logika działania, tym trudniej modelowi ML wiernie odwzorować zachowanie pełnej symulacji.

Co oznaczają te nagłówki i liczby?

W tabeli porównawczej przy każdej strategii pojawiają się skróty typu Capacity MAE / R², Used MAE / R² itd. Dla osoby spoza świata ML może to brzmieć dość tajemniczo, więc warto to rozbroić prostym językiem.

Każda z tych kolumn mówi o tym, jak dobrze model AI przewiduje konkretny rodzaj wyniku. Zapis MAE / R² oznacza po prostu dwie różne miary jakości modelu:

• MAE mówi, o ile średnio model się myli,
• R² mówi, jak dobrze model rozumie zależności w danych.

Najprościej:

• mniejsze MAE = lepiej
• większe R² = lepiej

Co oznaczają poszczególne nagłówki?

Capacity MAE / R²
To jakość przewidywania rekomendowanej pojemności zbiornika. Innymi słowy: jak dobrze model zgaduje, czy zbiornik powinien mieć na przykład 2000, 3000 albo 5000 litrów.

Used MAE / R²
To jakość przewidywania ile deszczówki uda się wykorzystać w ciągu roku. Czyli jak dobrze model szacuje roczne zużycie wody ze zbiornika.

Coverage MAE / R²
To jakość przewidywania jaką część potrzeb podlewania pokryje deszczówka. Na przykład czy deszczówka pokryje 40%, 70% albo 90% planowanego zapotrzebowania.

Overflow MAE / R²
To jakość przewidywania ile wody się przeleje i nie zmieści w zbiorniku. To można traktować jako miarę strat wynikających z ograniczonej pojemności.

Turnover MAE / R²
To jakość przewidywania jak intensywnie pracuje zbiornik w ciągu roku, czyli ile razy jego objętość jest w praktyce „wykorzystana”.

Co oznacza R² i jak je czytać?

To właśnie R² jest często najbardziej mylące, więc warto je wyjaśnić po ludzku.

R² pokazuje, na ile model potrafi wychwycić prawdziwe zależności w danych. Im bliżej 1, tym lepiej.

• R² = 0.98 oznacza wynik znakomity. Model prawie idealnie łapie zależności i bardzo dobrze przewiduje dany parametr.
• R² = 0.90 oznacza wynik bardzo dobry. Model wyraźnie rozumie problem i daje wiarygodne przewidywania.
• R² = 0.75 oznacza wynik nadal dobry, ale już wyraźnie słabszy. Model rozumie dużą część zależności, ale częściej się myli i mniej precyzyjnie odwzorowuje rzeczywistość.
• R² = 0.50 oznacza wynik średni. Model coś łapie, ale jeszcze sporo mu brakuje.
• R² bliskie 0 oznacza, że model prawie nie rozumie zależności i jego przewidywania są słabe.

Najprościej można to zapamiętać tak:

• 0.95-1.00 – bardzo blisko ideału
• 0.85-0.95 – bardzo dobrze
• 0.70-0.85 – dobrze, ale z wyraźnym marginesem błędu
• poniżej 0.70 – model wymaga ostrożności albo dalszego douczenia

A co oznacza MAE?

MAE to średni błąd bezwzględny. Pokazuje, o ile przeciętnie model myli się w liczbach.

Dla przykładu:

• jeśli przy pojemności zbiornika MAE wynosi 1100 L, to model myli się średnio o około 1100 litrów,
• jeśli przy pokryciu potrzeb MAE wynosi 0.03, to błąd jest średnio rzędu kilku punktów procentowych.

Dlatego MAE mówi o wielkości błędu „w praktyce”, a R² mówi o tym, jak dobrze model rozumie samą strukturę problemu.

Jak czytać tabelę bez technicznego przygotowania?

Najprościej tak:

• sprawdź, czy R² jest wysokie – im bliżej 1, tym lepiej,
• sprawdź, czy MAE jest małe – im mniejszy błąd, tym lepiej,
• porównuj strategie między sobą i patrz, dla których parametrów model radzi sobie najlepiej.

Dzięki temu tabela przestaje być zestawem tajemniczych skrótów, a staje się prostą odpowiedzią na pytanie:

czy AI naprawdę umie przewidywać wyniki tej symulacji i jak dobrze robi to dla różnych strategii?

Wnioski

Najważniejszy wniosek z tego etapu jest dość prosty: AI naprawdę potrafi nauczyć się przewidywać wyniki Teorii Beczki, ale nie każda strategia jest dla niej równie łatwa.

Najlepiej wypadają strategie prostsze, takie jak constant czy no_rain + cold. W ich przypadku model bardzo dobrze przewiduje roczne wykorzystanie wody, pokrycie potrzeb oraz przelewy.

Strategia seasonal także wypada bardzo dobrze, choć już widać nieco większą złożoność problemu. Najtrudniejsza okazuje się temp_seasonal, co jest logiczne, bo w tej wersji dochodzi więcej ruchomych elementów: sezon, opad i wpływ temperatury.

To jednak nie jest zła wiadomość. Wręcz przeciwnie: oznacza to, że obecne podejście działa i daje mocny punkt odniesienia. Teraz można spokojnie przejść do kolejnego etapu, czyli sprawdzić, czy model da się jeszcze uprościć i uogólnić przez normalizację względem powierzchni oraz przejście do jednostek wyrażanych w milimetrach.

Innymi słowy: pierwszy etap został zamknięty sukcesem. Teraz zaczyna się etap drugi, w którym można sprawdzić, czy da się zbudować model jeszcze bardziej elegancki, skalowalny i odporny na zmianę powierzchni zbierania deszczówki.

W tabeli porównawczej przy każdej strategii pojawiają się skróty typu Capacity MAE / R², Used MAE / R² itd. Dla osoby spoza świata ML może to brzmieć dość tajemniczo, więc warto to rozbroić prostym językiem.

Każda z tych kolumn mówi o tym, jak dobrze model AI przewiduje konkretny rodzaj wyniku. Zapis MAE / R² oznacza po prostu dwie różne miary jakości modelu:

• MAE mówi, o ile średnio model się myli,
• R² mówi, jak dobrze model rozumie zależności w danych.

Najprościej:

• mniejsze MAE = lepiej
• większe R² = lepiej

Co oznaczają poszczególne nagłówki?

Capacity MAE / R²
To jakość przewidywania rekomendowanej pojemności zbiornika. Innymi słowy: jak dobrze model zgaduje, czy zbiornik powinien mieć na przykład 2000, 3000 albo 5000 litrów.

Used MAE / R²
To jakość przewidywania ile deszczówki uda się wykorzystać w ciągu roku. Czyli jak dobrze model szacuje roczne zużycie wody ze zbiornika.

Coverage MAE / R²
To jakość przewidywania jaką część potrzeb podlewania pokryje deszczówka. Na przykład czy deszczówka pokryje 40%, 70% albo 90% planowanego zapotrzebowania.

Overflow MAE / R²
To jakość przewidywania ile wody się przeleje i nie zmieści w zbiorniku. To można traktować jako miarę strat wynikających z ograniczonej pojemności.

Turnover MAE / R²
To jakość przewidywania jak intensywnie pracuje zbiornik w ciągu roku, czyli ile razy jego objętość jest w praktyce „wykorzystana”.

Co oznacza R² i jak je czytać?

To właśnie R² jest często najbardziej mylące, więc warto je wyjaśnić po ludzku.

R² pokazuje, na ile model potrafi wychwycić prawdziwe zależności w danych. Im bliżej 1, tym lepiej.

• R² = 0.98 oznacza wynik znakomity. Model prawie idealnie łapie zależności i bardzo dobrze przewiduje dany parametr.
• R² = 0.90 oznacza wynik bardzo dobry. Model wyraźnie rozumie problem i daje wiarygodne przewidywania.
• R² = 0.75 oznacza wynik nadal dobry, ale już wyraźnie słabszy. Model rozumie dużą część zależności, ale częściej się myli i mniej precyzyjnie odwzorowuje rzeczywistość.
• R² = 0.50 oznacza wynik średni. Model coś łapie, ale jeszcze sporo mu brakuje.
• R² bliskie 0 oznacza, że model prawie nie rozumie zależności i jego przewidywania są słabe.

Najprościej można to zapamiętać tak:

• 0.95-1.00 – bardzo blisko ideału
• 0.85-0.95 – bardzo dobrze
• 0.70-0.85 – dobrze, ale z wyraźnym marginesem błędu
• poniżej 0.70 – model wymaga ostrożności albo dalszego douczenia

A co oznacza MAE?

MAE to średni błąd bezwzględny. Pokazuje, o ile przeciętnie model myli się w liczbach.

Dla przykładu:

• jeśli przy pojemności zbiornika MAE wynosi 1100 L, to model myli się średnio o około 1100 litrów,
• jeśli przy pokryciu potrzeb MAE wynosi 0.03, to błąd jest średnio rzędu kilku punktów procentowych.

Dlatego MAE mówi o wielkości błędu „w praktyce”, a R² mówi o tym, jak dobrze model rozumie samą strukturę problemu.

Jak czytać tabelę bez technicznego przygotowania?

Najprościej tak:

• sprawdź, czy R² jest wysokie – im bliżej 1, tym lepiej,
• sprawdź, czy MAE jest małe – im mniejszy błąd, tym lepiej,
• porównuj strategie między sobą i patrz, dla których parametrów model radzi sobie najlepiej.

Dzięki temu tabela przestaje być zestawem tajemniczych skrótów, a staje się prostą odpowiedzią na pytanie: