Metric	Score
Weighted-F1	N/A
Hyphens-F1	N/A
Comma-F1	N/A
Ellipsis-F1	N/A
Fullstop-F1	N/A
QMark-F1	N/A
Colon-F1	N/A
Semicolon-F1	N/A
Excl-F1	N/A

Metric	Score
Weighted-F1	42.79
Hyphens-F1	46.96
Comma-F1	0.00
Ellipsis-F1	100.00
Fullstop-F1	81.55
QMark-F1	69.80
Colon-F1	46.47
Semicolon-F1	0.00
Excl-F1	35.29

worst items

note: the gold standard is taken from the challenge

#	input	expected output	actual output	test-D Weighted-F1
1	wikinews189425 " discovery " wylądował na bieżni numer 33 w kennedy space center na florydzie dziś o godzinie 13 08 gmt kończąc misję sts 13…	O O O O O O O O O O O O O O O O O B-KOLON O B-COMMA O O B-HYPHEN O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O B-FULLSTOP …	B-FULLSTOP O O O O O O O O O O O O O O B-KOLON O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O…	0.00
2	wikinews187921 " ars ante portas " to cykl wystaw twórczości artystów którzy bezinteresownie uczestniczyli w zbiorowym przedsięwzięciu artys…	O O O O O O O O O B-COMMA O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O B-FULLSTOP O O O B-KOLON O B-COMMA O B-COMMA O B-HYPHEN O O…	O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O B-FULLSTOP O O O B-KOLON O B-HYPHEN O O O B-HYPHEN O O O B-FULLSTOP …	0.00
3	wikinews196417 " dlaczego ścigano wachowskiego a szczególnie dlaczego robiono rewizje wachowskiemu dlatego że chciano znaleźć oryginalne]] p…	O O O B-COMMA O O O O O B-FULLSTOP B-COMMA O O O B-COMMA O B-COMMA O O O O O O B-HYPHEN O O O O O B-COMMA O O O O O B-COMMA O O B-FULLSTOP O…	O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O B-FULLSTOP O O O O O O O O O O…	0.00
4	wikitalks0016311 " armia pakistańska wymordowała w delcie gangesu ok 1 1 5 miliona cywilów i dopuściła się bezprecedensowo straszliwej liczb…	O O O O O O O B-FULLSTOP B-HYPHEN B-COMMA B-HYPHEN O O O O O O O O B-FULLSTOP O O B-HYPHEN O O O O B-QMARK O B-KOLON O O O O O O O O B-KOLON…	O O O O O O B-FULLSTOP O O O O O O O O O O O B-FULLSTOP O B-FULLSTOP O O O O B-QMARK O B-KOLON O O O O O O O O B-KOLON O O O O O O O O O O …	0.00
5	wikinews183820 " kościół zawsze nalegał i przypominał że to jest obowiązek moralny wzięcia udziału w wyborach natomiast nie powinien się wyp…	O O O O O B-COMMA O O O O O O O O B-FULLSTOP O O O O O O O B-COMMA O O O O B-COMMA O O O O O B-HYPHEN O O O O O O O O B-FULLSTOP O O O O B-H…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHENO O O O O O O O B-FULLSTOP O O O O O B-FULLSTOP O O O O O O O O B-FULL…	0.00
6	wikinews227876 " uroczyście ogłaszam poniedziałek dniem radości narodowej awans do mistrzostw europy 2008 to historyczny moment " powiedział…	O O O O O O B-FULLSTOP O O O O O O O O B-HYPHEN O O O O O O B-FULLSTOP O O O O O O O O O O O O B-FULLSTOP O O B-COMMA O O O O B-FULLSTOP O O…	O O O O O B-FULLSTOP O O O O O O O B-HYPHENO O O O O O B-FULLSTOP O O O O O O O O O O O O B-FULLSTOP O O O O O O O B-FULLSTOP O O O O O B-FU…	0.00
7	wikinews228950 " niech cba poda od kogo się dowiedziało że r i k chodzą po warmii i mazurach i oferują załatwianie jakichś spraw pan k na pe…	O O O B-COMMA O O O B-COMMA O B-FULLSTOP O B-FULLSTOP O O O O O O O O O B-FULLSTOP O B-FULLSTOP O O O B-FULLSTOP O O O O O O B-COMMA O O O B…	O O O O O O O O B-FULLSTOP O B-FULLSTOP O O O O O O O O O B-FULLSTOP O B-FULLSTOP O O O O O O O O O O O O O B-HYPHEN O O O O O O O B-FULLST…	0.00
8	wikinews196430 " lechu wałęso jest pan wielkim symbolem polski europy i świata który wierzy w wolność i odrzuca wszelkie formy dyktatury " m…	O O B-COMMA O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O B-FULLSTOP O O O O O B-COMMA O O O O O O B-FULLSTOP O O O O O B-FULLST…	O B-KOLON O O O O O O O O O O O O O O O O B-HYPHENO O O O O B-FULLSTOP O O O O O O O O O O O O B-FULLSTOP O O O O O B-FULLSTOP O O O O O O O…	0.00
9	wikinews185273 " european passion play 2008 " pod ta nazwą symfoniczno metalowy zespół z finlandii nightwish rozpocznie swoją trasę koncerto…	O O O O O O O O O B-HYPHEN O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O O O O O O O O B-FULLSTOP O O O O O O B-HYPHEN O O B-COMMA O O O…	O O O O O O O B-HYPHEN O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O O O O O O O O B-FULLSTOP O O O O O O B-HYPHEN O O O O O O O O O O …	0.00
10	wikinews227887 " wizyta premiera donalda tuska w niemczech jest nieprzygotowana już wiemy że w sprawie muzeum ii wojny światowej premier wró…	O O O O O O O O B-FULLSTOP O B-COMMA O O O O O O O O O O O B-FULLSTOP O O O O B-COMMA O B-COMMA O O O O O O O B-FULLSTOP O O O B-FULLSTOP O …	O O O O O O O B-FULLSTOP O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O B-FULLSTOP O O …	0.00
11	wikinews186513 " poczuj się jak gwiazda " pod tym hasłem będzie przebiegał kolejny już dzień otwarty telewizji polskiej podczas spotkania z …	O O O O O B-HYPHEN O O O O O O O O O O B-FULLSTOP O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O O B-FULLSTOP O O O O O O O B-COMMA O O B…	O O O B-HYPHENO O O O O O O O O O B-FULLSTOP O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-…	3.85
12	wikitalks001598 co za bzdura z tym że saiyanom nie rosły włosy może na głowie ale nie dotyczy to zarostu połowa saiyan miała zarost chyba ni…	O O O O O O O O O B-QMARK O O B-COMMA O O O O B-XCL O O O B-COMMA O O O O O O O B-QMARK O O O O O O O O O B-XCL O O O B-XCL O O O O O B-COMM…	O O O O O O O O O B-FULLSTOP O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O B-XCL O O O O O O O O O O O…	10.80
13	wikinews196753 wydano peazip 4 7 rozbudowany program do kompresji danych i zarządzania archiwami peazip obsługuje większość współczesnych fo…	O O O B-COMMA O O O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP B-FULLSTOP O O O O O O B-COMMA O O O B-COMMA O O O O B-COMMA O O O B-FUL…	O O O B-HYPHEN O O O O O O O B-FULLSTOP O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O …	11.34
14	wikinews199816 hiszpan rafael nadal lider rankingu tenisistów pokonał niemca björna phaua 7 6 6 3 7 6 i awansował do drugiej rundy wielkoszl…	O O B-COMMA O O B-COMMA O O O O B-KOLON B-COMMA B-KOLON B-COMMA B-KOLON O O O O O O O O O B-COMMA O O O O O O O O O O B-FULLSTOP O O B-COMMA…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O O B…	14.75
15	wikinews227301 dzisiaj zakończyły się zmagania kwalifikacji do zawodów gry pojedynczej w turnieju tenisowym katowice open 2015 awans do turn…	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O O O O B-COMMA O O B-KOLON B-CO…	O O O O O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O O O O O O …	17.31
16	wikinews230329 microsoft oficjalnie zapowiedział że sequel gry gears of war pojawi się w listopadzie 2008 r ta produkcja okazała się być jed…	O O B-COMMA O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O B-COMMA O O O O B-FULLSTOP O O O O B-COMMA O O O B-COMMA O B-FULLSTOP O O O…	O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O…	20.83
17	wikitalks0014941 skąd informacja że krzyż i tablica były umieszczone nielegalnie czy autor edycji mógłby podać źródło czy liczy się dodanie …	O B-COMMA O O O O O O B-QMARK O O O O O B-QMARK O O O B-COMMA O O B-QMARK O O O B-FULLSTOP O B-COMMA O O O B-HYPHEN O B-COMMA O B-QMARK O O …	O O O O O O O O B-QMARK O O O O O O O O O O O O B-QMARK O O O B-ELLIPSIS O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O…	21.56
18	wikitalks0012907 rozbudowałem znacząco w ostatnim czasie myślałbym o zgłoszeniu do da proszę o ewentualne uwagi pod tym kątem misiek2 pisz w…	O O O O B-COMMA O O O O B-FULLSTOP O O O O O O B-FULLSTOP O O O O O O O O B-KOLON O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O B-COMM…	O O O O O O O O O B-FULLSTOP O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	24.94
19	wikinews188806 tygodnik gala już po raz siódmy ogłosił konkurs na najpiękniejszych polaków tych których podziwia się za mądrość osiągnięcia …	O O O O O O O O O O B-FULLSTOP B-COMMA O O O O B-COMMA B-COMMA O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O O O B-HYPHEN O O O O O …	O O O O O O O O O O B-HYPHEN O O O O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O B-KOLON O O O O O O O O O O O B-FULLSTOP O …	26.67
20	wikinews196680 28 lipca odbędą się w krakowie w hotelu galaxy targi kariera programisty targi organizowane są cyklicznie przez firmę careerc…	O O O O O B-COMMA O O B-COMMA O O B-FULLSTOP O O O O O O O O O O B-FULLSTOP O O O B-COMMA O O O O O B-COMMA O O O O O O B-FULLSTOP O O B-KOL…	O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O B-FULLSTO…	26.86
21	wikitalks0013650 zastanowiłbym się czy nie doprecyzować nazwy np podziemia rynku w krakowie lub podziemia rynku głównego w krakowie dla krak…	O B-COMMA O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O O O B-COMMA O O O O O O O O O O O O O B-FULLSTOP O O O O O B-QMARK O O…	O O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O B-QMARK O O O O O O O O…	27.27
22	wikitalks0012041 ciekawe wyrażenie arytmetyczne tylko że odkąd to unia pracy jest centrolewicowa czyżby środek ciężkości przesunąwszy był zr…	O O B-COMMA B-COMMA O O O O O O B-QMARK O O O O O O O O O O B-COMMA O B-QMARK O O O O O O O O B-COMMA O O O B-COMMA O O O O O B-COMMA O O O …	O O B-HYPHEN O O O O O O O B-QMARK O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HYPHEN O O O O …	27.75
23	wikitalks0016538 polactwo zbiorem felietonów klisu właśnie toż to traktat polityczny sugeruję korektę mendel poprawiłem a j raz nie zerwał o…	O O B-HYPHEN O B-XCL O O O B-FULLSTOP O B-FULLSTOP O B-FULLSTOP B-FULLSTOP B-FULLSTOP O O O O O O O O B-HYPHEN O O O O O O B-HYPHEN O O O O …	O O O O B-FULLSTOP O O O B-XCL O B-FULLSTOP O B-FULLSTOP O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O…	27.94
24	wikinews231416 stanisław łyżwiński w wywiadzie dla w tvn24 zapowiedział dziś że w sejmie przedstawi dokumenty dotyczące seksafery i " innych…	O O O O O O O O B-COMMA O O O O O O O O O O O B-FULLSTOP O O O O O O O O O B-HYPHEN B-COMMA O O O O B-COMMA B-COMMA O O B-COMMA B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O B-HYPHEN O O B-FULLSTOP O O O O O …	28.17
25	wikitalks001549 nie zmieniłem tego ale wydaje mi się że zamiast " buddyźmie " " marksiźmie " " relatywiźmie " powinno być " buddyzmie " " ma…	O O B-COMMA O O O B-COMMA O O O O B-COMMA O O B-COMMA O O O O O O O B-COMMA O O B-COMMA O O B-FULLSTOP O O O O O O O O O O O B-COMMA O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O …	28.75
26	wikinews239127 rosyjska agencja kosmiczna roskosmos podpisała wczoraj z rządem indii porozumienie o wspólnych badaniach i eksploracji księży…	O O B-COMMA B-COMMA O O O O O O O O O O O B-FULLSTOP O O O B-COMMA O B-COMMA O O O O O O O B-COMMA O B-FULLSTOP O B-COMMA O O O O O B-COMMA …	O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O…	29.15
27	wikinews226436 klub azs zakopane zwyciężył w drużynowym konkursie mistrzostw polski w skokach narciarskich rozegranym na skoczni im adama ma…	O O O O O O O O O O O B-COMMA O O O B-FULLSTOP O O O O B-FULLSTOP O O O O O O B-KOLON B-COMMA O O O O O O O B-FULLSTOP O O O O B-COMMA O B-F…	O O O O O O O O O O O O O O O B-FULLSTOP O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O B-FULLSTOP O O O O O O O O …	29.33
28	wikinews189493 bratysława odbywający się w sobotę 22 maja 2010 r w stolicy słowacji gay pride zaatakowały bojówki skrajnie prawicowych organ…	B-KOLON O O O O O O O B-FULLSTOP O O O O O O O O O B-COMMA O O O B-FULLSTOP O O O O O O O O O O B-FULLSTOP O B-COMMA O O O O O O O O B-FULLS…	B-KOLON O O O O O O O B-FULLSTOP O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O B-FULLSTOP …	30.62
29	wikinews212367 microsoft przez wiele lat utrzymywał przeglądarkę internet explorer przy życiu teraz okazuje się że wraz z premierą windowsa …	O O O O O O O O O B-FULLSTOP O O B-COMMA O O O O O O O O O O O B-FULLSTOP O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O B-FULLSTOP O B…	O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O…	31.35
30	wikinews227796 25 maja rząd odpowie na żądania strajkujących lekarzy ogólnopolski związek zawodowy lekarzy domaga się miliarda złotych na po…	O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O B-COMMA O O O O O O O O O O O O O O B-FULLSTOP O O …	O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-FULLSTOP O O O B-HYPHEN O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O …	32.14
31	wikinews228287 z sondażu gfk polonia dla " rzeczpospolitej " wynika że poparcie dla lecha kaczyńskiego jest niskie sondaż przeprowadzono wśr…	O O O O O O O O B-COMMA O O O O O O B-FULLSTOP O O O O O B-FULLSTOP O O O O B-COMMA O O O O O O B-FULLSTOP O B-COMMA O O B-COMMA B-COMMA O O…	O O O O O O O O O O O O O O O B-FULLSTOP O O O O O B-FULLSTOP O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O B-FULLSTOP O …	32.18
32	wikitalks0014582 kolego gregul sprawa jest prosta pojęcie stateczności stabilności dotyczy nie tylko układów sutomatycznej regulacji ale tak…	O B-COMMA O O B-KOLON O O O O O O O O B-COMMA O O O B-FULLSTOP O O O O O B-QMARK O O O O O O O O O O B-COMMA O O O O O O O O B-QMARK O O B-H…	O O O O B-HYPHEN O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O B-QMARK O O B-HYPHEN O O O O O B-FULLS…	32.78
33	wikinews231893 9 maja na białorusi obchodzony jest dzień zwycięstwa w pochodzie w mińsku uczestniczył prezydent aleksander łukaszenka z syna…	O O O O O O O B-FULLSTOP O O O O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O O B-COMMA O O O O O B-COMMA O O O O B-FULLSTOP O O O O O B-…	O O O O O O O B-FULLSTOP O O O O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O B-…	32.89
34	wikinews187965 jak poinformowała pap mołdawska centralna komisja wyborcza po powtórnym przeliczeniu głosów oddanych w wyborach parlamentarny…	O O B-COMMA O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O O B-FULLSTOP O O O O O O O O O B-COMMA O O O O O B-HYPHEN O O O O B-FU…	O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O B-FULLST…	33.44
35	wikitalks0012102 druga z pomorskich linii tym razem bardzo lokalna łącząca stolice dwóch powiatów problem jest z historią linii gdyż w zasad…	O O O B-COMMA O O O O O O O B-FULLSTOP O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O…	O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O …	33.45
36	wikitalks009315 co to są " kanały półlegalne " pochodzenie mianem " bootlegers " określano przemytników przemycających towar w butach w xvii…	O O O O O O B-QMARK B-KOLON O O O O O O O O O O O O B-COMMA O O O O O B-FULLSTOP O O O O O O O O O B-QMARK O O O B-QMARK O O O O O O O B-FUL…	O O O O O O B-QMARK O O O O O O O O O O O O O B-FULLSTOP O O O O O B-FULLSTOP O O O O O O O O O B-QMARK O O O B-QMARK O O O O O O O O O O O …	33.80
37	wikinews228503 w czasie " siódmego dnia tygodnia " na antenie radia zet prowadząca go monika olejnik ostro zareagowała na słowa joachima bru…	O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O B-HYPHEN O O O O O O O O O O O O B-COMMA O O O O B-FULLSTOP O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O B-FULLSTOP O O O O B-FULLSTOP O O O O O…	34.07
38	wikinews188437 od 16 lipca 2009 z polskiego serwisu aukcyjnego allegro pl mogą legalnie korzystać osoby od 13 roku życia dotychczasowy regul…	O O O O O O O O B-FULLSTOP O O O O O O O O B-FULLSTOP O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O …	O O O O O O O O B-FULLSTOP O O O O O O O O B-FULLSTOP O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O …	34.57
39	wikinews228153 w obliczu coraz bardziej realnych przedterminowych wyborów słabsze partie muszą szukać rozwiązania by uniknąć eliminacji z pr…	O O O O O O B-COMMA O O O O B-COMMA O O O O O B-HYPHEN O O O B-COMMA O B-FULLSTOP O O O O B-COMMA O O O B-COMMA O O O O O O O B-FULLSTOP O O…	O O O O O O O O O O O O O O O O O B-HYPHEN O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O B-HYPHEN O O O O O O O …	34.85
40	wikinews228816 rada wojewódzka samoobrony przyjęła uchwałę o rozwiązaniu partii w województwie pomorskim danuta hojarska która zwołała wczor…	O O O O O O O O O O B-FULLSTOP O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O O O O O O O O O O O O O O …	35.09