ea01ddd122c03df8948704d84495630627d4553f
BM25-mT5-with-category-filters
- challenge
- Passage Retrieval
- submitter
- Marek
- submitted
- 2022-11-30 07:22:42.798142 UTC
- file basename
- out
test-A / 6c2944864fb3056a2289bfb45019954f1eec8a69
| Metric | Score |
|---|---|
| NDCG@10 | 54.96 |
dev-0 / e657fd207433bfdef39b6e4e229bc98e78c64abb
| Metric | Score |
|---|---|
| NDCG@10 | 42.87 |
worst items
note: the gold standard is taken from the challenge| # | input | expected output | actual output | test-B NDCG@10 |
|---|---|---|---|---|
| 1 | wiki-trivia W którym państwie leży Bombaj? | 42609-0 2856658-0 119428-0 | 4405347-0 2377444-0 2165969-2 946257-0 698662-0 3366918-0 5072368-29 3366912-0 148787-0 1235369-0 | 0.00 |
| 2 | wiki-trivia Do którego państwa należą wyspy Rodos i Korfu? | 1743-6 | 4950313-0 2005270-0 49762-1 1929638-1 49767-0 109175-0 1201050-0 3796251-0 49762-17 1661151-0 | 0.00 |
| 3 | wiki-trivia Jak nazywa się polski okręt bojowy, którym brał udział w II wojnie światowej, a od 40 lat znajduje się w Gdyni? | 4360-0 1932-49 4359-71 387651-2 | 306982-0 4364-0 1932-11 1589379-8 9668-6 1586007-9 3643784-0 1586714-10 4978480-17 1720777-0 | 0.00 |
| 4 | wiki-trivia Która zupa jest symbolem rzeczy bardzo taniej? | 2137401-4 | 1589274-4 3311571-3 29761-9 1965911-3 72525-258 762402-0 461101-1 87255-2 1351515-1 109211-0 | 0.00 |
| 5 | wiki-trivia Jak nazywa się najwyższy masyw górski Sudetów? | 9879-0 | 5465-0 5465-10 20996-0 4267890-31 11569-1 116359-10 4163958-0 108372-0 453381-20 164969-1 | 0.00 |
| 6 | wiki-trivia Jak nazywa się wędzony ser owczy produkowany w Tatrach? | 13012-0 13016-0 13015-0 13005-2 613908-4 | 73042-3 14419-11 2468-20 76574-0 354435-4 3713586-2 2116275-1 14360-17 937406-0 2920865-0 | 0.00 |
| 7 | wiki-trivia Proszę podać polską nazwę pierwiastka o łacińskiej nazwie sulfur. | 5581-35 685902-0 | 24742-3 24742-7 4498-3 16086-0 3608-0 113882-4 49662-0 10037-0 6425-15 3430-26 | 0.00 |
| 8 | wiki-trivia Jak nazywają się dwie liczby rzeczywiste, których wynik po dodaniu wynosi zero? | 736338-0 | 19069-1 3289-34 3289-18 3289-25 984042-5 3277-36 41147-0 3533-8 517786-30 3289-26 | 0.00 |
| 9 | wiki-trivia Jak z łaciny nazywa się ćwiczenie ortograficzne polegające na zapisywaniu tekstu? | 962835-0 | 474561-0 4461671-2 1881208-0 4704805-0 221655-6 16354-2 604245-20 84533-1 4201896-1 209226-0 | 0.00 |
| 10 | wiki-trivia Jak nazywa się autobus elektryczny zasilany z sieci zawieszonej nad drogą? | 65401-0 | 3820485-0 65919-4 99789-21 174632-2 289416-0 1797224-0 65401-1 45745-0 46922-5 5992-2 | 0.00 |
| 11 | wiki-trivia W którym państwie leżą tzw. Alpy Transylwańskie, czyli Karpaty Południowe? | 172832-0 1662028-0 1065819-0 1263801-11 1653912-0 | 7338-103 2174186-2 43654-8 123722-1 944551-0 172738-0 2804-3 80294-5 1538010-0 295901-21 | 0.00 |
| 12 | wiki-trivia Jak nazywała się polska organizacja wojskowa, której dowódcami byli generałowie Grot, Bór, Niedźwiadek? | 733800-15 8777-0 27400-0 | 245782-0 1869015-2 1717026-4 169283-24 2549331-2 27564-13 173835-8 5014-227 245782-3 2901582-0 | 0.00 |
| 13 | wiki-trivia Jak miał na imię kniaź, bohater opery Aleksandra Borodina? | 379-2 555167-0 1808607-4 423330-5 62646-8 | 4408447-2 3970674-6 2603124-2 2604147-1 691773-3 2602952-3 2397052-3 97959-0 5241002-1 2605126-3 | 0.00 |
| 14 | wiki-trivia Czy legalny syn Napoleona zasiadł na tronie Francji? | 425167-2 | 425167-7 420939-0 1818942-5 314765-5 425167-1 4191-44 3062-18 390349-0 32562-0 4729347-3 | 0.00 |
| 15 | wiki-trivia Jak nazywa się postulat mówiący, że w atomie nie ma dwóch elektronów które by miały identyczne wszystkie cztery liczby kwantowe?… | 43681-0 | 7-49 1324757-51 7-74 24654-3 7-73 3313151-26 143094-19 67207-0 15195-9 3136885-2 | 0.00 |
| 16 | wiki-trivia Z którego kontynentu pochodzą papużki nierozłączki? | 1507283-2 | 1320346-0 4916088-0 4504996-0 3303340-0 1938663-0 3573348-12 1648172-0 1243697-0 4749422-0 4498545-0 | 0.00 |
| 17 | wiki-trivia Czy w Polsce panował król o imieniu Ludwik? | 18470-0 11289-2 489028-1 650042-0 1227360-0 | 1564734-1 1499803-0 32410-0 870331-0 1173579-0 6461-3 2351043-9 428790-3 18470-23 72097-42 | 0.00 |
| 18 | wiki-trivia Na cześć kogo obchodzony jest dzień Kotana? | 44879-8 174481-12 86849-16 | 1827042-13 676942-7 312034-1 233530-1 1571136-0 1238355-0 2322328-1 1887364-0 3243471-12 194661-0 | 0.00 |
| 19 | wiki-trivia Jak nazywa się na statku oficer zajmujący się sprawami gospodarczymi? | 558647-0 558647-1 | 523654-0 391783-28 470606-7 3982044-3 1018156-12 1017470-7 2781033-1 1018150-8 1016451-11 1019218-8 | 0.00 |
| 20 | wiki-trivia Gdzie w naturze występuje ptak kiwi? | 1807129-2 1680432-0 1295912-0 | 22714-1 26473-21 954401-7 560341-0 734573-1 4967-36 5036879-11 10844-29 489694-2 1838050-3 | 0.00 |
| 21 | wiki-trivia Co po łacinie oznacza słowo „lupus”? | 330559-0 622969-2 63166-0 63166-49 63166-9 | 48275-46 23951-9 1004960-4 1690109-1 1471511-0 24945-0 573765-0 3009115-6 516650-5 91956-12 | 0.00 |
| 22 | wiki-trivia Jak nazywał się pancernik, który rozpoczął II wojnę światową? | 14103-0 1815538-17 2304-13 89007-6 3241-119 | 5105-0 10486-0 2245779-0 2555465-0 1592491-0 276056-0 1097351-0 1248444-0 133030-7 1593567-0 | 0.00 |
| 23 | wiki-trivia Jakie zwierzę widnieje w godle Wenecji? | 3517-75 517835-1 996055-5 | 94585-29 329051-0 2122476-132 25275-16 16890-21 1354802-0 2256470-2 3959541-4 1173636-2 63732-14 | 0.00 |
| 24 | wiki-trivia Jedna z mitycznych gorgon oraz jamochłon morski mają wspólną nazwę? | 108851-0 108851-2 108851-4 27899-19 1877199-2 | 107821-0 2256809-0 451354-0 1894844-0 72005-9 227878-0 39733-30 2803386-0 2896469-3 1877199-0 | 0.00 |
| 25 | wiki-trivia Kto był ojcem Pegaza? | 108851-11 269351-0 16435-1 | 1404149-14 101773-1 55509-9 55509-4 2035557-2 101773-0 2920654-0 1127992-0 1613753-0 101773-4 | 0.00 |
| 26 | wiki-trivia Jak z francuskiego nazywa się pomieszczenie w teatrze, w którym widownia przebywa w trakcie przerwy? | 736692-0 | 46823-0 41680-0 1340382-0 63342-6 767399-7 346162-0 47733-3 4716718-6 4400167-9 597065-22 | 0.00 |
| 27 | wiki-trivia W którym roku USA wypowiedziało wojnę Niemcom podczas I wojny światowej? | 7258-19 5603-62 18861-27 7767-17 | 2389-0 2304-15 2274-101 701190-19 10844-12 701190-15 2389-224 17474-37 2047012-2 517887-2 | 0.00 |
| 28 | wiki-trivia Jakiego koloru jest pojęcie którego się nie ma? | 179111-7 1870244-3 1915957-24 6811-175 4638002-1 | 266847-12 3051801-3 657393-0 246637-3 371015-1 10279-5 2972-17 246637-13 147093-16 923580-48 | 0.00 |
| 29 | wiki-trivia Czy knock down to to samo co knock out? | 1380727-1 | 1367678-0 2064472-12 74999-59 3908419-0 676301-1 285976-0 158547-12 2715597-1 2394934-1 1054850-0 | 0.00 |
| 30 | wiki-trivia W którym mieście w USA dzieje się akcja filmu „Kochaj albo rzuć”? | 498821-1 | 4137296-0 6848-103 299247-1 690012-10 1301432-1 1488750-0 702114-2 382287-3 986108-22 249888-0 | 0.00 |
| 31 | wiki-trivia Jak nazywa się pustynny obszar na terenie Mongolii i Chin? | 144274-0 1342474-72 | 1867228-48 620239-0 3627945-5 1928371-0 3971692-7 480893-23 1928371-19 282970-1 698299-11 809128-0 | 0.00 |
| 32 | wiki-trivia Jakim kolorem określa się makabryczne żarty? | 470364-0 310912-0 627291-0 805497-4 645020-2 | 3444603-12 102553-42 742545-18 290731-75 19639-0 51544-4 184514-6 3011781-4 22983-76 2437774-0 | 0.00 |
| 33 | wiki-trivia W którym mieście odbywają się gale wręczenia Oscarów? | 12641-0 5042944-0 | 1474746-10 3079995-0 2085691-10 14490-0 2294804-17 794257-2 4058-0 3617020-0 3343250-0 5201660-4 | 0.00 |
| 34 | wiki-trivia Jak nazywają się jadalne liście cebuli? | 1786116-0 682947-1 | 92858-0 52157-5 30117-3 52157-8 471194-0 14390-9 1611230-5 92858-1 935878-0 2416144-29 | 0.00 |
| 35 | wiki-trivia Mitologiczna wojowniczka i wielka rzeka południowoamerykańska mają tę samą nazwę – jaką? | 30855-0 | 4460308-2 59145-2 10102-1 224611-5 81737-0 78137-5 1655025-0 117034-12 2741629-1 2293418-4 | 0.00 |
| 36 | wiki-trivia Na jakim instrumencie gra Woody Allen? | 178421-12 | 820518-1 820518-0 583668-7 915680-1 1544546-30 178421-0 178421-2 178421-14 941508-0 56058-8 | 0.00 |
| 37 | wiki-trivia Jak z francuskiego nazywa się wykaz utworów granych w danym teatrze w danym czasie? | 558845-0 | 1592871-1 481-24 5170158-0 2828733-0 28369-12 129428-0 73100-4 246334-0 23598-3 2102664-0 | 0.00 |
| 38 | wiki-trivia Jak nazywały się hiszpańskie oddziały ochotnicze, które w II wojnie światowej wzięły udział po stronie nazistowskich Niemiec prz… | 471964-0 2546528-0 1926088-10 1134217-7 | 1318501-0 47419-70 43934-4 1816738-0 35645-2 1287202-2 99316-0 929221-6 3261-63 1732757-4 | 0.00 |
| 39 | wiki-trivia Czy Polska zdobyła złoty medal olimpijski w siatkówce męskiej? | 187899-2 166508-10 2929730-71 | 78081-1 438686-5 2548381-0 3810133-1 2929730-101 78157-0 438686-1 78081-0 73921-2 174243-4 | 0.00 |
| 40 | wiki-trivia Jak nazywa się rytualne japońskie samobójstwo? | 5897-1 2477-188 131390-30 | 478763-0 5897-0 4582630-1 3141084-10 1593150-0 10057-26 133333-4 446401-0 10057-85 10057-9 | 0.00 |