d62d2dc34105f18fd4c5bf8e938dd31debf4a09e
BM25_reranker_category_filters
- challenge
- Passage Retrieval
- submitter
- Marek
- submitted
- 2022-09-16 18:46:41.73651 UTC
- original repo
git@django:/git_data/pr/2022-passage-retrieval-e2841e4f-708e-48f1-88a5-4a49a42094a5/ branchmaster- publicly available at
https://github.com/poleval/2022-passage-retrieval/ branchsubmission-00407- browsable at
- https://github.com/poleval/2022-passage-retrieval/tree/submission-00407
- clone by
git clone --single-branch https://github.com/poleval/2022-passage-retrieval -b submission-00407- file basename
- out
test-A / 7a7f1d44d0e25b2a1dd81286100a05826f7ff084
| Metric | Score |
|---|---|
| NDCG@10 | 56.26 |
dev-0 / 81e12603384efba1aa2ad321674fc6328c6bbb55
| Metric | Score |
|---|---|
| NDCG@10 | 38.09 |
worst items
note: the gold standard is taken from the challenge| # | input | expected output | actual output | test-B NDCG@10 |
|---|---|---|---|---|
| 1 | wiki-trivia W którym państwie leży Bombaj? | 42609-0 2856658-0 119428-0 | 1235369-0 4935649-0 698662-0 4405347-0 946257-0 2377444-0 86589-0 148787-0 3752473-0 2165969-2 | 0.00 |
| 2 | wiki-trivia Do którego państwa należą wyspy Rodos i Korfu? | 1743-6 | 109175-0 4950313-0 1929638-1 49762-19 49762-1 463722-0 3796249-0 842394-0 49762-5 2071590-30 | 0.00 |
| 3 | wiki-trivia Jak nazywa się polski okręt bojowy, którym brał udział w II wojnie światowej, a od 40 lat znajduje się w Gdyni? | 4360-0 1932-49 4359-71 387651-2 | 306982-0 1932-11 4978480-17 9668-6 222547-0 1720777-0 4843686-47 4978480-33 3839179-0 1540954-2 | 0.00 |
| 4 | wiki-trivia Jak nazywał się twórca Polskiej Akcji Humanitarnej? | 2733-0 437349-12 4306798-3 4211917-8 | 27660-0 27660-11 5104963-0 2343176-1 27660-9 1213878-0 27660-3 27660-2 144689-15 3945670-55 | 0.00 |
| 5 | wiki-trivia Która zupa jest symbolem rzeczy bardzo taniej? | 2137401-4 | 109211-0 1568453-0 3311571-3 461101-1 1589274-4 87255-2 29761-9 72525-258 3256060-0 109211-4 | 0.00 |
| 6 | wiki-trivia Jak nazywa się najwyższy masyw górski Sudetów? | 9879-0 | 5465-0 108372-0 453381-20 116359-10 5465-10 1962017-0 4267890-31 2017855-1 164969-1 2019119-1 | 0.00 |
| 7 | wiki-trivia W którym starożytnym mieście budowano wieżę Babel? | 10168-12 13187-9 1861864-1 | 10168-0 4137777-8 2049920-0 471537-1 1836031-13 10168-20 658-14 1163900-0 951304-24 1096332-0 | 0.00 |
| 8 | wiki-trivia Jak nazywa się wędzony ser owczy produkowany w Tatrach? | 13012-0 13016-0 13015-0 13005-2 613908-4 | 937406-0 2920865-0 4489785-0 4795017-0 73042-3 14419-11 3505140-0 1390802-0 1027767-0 3317324-1 | 0.00 |
| 9 | wiki-trivia Proszę podać polską nazwę pierwiastka o łacińskiej nazwie sulfur. | 5581-35 685902-0 | 113882-4 24742-3 1893165-2 24742-7 1383160-2 6425-15 113874-3 4618709-10 37083-4 50897-1 | 0.00 |
| 10 | wiki-trivia Jak nazywają się dwie liczby rzeczywiste, których wynik po dodaniu wynosi zero? | 736338-0 | 19069-1 6084-2 41147-0 9828-0 889941-51 9830-0 1856051-1 984042-5 932710-23 3289-25 | 0.00 |
| 11 | wiki-trivia Jak z łaciny nazywa się ćwiczenie ortograficzne polegające na zapisywaniu tekstu? | 962835-0 | 4704805-0 4461671-2 7431-0 604245-20 7431-94 474561-0 1462912-3 209226-0 1397162-29 16354-2 | 0.00 |
| 12 | wiki-trivia Jak nazywa się autobus elektryczny zasilany z sieci zawieszonej nad drogą? | 65401-0 | 1797224-0 289416-0 45745-0 1271388-0 3820485-0 3820485-24 2031358-4 35994-24 356658-22 332539-3 | 0.00 |
| 13 | wiki-trivia Jak nazywała się polska organizacja wojskowa, której dowódcami byli generałowie Grot, Bór, Niedźwiadek? | 733800-15 8777-0 27400-0 | 245782-0 1717026-4 963969-0 5014-227 173835-8 2673057-253 306960-47 1005884-9 9724-166 1869015-2 | 0.00 |
| 14 | wiki-trivia Czy legalny syn Napoleona zasiadł na tronie Francji? | 425167-2 | 425167-1 4191-44 1824829-4 420939-0 425167-7 32562-7 294564-13 425167-5 32562-0 1658867-146 | 0.00 |
| 15 | wiki-trivia Jak nazywa się postulat mówiący, że w atomie nie ma dwóch elektronów które by miały identyczne wszystkie cztery liczby kwantowe?… | 43681-0 | 1324757-51 7-44 7-73 8807-0 984901-18 44393-9 984901-19 200-2 3136885-6 3136885-2 | 0.00 |
| 16 | wiki-trivia Który amerykański prezydent uczestniczył w konferencji pokojowej w Jałcie? | 25733-0 2261468-0 | 1329226-2 1197116-6 1602497-8 10381-13 2645944-34 2809404-3 89945-14 1373149-51 57393-5 75133-6 | 0.00 |
| 17 | wiki-trivia Z którego kontynentu pochodzą papużki nierozłączki? | 1507283-2 | 3573348-12 1507283-0 1320346-0 4749422-0 235094-8 1938663-0 4504996-0 4498545-0 2270513-4 4916088-0 | 0.00 |
| 18 | wiki-trivia Na cześć kogo obchodzony jest dzień Kotana? | 44879-8 174481-12 86849-16 | 5039159-0 134458-0 3674136-0 312034-1 2123923-5 1827042-13 2322328-1 653840-0 303985-0 676942-7 | 0.00 |
| 19 | wiki-trivia Jak nazywała się dawna rezydencja cesarska w Pekinie? | 74254-0 95568-1 | 2070144-0 5047935-0 2521418-0 24083-67 1746085-0 1940895-0 24083-33 1930869-0 1906468-0 3071153-2 | 0.00 |
| 20 | wiki-trivia Jak nazywa się na statku oficer zajmujący się sprawami gospodarczymi? | 558647-0 558647-1 | 523654-0 537094-0 391783-28 1322911-1 2018225-23 39134-1 2781033-1 1019187-9 1018150-8 1017545-8 | 0.00 |
| 21 | wiki-trivia Co po łacinie oznacza słowo „lupus”? | 330559-0 622969-2 63166-0 63166-49 63166-9 | 1471511-0 48275-46 23951-9 1466312-3 3216-6 1688623-30 24945-0 864645-37 48275-47 5219832-5 | 0.00 |
| 22 | wiki-trivia Jak nazywał się pancernik, który rozpoczął II wojnę światową? | 14103-0 1815538-17 2304-13 89007-6 3241-119 | 5105-0 1097351-0 159657-0 5105-65 10486-0 2245779-0 15343-0 3735010-0 1467956-0 1634202-0 | 0.00 |
| 23 | wiki-trivia Jakie zwierzę widnieje w godle Wenecji? | 3517-75 517835-1 996055-5 | 80193-6 602381-3 772527-13 4022383-2 94585-29 3464714-11 329051-0 2088525-4 2193124-40 2122476-132 | 0.00 |
| 24 | wiki-trivia Jedna z mitycznych gorgon oraz jamochłon morski mają wspólną nazwę? | 108851-0 108851-2 108851-4 27899-19 1877199-2 | 107821-0 2803386-0 84135-0 2256809-0 988442-57 723454-0 160145-0 650843-10 463184-0 1179581-0 | 0.00 |
| 25 | wiki-trivia Kto był ojcem Pegaza? | 108851-11 269351-0 16435-1 | 1404149-14 101773-0 55509-0 290735-0 55509-14 55509-19 1613753-0 1239466-0 2354652-0 55509-13 | 0.00 |
| 26 | wiki-trivia Na jaką chorobą zapadła Nel, bohaterka „W pustyni i w puszczy”? | 88267-8 | 435160-0 3009874-7 1032034-1 198471-1 88267-15 88267-18 2482609-0 88267-20 189803-0 774506-1 | 0.00 |
| 27 | wiki-trivia Jak z francuskiego nazywa się pomieszczenie w teatrze, w którym widownia przebywa w trakcie przerwy? | 736692-0 | 346162-0 41680-0 46823-0 1567642-7 1340382-0 63477-0 481406-0 4300235-2 41314-5 4185956-4 | 0.00 |
| 28 | wiki-trivia Jak nazywa się elastyczna deska umożliwiająca wybicie przy skokach do wody? | 90738-0 2996100-0 2996414-0 2066472-0 4112844-1 | 749086-0 4595660-2 75374-0 1689363-8 1268176-2 2117464-0 2330285-0 75981-20 695540-2 72545-0 | 0.00 |
| 29 | wiki-trivia W którym roku USA wypowiedziało wojnę Niemcom podczas I wojny światowej? | 7258-19 5603-62 18861-27 7767-17 | 2389-0 1674965-2 2047012-2 914206-1 7255-38 1938769-38 2389-101 2274-101 701190-16 2304-15 | 0.00 |
| 30 | wiki-trivia Jakiego koloru jest pojęcie którego się nie ma? | 179111-7 1870244-3 1915957-24 6811-175 4638002-1 | 1454346-7 1454346-0 427976-148 1113664-0 2331638-39 1454346-9 246637-3 1113664-2 2972-17 3051801-3 | 0.00 |
| 31 | wiki-trivia Czy knock down to to samo co knock out? | 1380727-1 | 1367678-0 2715597-1 3908419-0 2064472-12 2298918-1 158547-12 1108971-1 676301-1 158547-2 285976-0 | 0.00 |
| 32 | wiki-trivia W którym mieście w USA dzieje się akcja filmu „Kochaj albo rzuć”? | 498821-1 | 244301-0 1488750-0 489194-0 299247-1 487446-0 498821-0 142685-7 153642-4 6848-103 101163-29 | 0.00 |
| 33 | wiki-trivia Jak nazywa się pustynny obszar na terenie Mongolii i Chin? | 144274-0 1342474-72 | 1813324-0 2360366-0 809128-0 1928371-24 1132759-2 2020189-2 4974319-0 612897-0 4644274-0 3627945-5 | 0.00 |
| 34 | wiki-trivia Jakim kolorem określa się makabryczne żarty? | 470364-0 310912-0 627291-0 805497-4 645020-2 | 2437774-0 290731-75 4583178-0 331461-4 3444603-12 819198-10 532783-0 2627878-1 188810-4 1379454-54 | 0.00 |
| 35 | wiki-trivia W którym mieście odbywają się gale wręczenia Oscarów? | 12641-0 5042944-0 | 4058-0 740096-0 1474746-10 1789754-37 3079995-0 2847294-20 2295663-0 2050336-24 3617020-0 4642327-0 | 0.00 |
| 36 | wiki-trivia Jak nazywają się jadalne liście cebuli? | 1786116-0 682947-1 | 92858-0 1453995-1 92858-1 30117-3 2416144-29 52157-5 268276-26 5053208-5 5113757-5 2366863-1 | 0.00 |
| 37 | wiki-trivia Mitologiczna wojowniczka i wielka rzeka południowoamerykańska mają tę samą nazwę – jaką? | 30855-0 | 1887075-0 224611-5 305852-1 120620-17 59145-2 2741629-1 4460308-2 117034-12 403616-1 4690533-7 | 0.00 |
| 38 | wiki-trivia Na jakim instrumencie gra Woody Allen? | 178421-12 | 820518-0 820518-1 178421-14 583668-7 56058-8 178421-0 627878-8 820518-2 178421-13 178421-24 | 0.00 |
| 39 | wiki-trivia Jak z francuskiego nazywa się wykaz utworów granych w danym teatrze w danym czasie? | 558845-0 | 1592871-1 4396664-11 4406797-0 655930-0 5037489-2 1712441-0 129428-7 481-6 5012656-12 4396664-5 | 0.00 |
| 40 | wiki-trivia Jak nazywały się hiszpańskie oddziały ochotnicze, które w II wojnie światowej wzięły udział po stronie nazistowskich Niemiec prz… | 471964-0 2546528-0 1926088-10 1134217-7 | 934942-0 773289-0 622928-0 713171-0 716933-0 777091-0 1164828-0 2604812-0 1342981-0 180756-0 | 0.00 |