913a7e7e0b47c3d826efcb98e30169f75a457808
yaa2
- challenge
- Passage Retrieval
- submitter
- Maciej
- submitted
- 2022-11-15 16:12:35.286787 UTC
- file basename
- out
test-A / 018ef8cb8fedd2ed2c082e2fe7abd15877c9e7da
| Metric | Score |
|---|---|
| NDCG@10 | 50.33 |
dev-0 / 843b50dc98e90fa0b295b0f5a5672cda0da12853
| Metric | Score |
|---|---|
| NDCG@10 | 22.32 |
worst items
note: the gold standard is taken from the challenge| # | input | expected output | actual output | test-B NDCG@10 |
|---|---|---|---|---|
| 1 | wiki-trivia W którym państwie leży Bombaj? | 42609-0 2856658-0 119428-0 | 881198-1 886820-2 531352-2 548648-3 993616-2 548648-2 1152188-2 2734991-1 1785080-1 571761-0 | 0.00 |
| 2 | wiki-trivia Do którego państwa należą wyspy Rodos i Korfu? | 1743-6 | 4334-9 2005270-0 49762-0 1288875-9 4072472-31 69256-28 2596002-1 49767-0 3572733-0 109175-0 | 0.00 |
| 3 | wiki-trivia Jak nazywa się jednostka w lotnictwie licząca 2–3 eskadry? | 27859-0 799893-7 799893-14 4518252-4 | 146627-0 4518252-14 54733-2 2984799-1 800519-6 4657353-27 1442438-1 3119842-10 187229-2 892919-1 | 0.00 |
| 4 | wiki-trivia W którym dniu tygodnia Robinson Crusoe spotkał Piętaszka? | 118590-4 2592188-2 | 1802864-7 1156576-0 118590-0 1590509-0 962648-0 1093708-1 1814605-0 377886-0 118590-13 1515321-0 | 0.00 |
| 5 | wiki-trivia Jak nazywa się polski okręt bojowy, którym brał udział w II wojnie światowej, a od 40 lat znajduje się w Gdyni? | 4360-0 1932-49 4359-71 387651-2 | 4978480-17 1340884-1 5164089-0 2616092-0 671109-20 1892622-40 681454-35 2090427-1 1058932-17 1589379-8 | 0.00 |
| 6 | wiki-trivia Jak z łaciny nazywa się zmętnienie soczewki oka? | 49463-0 | 1835554-0 37242-15 144165-2 457851-0 4420383-3 1041962-1 186946-2 1041967-13 1308285-14 456571-11 | 0.00 |
| 7 | wiki-trivia Mecenasem którego wielkiego kompozytora był król bawarski Ludwik II? | 58136-8 162129-3 | 181282-7 941032-0 181284-0 4083243-0 4608972-0 181264-0 11289-3 162129-4 3710137-4 4095688-0 | 0.00 |
| 8 | wiki-trivia Jakiego obrazu dotyczy akcja filmu Vinci? | 159017-5 89983-8 170281-11 764160-22 | 960880-4 3121677-1 1157192-1 489854-11 1159344-0 956966-5 1005699-0 150129-3 779791-2 1004592-0 | 0.00 |
| 9 | wiki-trivia Kto powołuje prezesa NIK? | 100304-0 615610-2 189807-110 2797003-26 | 100304-13 100304-12 100304-14 10392-71 122424-10 2417040-43 4317277-26 152150-8 178235-3 94348-4 | 0.00 |
| 10 | wiki-trivia Która zupa jest symbolem rzeczy bardzo taniej? | 2137401-4 | 3256060-0 2728645-12 3334003-1 1965911-0 1956520-0 461101-1 2801925-135 121015-8 2739552-1 183444-1 | 0.00 |
| 11 | wiki-trivia Sublimat to chlorek którego metalu? | 653476-0 5149678-1 653474-0 5151-8 | 38929-0 649684-0 1029057-0 1400317-0 653480-0 653470-0 509125-0 653473-0 1013051-11 649626-0 | 0.00 |
| 12 | wiki-trivia Jak nazywa się najwyższy masyw górski Sudetów? | 9879-0 | 2198008-0 1840674-1 2194128-0 1792-0 1756843-0 1757857-0 2519178-0 547665-0 1758633-0 1757451-0 | 0.00 |
| 13 | wiki-trivia Jak nazywa się wędzony ser owczy produkowany w Tatrach? | 13012-0 13016-0 13015-0 13005-2 613908-4 | 354435-4 4710309-0 4476880-0 2128782-2 4715364-1 4795017-0 4715364-0 73042-0 5199359-5 1216081-0 | 0.00 |
| 14 | wiki-trivia Sahara Zachodnia posiada duże złoża miedzi, fosforytów czy uranu? | 220899-2 1300844-0 | 1834-101 6649-36 1827785-30 10256-47 1101834-2 1463441-2 4573633-2 48575-30 851203-7 1707589-10 | 0.00 |
| 15 | wiki-trivia Proszę podać polską nazwę pierwiastka o łacińskiej nazwie sulfur. | 5581-35 685902-0 | 2295876-1 862660-0 1895169-0 3509613-0 151567-16 3534465-0 1189936-0 24742-3 24742-7 136382-4 | 0.00 |
| 16 | wiki-trivia Jak nazywają się dwie liczby rzeczywiste, których wynik po dodaniu wynosi zero? | 736338-0 | 1769-5 28839-1 30332-10 3277-9 2596884-3 513522-0 30332-0 30332-19 3289-25 9830-0 | 0.00 |
| 17 | wiki-trivia Jak z łaciny nazywa się ćwiczenie ortograficzne polegające na zapisywaniu tekstu? | 962835-0 | 4201896-1 1461623-5 562243-1 699499-3 88970-3 89359-0 88970-2 4329879-0 1848206-24 102637-1 | 0.00 |
| 18 | wiki-trivia Który półwysep Azji jest największy? | 105934-0 | 251-11 305246-0 1880704-0 3129387-0 251-7 21435-18 304464-0 22585-0 404755-0 135358-0 | 0.00 |
| 19 | wiki-trivia Jakie łacińskie słowa są wygłaszane po wyborze papieża? | 471697-0 490372-6 18084-11 142774-5 | 1063248-6 3678011-6 26438-15 1066707-1 1063248-0 3685328-119 85675-26 1143976-3 954783-1 28293-20 | 0.00 |
| 20 | wiki-trivia Jak nazywa się autobus elektryczny zasilany z sieci zawieszonej nad drogą? | 65401-0 | 20231-8 318249-12 2930630-26 22990-7 1215076-11 318249-1 20349-8 732801-0 1797224-0 549354-2 | 0.00 |
| 21 | wiki-trivia W którym państwie leżą tzw. Alpy Transylwańskie, czyli Karpaty Południowe? | 172832-0 1662028-0 1065819-0 1263801-11 1653912-0 | 170271-2 44854-22 2789510-3 25693-5 82189-7 172879-1 301955-0 2174186-2 796633-2 355033-29 | 0.00 |
| 22 | wiki-trivia W którym roku odbył się po raz pierwszy festiwal na Woodstock? | 6857-0 61567-58 32954-0 2376129-0 1160069-0 | 61567-6 61567-5 2770287-0 4286168-0 449468-11 432913-62 2592628-1 6857-11 61567-20 897826-1 | 0.00 |
| 23 | wiki-trivia Kto napisał „Ziemię obiecaną” oraz „Chłopów”? | 491777-0 503711-0 6624-9 503711-67 | 249800-4 620440-3 249888-7 1627622-1 660927-11 145919-14 525115-41 746926-78 4073523-4 1674604-4 | 0.00 |
| 24 | wiki-trivia Który car rosyjski wprowadził grażdankę? | 129904-0 908-2 22313-16 2854198-24 2705-7 | 121977-3 1908190-0 264250-40 1702843-1 2277523-7 33701-113 601566-19 752470-7 17869-4 117922-8 | 0.00 |
| 25 | wiki-trivia Jak chciał dać swojej córce na imię węglarz z filmu „Miś”? | 138277-7 | 849168-2 138277-44 980124-2 995162-27 163846-30 5052021-0 140234-19 65847-2 2754680-5 4139926-14 | 0.00 |
| 26 | wiki-trivia Jakim skrótem literowym oznacza się osobę o nieustalonej tożsamości? | 938989-0 57033-0 4162956-0 1249108-11 | 1919191-28 2239844-21 644625-23 1002955-29 249985-0 2054599-0 792050-5 1249108-5 524475-5 4450256-0 | 0.00 |
| 27 | wiki-trivia Jak z francuskiego określamy okulary, które trzymają się tylko na nosie? | 1202545-0 | 1298226-66 4309426-1 390678-5 4227333-15 145706-1 145706-0 294213-1 1012338-1 103985-32 500485-360 | 0.00 |
| 28 | wiki-trivia Czy legalny syn Napoleona zasiadł na tronie Francji? | 425167-2 | 1658867-146 552783-2 363695-7 1765337-4 552405-0 863190-0 1260125-8 243442-5 1048048-3 314765-5 | 0.00 |
| 29 | wiki-trivia Z iloma państwami graniczy San Marino? | 5531-17 44915-14 | 2034735-0 1219119-0 1874026-0 2028372-13 1456227-0 5531-0 154471-0 1209122-1 1193751-0 2027875-8 | 0.00 |
| 30 | wiki-trivia Czy wśród dwunastu apostołów był uczeń o imieniu Bartłomiej? | 121881-0 121881-2 16801-7 32283-1 3332578-2 | 121881-3 102405-0 1869869-4 956226-3 64694-101 922277-2 1869869-0 4488342-2 2189500-0 395225-14 | 0.00 |
| 31 | wiki-trivia Jaki był najwyższy nominał obecny w obiegu przed denominacją w 1995 roku? | 2148595-1 | 2048728-5 193584-2 2701241-16 134896-1 3988455-5 1418508-456 193584-0 1418508-339 4413539-2 1809833-3 | 0.00 |
| 32 | wiki-trivia Jak nazywa się postulat mówiący, że w atomie nie ma dwóch elektronów które by miały identyczne wszystkie cztery liczby kwantowe?… | 43681-0 | 2311468-1 43683-7 1324757-51 43683-6 984901-6 126631-9 43683-10 7-74 4541971-5 2311468-5 | 0.00 |
| 33 | wiki-trivia Który amerykański prezydent uczestniczył w konferencji pokojowej w Jałcie? | 25733-0 2261468-0 | 1108611-1 7663-36 185547-5 58590-17 7523-17 9534-14 752785-71 308840-5 35040-24 17348-87 | 0.00 |
| 34 | wiki-trivia Czy w Polsce panował król o imieniu Ludwik? | 18470-0 11289-2 489028-1 650042-0 1227360-0 | 32410-0 551976-8 35201-0 35201-1 2582104-0 2581917-1 2172729-0 1898964-16 174123-6 2366981-3 | 0.00 |
| 35 | wiki-trivia Funkcjonariusz państwowy który ściga przestępców i oskarża ich w sądzie to...? | 152150-0 152150-14 2194475-2 537444-1 | 4711553-0 2326487-0 1809008-0 805670-6 4798405-25 1673523-11 138218-1 1810145-8 1525907-0 4064684-0 | 0.00 |
| 36 | wiki-trivia Na cześć kogo obchodzony jest dzień Kotana? | 44879-8 174481-12 86849-16 | 2022936-6 1235252-3 2925869-3 1824624-8 7812-2 2050780-21 2050780-24 3243471-12 134786-10 2815816-2 | 0.00 |
| 37 | wiki-trivia Symbolem którego pierwiastka jest Cr? | 825-0 1676212-0 | 30332-1 30333-0 15729-1 121015-8 1584-25 77079-14 6149-17 75643-15 2079167-0 1133291-0 | 0.00 |
| 38 | wiki-trivia Jak nazywała się dawna rezydencja cesarska w Pekinie? | 74254-0 95568-1 | 2070144-0 2003201-7 1906305-0 5047935-0 3831497-5 3241388-4 2130812-4 1746085-11 2521418-0 6780-28 | 0.00 |
| 39 | wiki-trivia Jaką nazwę noszą połączone izby Sejmu i Senatu RP? | 2462290-5 589110-0 33023-0 189807-44 3039370-2 | 3039370-0 8653-3 3514566-1 2462290-7 189807-29 2462290-0 59462-1 1258542-7 189807-31 3568822-5 | 0.00 |
| 40 | wiki-trivia Jak nazywa się na statku oficer zajmujący się sprawami gospodarczymi? | 558647-0 558647-1 | 2909498-11 4674879-8 32036-35 3544150-28 285008-0 1090639-1 1796728-3 4570607-2 274668-4 1948960-3 | 0.00 |