16dfe44c68a109cb01a9051d01eb503dca0d3f6d
dbmc + ce + es250
- challenge
- Passage Retrieval
- submitter
- Maciej
- submitted
- 2022-11-12 00:03:20.008116 UTC
- file basename
- out
test-A / f8ac159e867f80e8c636d265f64b5d4cd61bd8fb
| Metric | Score |
|---|---|
| NDCG@10 | 50.57 |
dev-0 / 78a5860784cf44630882fe487455a9617a9979e2
| Metric | Score |
|---|---|
| NDCG@10 | 20.81 |
worst items
note: the gold standard is taken from the challenge| # | input | expected output | actual output | test-B NDCG@10 |
|---|---|---|---|---|
| 1 | wiki-trivia W którym państwie leży Bombaj? | 42609-0 2856658-0 119428-0 | 1158331-1 1287330-0 571761-0 1052178-1 1785080-1 1272046-0 1052178-2 1257228-0 571766-1 2734991-1 2734948-1 | 0.00 |
| 2 | wiki-trivia Co budował w Egipcie inżynier Tarkowski, ojciec Stasia z powieści „W pustyni i w puszczy”? | 934126-1 88267-17 | 934126-0 750315-0 21753-5 162084-10 664688-3 1775405-2 2853289-2 11729-16 589037-3 3561031-14 934126-4 | 0.00 |
| 3 | wiki-trivia Do którego państwa należą wyspy Rodos i Korfu? | 1743-6 | 1131567-3 1929638-1 1753674-4 109175-0 3572733-0 1735904-0 3962344-0 2005270-0 49767-0 1472983-0 172742-0 | 0.00 |
| 4 | wiki-trivia Jak nazywa się jednostka w lotnictwie licząca 2–3 eskadry? | 27859-0 799893-7 799893-14 4518252-4 | 146627-0 892919-1 4723652-3 4935081-4 4721656-5 2435719-2 2007352-1 155786-3 145643-3 5082924-1 2984799-1 | 0.00 |
| 5 | wiki-trivia W którym dniu tygodnia Robinson Crusoe spotkał Piętaszka? | 118590-4 2592188-2 | 1515321-1 1590509-0 1515296-1 1523828-0 1523831-0 1523832-0 1523835-0 1523836-0 1523837-0 1523838-0 1523840-0 | 0.00 |
| 6 | wiki-trivia Jak nazywa się polski okręt bojowy, którym brał udział w II wojnie światowej, a od 40 lat znajduje się w Gdyni? | 4360-0 1932-49 4359-71 387651-2 | 3750050-0 2400947-0 3748706-0 1791387-0 4978480-17 3749417-0 1058932-17 5164089-0 1589379-8 3083018-1 1680868-2 | 0.00 |
| 7 | wiki-trivia Z którego państwa pochodzi twórca Gadu-Gadu? | 1930-0 435065-0 1885378-1 | 2276410-1 90677-6 672091-4 4583298-5 1127573-16 594123-5 3098276-0 1530189-3 383020-1 9629-5 119827-1 | 0.00 |
| 8 | wiki-trivia Jak z łaciny nazywa się zmętnienie soczewki oka? | 49463-0 | 1041967-13 144165-2 4552948-0 1308285-14 744327-2 2333001-8 3547864-21 42938-0 456571-11 493615-0 49463-27 | 0.00 |
| 9 | wiki-trivia Mecenasem którego wielkiego kompozytora był król bawarski Ludwik II? | 58136-8 162129-3 | 1741905-49 2767755-13 162129-4 4095688-0 1694875-3 7854-8 181264-0 557202-15 35197-6 1632825-1 37694-1 | 0.00 |
| 10 | wiki-trivia Jakiego obrazu dotyczy akcja filmu Vinci? | 159017-5 89983-8 170281-11 764160-22 | 764160-15 1004592-0 779791-2 2092410-0 150129-3 1157368-1 1493593-0 3121677-1 3128880-1 489854-11 805064-0 | 0.00 |
| 11 | wiki-trivia Która zupa jest symbolem rzeczy bardzo taniej? | 2137401-4 | 1956520-0 461101-1 3311571-3 2739552-1 183444-1 692461-0 29607-0 2801925-136 32886-11 60143-214 1568453-0 | 0.00 |
| 12 | wiki-trivia Jak nazywa się najwyższy masyw górski Sudetów? | 9879-0 | 1497109-0 1757451-0 1277934-0 116359-10 73344-0 1756836-0 25911-0 4281225-0 2655442-0 1757290-0 866159-0 | 0.00 |
| 13 | wiki-trivia Jak nazywa się wędzony ser owczy produkowany w Tatrach? | 13012-0 13016-0 13015-0 13005-2 613908-4 | 354435-4 2116275-0 1216081-0 73042-0 3317324-0 1263150-0 2468-20 76591-0 1469099-0 2616342-0 1258696-0 | 0.00 |
| 14 | wiki-trivia Sahara Zachodnia posiada duże złoża miedzi, fosforytów czy uranu? | 220899-2 1300844-0 | 48575-30 24477-2 1815040-30 3601661-31 5097859-5 2908969-2 74412-19 4552801-17 2339751-0 1452685-1 1237991-15 | 0.00 |
| 15 | wiki-trivia Proszę podać polską nazwę pierwiastka o łacińskiej nazwie sulfur. | 5581-35 685902-0 | 24742-7 24742-3 113867-4 1910813-0 362369-1 361455-1 610227-2 4387336-22 2463-51 1755-1 122784-0 | 0.00 |
| 16 | wiki-trivia Jak nazywają się dwie liczby rzeczywiste, których wynik po dodaniu wynosi zero? | 736338-0 | 30332-19 513522-0 59224-0 3289-25 557872-0 1073721-2 9830-0 3277-36 3289-14 3289-60 29-36 | 0.00 |
| 17 | wiki-trivia Jak z łaciny nazywa się ćwiczenie ortograficzne polegające na zapisywaniu tekstu? | 962835-0 | 4201896-1 89359-0 88970-3 1115392-0 102637-1 2490097-0 4329879-0 2489221-0 4890983-0 681481-8 526076-0 | 0.00 |
| 18 | wiki-trivia Który półwysep Azji jest największy? | 105934-0 | 305246-0 1281635-1 242762-1 135358-0 2433901-0 404755-0 2698019-1 5220800-0 727699-4 22585-0 3321700-0 | 0.00 |
| 19 | wiki-trivia Jakie łacińskie słowa są wygłaszane po wyborze papieża? | 471697-0 490372-6 18084-11 142774-5 | 3678011-6 1518180-23 928778-4 1143976-3 3305434-2 23992-398 32943-47 23572-2 143139-69 51936-2 1683472-5 | 0.00 |
| 20 | wiki-trivia Jak nazywa się autobus elektryczny zasilany z sieci zawieszonej nad drogą? | 65401-0 | 1797224-0 318249-12 5118056-1 802949-47 4635429-0 732801-0 549354-2 500532-0 4112366-0 1271388-0 2747855-2 | 0.00 |
| 21 | wiki-trivia W którym państwie leżą tzw. Alpy Transylwańskie, czyli Karpaty Południowe? | 172832-0 1662028-0 1065819-0 1263801-11 1653912-0 | 1668859-1 456762-2 2174186-2 170271-2 2789510-3 355033-29 482383-1 796633-2 82189-7 1677084-0 172832-2 | 0.00 |
| 22 | wiki-trivia W którym roku odbył się po raz pierwszy festiwal na Woodstock? | 6857-0 61567-58 32954-0 2376129-0 1160069-0 | 61567-20 897826-1 6857-11 712912-17 1395188-0 187511-1 61567-38 1273507-16 1948143-0 61567-6 5093593-0 | 0.00 |
| 23 | wiki-trivia Kto napisał „Ziemię obiecaną” oraz „Chłopów”? | 491777-0 503711-0 6624-9 503711-67 | 291-112 620440-3 3740698-27 746926-59 1936591-10 746926-78 911716-1 4073523-4 746926-66 2527762-2 306187-6 | 0.00 |
| 24 | wiki-trivia W którym roku wystrzelono pierwszego sztucznego satelitę ziemskiego? | 21622-0 7299-31 504860-13 198755-0 4839-2 | 64914-2 7816-29 7325-22 7437-33 7692-25 1341003-20 1357839-51 1588277-62 8800-68 7643-29 7775-31 | 0.00 |
| 25 | wiki-trivia Jakim skrótem literowym oznacza się osobę o nieustalonej tożsamości? | 938989-0 57033-0 4162956-0 1249108-11 | 1919191-28 2239844-21 644625-23 4450256-0 3169145-38 443919-0 4023730-5 4630116-53 531496-3 3501817-15 168609-6 | 0.00 |
| 26 | wiki-trivia Jak z francuskiego określamy okulary, które trzymają się tylko na nosie? | 1202545-0 | 972216-0 40804-5 4309426-0 42935-9 1905187-4 332590-46 2855208-6 4032885-51 4799943-40 390678-5 906089-5 | 0.00 |
| 27 | wiki-trivia Czy legalny syn Napoleona zasiadł na tronie Francji? | 425167-2 | 314765-5 1658867-146 363695-7 30378-9 209672-12 23096-0 1760137-1 3081651-6 677311-5 1245061-38 2488985-0 | 0.00 |
| 28 | wiki-trivia Z iloma państwami graniczy San Marino? | 5531-17 44915-14 | 2027875-9 597209-0 1193751-0 597206-1 1209122-1 2028372-13 1219119-0 2027875-8 1456243-0 5531-0 154471-0 | 0.00 |
| 29 | wiki-trivia Jaki był najwyższy nominał obecny w obiegu przed denominacją w 1995 roku? | 2148595-1 | 193584-2 2554487-3 1418508-339 134896-1 4603710-210 7104-0 1809833-3 4413539-2 266127-3 2003627-187 2048728-5 | 0.00 |
| 30 | wiki-trivia Jak nazywa się postulat mówiący, że w atomie nie ma dwóch elektronów które by miały identyczne wszystkie cztery liczby kwantowe?… | 43681-0 | 984901-17 43683-10 4541971-5 15195-9 1833033-6 7-74 6567-1 4600303-0 2311468-1 1460654-0 8807-0 | 0.00 |
| 31 | wiki-trivia Który amerykański prezydent uczestniczył w konferencji pokojowej w Jałcie? | 25733-0 2261468-0 | 185547-5 308840-5 7663-36 35040-24 1515517-91 1305200-7 1820226-0 2266318-340 665627-1 434394-136 2314298-6 | 0.00 |
| 32 | wiki-trivia Czy w Polsce panował król o imieniu Ludwik? | 18470-0 11289-2 489028-1 650042-0 1227360-0 | 1465459-1 2582104-0 1066149-1 174123-6 32410-0 2366981-3 11218-2 25018-5 1773446-0 4889773-0 11289-2 | 0.00 |
| 33 | wiki-trivia Funkcjonariusz państwowy który ściga przestępców i oskarża ich w sądzie to...? | 152150-0 152150-14 2194475-2 537444-1 | 1809008-0 4711553-0 4064684-0 4251754-0 4064527-0 5131340-0 4733787-0 1876171-1 2365549-3 3294002-0 2183066-1 | 0.00 |
| 34 | wiki-trivia Na cześć kogo obchodzony jest dzień Kotana? | 44879-8 174481-12 86849-16 | 2815816-2 2706007-2 4478120-3 5073-1 3674136-0 604478-6 238785-30 4181943-6 5021062-11 44880-212 3624329-4 | 0.00 |
| 35 | wiki-trivia Symbolem którego pierwiastka jest Cr? | 825-0 1676212-0 | 75643-15 136382-4 6149-33 503713-1 2079167-0 1133291-0 30332-1 874135-0 2656492-0 30333-0 5174402-0 | 0.00 |
| 36 | wiki-trivia Jak nazywała się dawna rezydencja cesarska w Pekinie? | 74254-0 95568-1 | 9576-11 1906305-0 2070144-0 2975809-0 2521418-0 6780-28 558678-11 1746085-11 5038125-0 5016891-4 1309650-5 | 0.00 |
| 37 | wiki-trivia Jaką nazwę noszą połączone izby Sejmu i Senatu RP? | 2462290-5 589110-0 33023-0 189807-44 3039370-2 | 2462290-7 5246661-3 115521-7 25362-89 189807-31 514238-11 3568822-5 6242-63 6504-21 2383108-16 90585-5 | 0.00 |
| 38 | wiki-trivia Jak nazywa się na statku oficer zajmujący się sprawami gospodarczymi? | 558647-0 558647-1 | 302733-30 1948960-3 130317-0 1269055-11 904414-61 32036-35 595338-1 2909498-11 76770-2 4695210-1 3258146-0 | 0.00 |
| 39 | wiki-trivia Kto jest autorem wiersza o Słoniu Trąbalskim? | 23626-20 1757856-4 4439842-4 | 3144098-1 534565-9 540491-1 12750-13 18737-30 4369874-32 883680-1 1578354-0 1541044-10 3910497-5 2102671-2 | 0.00 |
| 40 | wiki-trivia W którym roku Otton III i Bolesław Chrobry spotkali się na zjeździe gnieźnieńskim? | 2048803-0 1930212-0 8196-0 44843-1 411720-13 | 20984-5 1643289-4 276455-1 1643632-8 913829-7 311578-2 7604-14 438857-4 1876386-10 390570-4 93712-17 | 0.00 |