CMMLU是一個(gè)綜合性的中文評(píng)估基準(zhǔn),專門用于評(píng)估語(yǔ)言模型在中文語(yǔ)境下的知識(shí)和推理能力,涵蓋了從基礎(chǔ)學(xué)科到高級(jí)專業(yè)水平的67個(gè)主題。它包括:需要計(jì)算和推理的自然科學(xué),需要知識(shí)的人文科學(xué)和社會(huì)科學(xué),以及需要生活常識(shí)的中國(guó)駕駛規(guī)則等。此外,CMMLU中的許多任務(wù)具有中國(guó)特定的答案,可能在其他地區(qū)或語(yǔ)言中并不普遍適用。因此是一個(gè)完全中國(guó)化的中文測(cè)試基準(zhǔn)。
??版權(quán)聲明:若無(wú)特殊聲明,本站所有文章版權(quán)均歸陸客資源網(wǎng)-AI工具集原創(chuàng)和所有,未經(jīng)許可,任何個(gè)人、媒體、網(wǎng)站、團(tuán)體不得轉(zhuǎn)載、抄襲或以其他方式復(fù)制發(fā)表本站內(nèi)容,或在非我站所屬的服務(wù)器上建立鏡像。否則,我站將依法保留追究相關(guān)法律責(zé)任的權(quán)利。