北京第二外國語學(xué)院發(fā)布大語言模型翻譯質(zhì)量評測報告

中國教育報-中國教育新聞網(wǎng)北京6月23日訊（記者 施劍松）北京第二外國語學(xué)院今天發(fā)布《大語言模型翻譯質(zhì)量評測報告 BISU-AiTQA（v1.0）》。該評測突破國際現(xiàn)有評測以英語為核心的現(xiàn)狀，開創(chuàng)性構(gòu)建了以漢語為核心，覆蓋多語種、多領(lǐng)域的大語言模型翻譯質(zhì)量評測體系。從評測結(jié)果來看，即使目前最先進的生成式人工智能 ，也不完全具備處理復(fù)雜語言的能力，在借助人工智能技術(shù)時，使用者必須具有判斷力。

近年來，大語言模型在多語種翻譯任務(wù)中已接近人類譯者的水平，然而從翻譯學(xué)和語言學(xué)的角度來看，當(dāng)前大語言模型無法理解復(fù)雜語言結(jié)構(gòu)和深層語義，專業(yè)領(lǐng)域知識薄弱，漢語理解與生成問題突出。北二外大語言模型翻譯質(zhì)量評測集中了英語、日語、俄語、法語、阿拉伯語五個語種師生力量，面向ChatGPT、Claude、Gemini、Grok、DeepSeek和通義千問六個國內(nèi)外語言大模型，從當(dāng)代文學(xué)、黨政文獻和外事新聞三個領(lǐng)域開展翻譯質(zhì)量測評研究。BISU-AiTQA（v1.0），以漢語為核心、以中國特色文本為基礎(chǔ)，從語言特征維度、神經(jīng)網(wǎng)絡(luò)維度構(gòu)建了包括詞匯多樣性、句法復(fù)雜度、篇章銜接度、語言可接受度等在內(nèi)的六項指標(biāo)體系，著重關(guān)注譯文的語言使用特性，可有效識別模型在詞法、句法和篇章銜接方面的能力，同時考察模型對語義的理解與語言表達能力，以實證方式檢驗了模型對中國話語、文化意涵與政策表述的處理能力，填補了“以漢語為核心”的多語種評測空白。

北京第二外國語學(xué)院相關(guān)課題負責(zé)人表示，語言不僅是溝通工具，更是人類思維方式的構(gòu)建者。人工智能時代的外語學(xué)習(xí)，語言能力仍是外語人才的立身之本，而大語言模型技術(shù)進步是外語發(fā)展的助力，為外語教學(xué)與翻譯研究擴寬了路徑。目前，在國家大力推進“人工智能+”戰(zhàn)略背景下，北二外依托60多年來積淀的外語、旅游和區(qū)域國別學(xué)科優(yōu)勢，匯聚計算機、數(shù)學(xué)及語言學(xué)師資，聚焦語言科學(xué)與人工智能技術(shù)的融合創(chuàng)新，瞄準(zhǔn)北京市重點支持的“AI+X”領(lǐng)域（外語服務(wù)、腦機接口、老年康養(yǎng)、智慧文旅），通過“語言+AI+場景”的學(xué)科架構(gòu)，建設(shè)成立了二外人工智能與語言科學(xué)學(xué)院。該學(xué)院匯聚了認知神經(jīng)科學(xué)、生物醫(yī)學(xué)工程、信息處理、自然語言處理、計算機科學(xué)與技術(shù)、語言學(xué)等領(lǐng)域?qū)I(yè)教師，聚焦人工智能與語言健康、人工智能與語言工程、腦科學(xué)與智能計算、智能交叉等研究領(lǐng)域，致力于培養(yǎng)具備語言能力與人工智能技術(shù)的復(fù)合型高端人才。