
測(cè)試題是用于評(píng)估生成式人工智能(AIGC)服務(wù)安全性和合規(guī)性的一部分。這些測(cè)試題旨在驗(yàn)證大模型在不同場(chǎng)景下的表現(xiàn),確保其輸出內(nèi)容的安全性、準(zhǔn)確性和可靠性。具體來(lái)說(shuō),測(cè)試題可能涵蓋以下幾個(gè)方面:
1、語(yǔ)料安全評(píng)估
通過一系列測(cè)試題目來(lái)檢驗(yàn)大模型對(duì)于違法不良信息的識(shí)別和過濾能力。例如,測(cè)試題目可能會(huì)包括涉及不良語(yǔ)料類型的文本,以檢查模型是否能夠正確地拒絕或過濾掉這些內(nèi)容。
2、生成內(nèi)容評(píng)估
測(cè)試大模型生成的內(nèi)容是否符合社會(huì)主流價(jià)值觀,是否積極正向,并且不含有害信息。這可以通過給定特定話題讓模型生成回復(fù)來(lái)實(shí)現(xiàn),然后對(duì)生成的內(nèi)容進(jìn)行人工和技術(shù)抽檢。
3、問題解答評(píng)估
設(shè)立應(yīng)拒答測(cè)試題庫(kù)和非拒答測(cè)試題庫(kù),用以評(píng)估大模型對(duì)于敏感問題或者不適合回答的問題是否有恰當(dāng)?shù)奶幚頇C(jī)制。比如,對(duì)于醫(yī)療建議、金融投資建議等需要專業(yè)知識(shí)領(lǐng)域的問題,模型應(yīng)該給出謹(jǐn)慎的回答或者是引導(dǎo)用戶尋求專業(yè)幫助。
4、關(guān)鍵詞檢測(cè)
測(cè)試大模型對(duì)于特定關(guān)鍵詞的響應(yīng)情況,確保它能夠在輸入中識(shí)別出潛在的風(fēng)險(xiǎn)詞匯并作出適當(dāng)反應(yīng)。關(guān)鍵詞庫(kù)通常包含大量與《AIGC安全要求》附錄中列出的安全風(fēng)險(xiǎn)相關(guān)的術(shù)語(yǔ)。
5、分類模型抽檢
利用預(yù)定義的分類模型對(duì)大模型產(chǎn)生的內(nèi)容進(jìn)行自動(dòng)分析,判斷其類別歸屬是否正確,以及是否存在違反規(guī)定的情況。
6、Opt-out功能測(cè)試
確認(rèn)大模型提供了顯著且便捷的方式讓用戶關(guān)閉信息輸入的功能,保證用戶隱私權(quán)得到尊重。
7、供應(yīng)鏈安全相關(guān)測(cè)試
雖然直接與測(cè)試題關(guān)聯(lián)不大,但在整體評(píng)估過程中也會(huì)考察大模型所依賴的技術(shù)棧(如芯片、軟件、工具等)是否滿足供應(yīng)鏈安全的要求。
綜上所述,大模型備案的測(cè)試題是為了全面評(píng)估大模型的服務(wù)質(zhì)量及其安全性而設(shè)計(jì)的一套系統(tǒng)化、結(jié)構(gòu)化的評(píng)估工具。它們幫助監(jiān)管機(jī)構(gòu)和服務(wù)提供商了解大模型的行為邊界,確保其在提供服務(wù)時(shí)遵守國(guó)家法律法規(guī)和社會(huì)倫理規(guī)范。此外,測(cè)試結(jié)果還可以作為改進(jìn)大模型算法的重要反饋來(lái)源。
官方微信
業(yè)務(wù)入口: