關(guān)于案例背景

嗶哩嗶哩，作為中國Z世代高度聚集的綜合性視頻平臺，匯聚了2.72億月活用戶。也就是說每兩個中國的年輕人中，至少有一位是B站的用戶。每月，在B站有超過325萬創(chuàng)作者，上傳、分享1100萬則視頻作品，內(nèi)容涵蓋超過200萬個文化標(biāo)簽，7000個核心圈層，囊括了Z世代青年各個興趣圈層的視頻類別和內(nèi)容，并通過彈幕、加評的模式鼓勵用戶產(chǎn)生更深入的社交互動。

平臺上豐富的視聽內(nèi)容正逐步成為兒童上網(wǎng)學(xué)習(xí)、娛樂的重要選擇之一?？紤]到兒童的心智發(fā)育尚未完善，缺乏應(yīng)對網(wǎng)絡(luò)上不良信息的能力和意識，平臺從保護、賦能的角度出發(fā)，以公平和非歧視為原則，在保護兒童的安全，支持兒童的發(fā)展上，通過人工智能技術(shù)和手段對社區(qū)中的不良信息進(jìn)行監(jiān)測和處理，并持續(xù)建設(shè)健全專業(yè)的團隊對不良信息進(jìn)行系統(tǒng)性的防控和治理，從而創(chuàng)造一個促進(jìn)兒童友好型人工智能的網(wǎng)絡(luò)環(huán)境。

關(guān)于技術(shù)方案的具體措施

作為一家內(nèi)容平臺，嗶哩嗶哩平臺利用人工智能技術(shù)識別和干預(yù)社區(qū)中的“軟色情類”與“人身攻擊類”不良信息，降低對兒童的負(fù)面影響。同時，利用人工智能“優(yōu)選彈幕”技術(shù)，為兒童營造一個更健康、積極、和諧，更為正面的彈幕觀看環(huán)境。具體而言，對于負(fù)向信息包含“軟色情類信息”以及“人身攻擊類信息”等兩個主要模塊，對于正向信息包含“彈幕優(yōu)選”模塊。

圖1 彈幕系統(tǒng)架構(gòu)圖

其中，在關(guān)鍵技術(shù)方面，首先“軟色情類”不良信息處理模塊。識別并處理彈幕軟色情的文本，存在三個主要的技術(shù)難點。第一，彈幕的文本較短，傳統(tǒng)的機器學(xué)習(xí)模型很難在很短的內(nèi)容上獲取學(xué)習(xí)到足夠的特征，對于文本的語義識別難度較大；第二，軟色情的評判標(biāo)準(zhǔn)難以統(tǒng)一，不同用戶對于軟色情文本的容忍程度和認(rèn)知程度不一，相同文本內(nèi)容在不同場景下也可能存在不同的含義；第三，軟色情信息分布失衡，在所有的彈幕中軟色情文本內(nèi)容的占比很低且較隱晦，樣本類別的分布失衡導(dǎo)致軟色情文本識別難度加大。針對技術(shù)難點，選擇Transformer的文本分類模型（圖1），搭建“軟色情類”不良信息的處理模塊。

圖2 Tansformer模型結(jié)構(gòu)

其次，“人身攻擊類”不良信息處理模塊?！叭松砉纛悺辈涣夹畔⒅饕韵聨追N類型：1.語義情感較為負(fù)面的內(nèi)容；2.帶有罵人、羞辱、嘲諷等詞匯的內(nèi)容；3.惡意玩梗，讓青少年產(chǎn)生不良體驗等內(nèi)容?！叭松砉纛悺辈涣夹畔⒌倪^濾本質(zhì)上是一個文本二分類問題。經(jīng)過綜合考慮，模型選擇Albert模型做為基準(zhǔn)。該模型是一種基于BERT模型的輕量級優(yōu)化，它基于嵌入?yún)?shù)化進(jìn)行因式分解和跨層參數(shù)共享的技術(shù)，大幅提升了訓(xùn)練速度。其模型結(jié)構(gòu)如圖2所示。

圖3 Albert模型結(jié)構(gòu)

對于“人身攻擊類”不良信息的模型處理同樣需要經(jīng)過數(shù)據(jù)準(zhǔn)備與模型構(gòu)建兩個階段。

在數(shù)據(jù)準(zhǔn)備階段，需要對于“人身攻擊類”彈幕進(jìn)行數(shù)據(jù)清洗、篩選和增強。模型采用confidence learning技術(shù)對數(shù)據(jù)進(jìn)行標(biāo)簽修正。以人身攻擊文本：非人身攻擊文本=1：5的比例，構(gòu)建有兩千萬條彈幕的訓(xùn)練集進(jìn)行模型的訓(xùn)練，并在二十萬條文本的驗證集上進(jìn)行驗證。

在模型構(gòu)建階段，模型會先對輸入的彈幕進(jìn)行tokenization（id化），然后對token、segment和position這三種embedding進(jìn)行相加，再通過encoder層拿到句子的表征向量，最后輸出一個0到1之間的概率值。越接近1表示該彈幕內(nèi)容越有可能包含人身攻擊內(nèi)容。根據(jù)B站的彈幕生態(tài)分布情況，需要不斷進(jìn)行模型的迭代優(yōu)化，減少青少年觀眾接觸“人工攻擊類”不良信息的可能性。

此外，“彈幕優(yōu)選”正向信息處理模塊。除了對于不良信息的過濾，社區(qū)還對于有利于兒童發(fā)展的積極向上的正向內(nèi)容進(jìn)行引導(dǎo)。以人工智能的技術(shù)對用戶生成的彈幕內(nèi)容進(jìn)行評分，更加有利于營造更好的兒童觀看視頻的彈幕環(huán)境。

該模型的訓(xùn)練數(shù)據(jù)來自用戶的點贊彈幕。點贊代表的是觀眾對于該文本的態(tài)度，點贊數(shù)量越多代表觀眾對于文本內(nèi)容有更為積極的態(tài)度。人工智能系統(tǒng)優(yōu)先推送評分更高的彈幕，從而能夠正向引導(dǎo)社區(qū)的氛圍。

關(guān)于應(yīng)用效果

針對上述提到的三個信息處理模塊，在不同的業(yè)務(wù)場景下均實現(xiàn)了努力創(chuàng)造一個促進(jìn)兒童友好型人工智能的網(wǎng)絡(luò)環(huán)境的效果。

一是“軟色情類”不良信息處理模塊應(yīng)用于平臺中的文本軟色情識別。保護兒童的安全，保障兒童在互聯(lián)網(wǎng)上學(xué)習(xí)、娛樂的過程中不受到有害信息的危險。

二是“人身攻擊類”不良信息處理模塊應(yīng)用于平臺中的人身攻擊類文本識別。在識別并進(jìn)行運營的干預(yù)后，使整體人身攻擊類彈幕占比下降約40%。當(dāng)前模型預(yù)測有較高的準(zhǔn)確率，為兒童的觀看體驗提供了保護和支持。

三是“彈幕優(yōu)選”正向信息處理模塊應(yīng)用于平臺中的正面信息引導(dǎo)。篩選出能夠營造積極氛圍的彈幕，營造了良好的社區(qū)氛圍。應(yīng)用該模塊能夠使社區(qū)中的正向內(nèi)容率整體提升33%。此外，平臺相配套的“能量加油站”等心理健康服務(wù)功能，能夠進(jìn)一步引導(dǎo)兒童得到線上或線下的人工支持，賦能兒童的健康成長。

作為中國最大的內(nèi)容社區(qū)平臺之一，嗶哩嗶哩長期關(guān)注兒童的網(wǎng)絡(luò)安全相關(guān)風(fēng)險與趨勢，在保護、賦能兒童方面積極投入。未來，嗶哩嗶哩將持續(xù)投入專業(yè)的團隊資源，為創(chuàng)造一個促進(jìn)兒童友好型人工智能的網(wǎng)絡(luò)環(huán)境積極貢獻(xiàn)。（案例報送單位來自上海寬娛數(shù)碼科技有限公司，上文為部分節(jié)選，如需全文請聯(lián)系項目組。）

來源： 光明網(wǎng)