01

這兩天互聯(lián)網(wǎng)圈最大的熱門事件是，小紅書下架了。

7月29日晚間，各大安卓應(yīng)用市場(chǎng)的小紅書APP暫時(shí)不提供下載。

作為國民級(jí)種草APP，小紅書的下架既是意料之外，也是情理之中。

意料之外在于，小紅書本身只是一個(gè)主打消費(fèi)的內(nèi)容社區(qū)，本身不具有攻擊性。

情理之中在于，小紅書是C2C模式，筆記內(nèi)容可以隨意發(fā)布，任何人用任何方法都可以發(fā)布任何內(nèi)容。

正常人可以，微商可以，特殊工作者可以，黑產(chǎn)也可以。

對(duì)于一切C2C的工具類平臺(tái)產(chǎn)品，只要能發(fā)布內(nèi)容，其實(shí)內(nèi)容失控的風(fēng)險(xiǎn)都是存在的，不僅是小紅書。

之前的即刻，Soul，乃至網(wǎng)易云音樂，都存在內(nèi)容失控的情況，話題廣場(chǎng)，論壇，評(píng)論區(qū)，用戶昵稱，甚至私人對(duì)話，只要可以錄入文字圖片和語音的地方，就存在著失控的風(fēng)險(xiǎn)。

畢竟產(chǎn)品是簡單的，人性是復(fù)雜的。

平臺(tái)治理和內(nèi)容安全也歸屬于大風(fēng)控的范疇，作為一名風(fēng)控從業(yè)者，在這方面，我有一些實(shí)戰(zhàn)經(jīng)驗(yàn)。

這篇文章，我打算從內(nèi)容風(fēng)控和平臺(tái)治理的角度來談?wù)勑袠I(yè)當(dāng)前的現(xiàn)狀與困境。

內(nèi)容失控，對(duì)于所有電商和社區(qū)類產(chǎn)品而言，都是致命的。

尤其在互聯(lián)網(wǎng)文明越來越重要的今天。

小紅書作為C2C的工具類平臺(tái)，用戶是可以自己上傳圖片和筆記的。

同時(shí)小紅書又是Top的種草平臺(tái)，用戶逛小紅書就是買東西的。

自由的規(guī)則配合精準(zhǔn)的潛在消費(fèi)者，二者一結(jié)合，就成了一塊超級(jí)美妙的流量蛋糕，肥的流油。

于是各種違禁黑產(chǎn)，色情交易，非法醫(yī)美，就都來了。

在下架前，小紅書通過一些關(guān)鍵詞索引，可以獲得各種神奇的服務(wù)，當(dāng)然現(xiàn)在已經(jīng)開始大規(guī)模屏蔽。

例如粉毒和非法醫(yī)美；比基尼和特殊服務(wù)；增高減肥和黑五類保健品；銀行卡電話卡和黑產(chǎn)資料。

這些筆記的特點(diǎn)都是打著攻略分享的名義，往賣家的私人微信號(hào)上導(dǎo)流，然后用話術(shù)誘導(dǎo)成交。

這種自發(fā)性的C2C傳播，也是小紅書產(chǎn)品本身的最大特點(diǎn)。

很多不法商家在利用小紅書這個(gè)平臺(tái)，大發(fā)橫財(cái)。

小紅書作為平臺(tái)方，有苦難言。

我不想去討論小紅書作為平臺(tái)有沒有責(zé)任，畢竟內(nèi)容是用戶自發(fā)的，這塊我不夠?qū)I(yè)。

我想討論的是，用什么方法可以有效治理掉這些垃圾內(nèi)容，小紅書的風(fēng)控和平臺(tái)治理們也在頭疼這件事情。

作為風(fēng)控同行，我想提一些建議，這些源自我的一些實(shí)戰(zhàn)經(jīng)驗(yàn)，希望能對(duì)他們以及讀者有所幫助。

OK，小紅書當(dāng)前面臨的核心問題是，C端用戶上傳的內(nèi)容具有很大的不可控性，里面可能夾雜了大量的違法違禁內(nèi)容，需要有效識(shí)別這些人，然后針對(duì)性屏蔽和封號(hào)，在保證正常用戶體驗(yàn)的前提下，降低內(nèi)容風(fēng)險(xiǎn)。

當(dāng)然，不管是降低內(nèi)容風(fēng)險(xiǎn)，還是保證用戶體驗(yàn)，其核心目的都是要保證企業(yè)的商業(yè)利益最大化，這是大前提，風(fēng)控要為業(yè)務(wù)服務(wù)。

所以一切手段最終都要平衡誤殺率和ROI。

那么，我們開始。

所謂外采詞庫就是有專門的供應(yīng)商會(huì)做涉及敏感領(lǐng)域的詞，支持API的形式直接調(diào)用，可以嵌入到用戶昵稱錄入，文本上傳，用戶私信等模塊，只要上傳文本，都會(huì)進(jìn)行一次詞庫過濾，把一些違禁的詞給抓出來。

優(yōu)點(diǎn)是快速上線，缺點(diǎn)是詞庫是暗箱狀態(tài)（屬于供應(yīng)商），并且業(yè)務(wù)關(guān)鍵數(shù)據(jù)容易泄露（API調(diào)用的入?yún)⑷菀妆还?yīng)商拿走商用）。

我知道小紅書的供應(yīng)商是哪家，我也測(cè)試過很多家，只能說通用詞庫是沒法依據(jù)實(shí)際業(yè)務(wù)場(chǎng)景來做精準(zhǔn)打擊的，建議小紅書自建詞庫，如果沒有現(xiàn)成可配置的詞庫框架，可以使用腳本的方式來讓研發(fā)維護(hù)一套詞庫，當(dāng)然最好還是做成可配置的，畢竟用腳本的話，詞多了很容易崩潰，不是長久之計(jì)。

有了這一套東西后，需要一套應(yīng)用策略，包含敏感詞收集策略，敏感詞應(yīng)用策略，敏感詞處置策略。

所謂敏感詞收集策略，要解決的是如何獲取到有效的敏感詞。

很多人工智能公司吹捧所謂自然語義識(shí)別，用機(jī)器學(xué)習(xí)做，在這里是不好用的，我要提醒一下小紅書，不要迷信機(jī)器學(xué)習(xí)。

因?yàn)闈h語是博大精深的，使用諧音字，變體字，火星文，以及中間夾雜各種特殊符號(hào)和空格的模式，很容易就能繞過機(jī)器。

就微信這個(gè)詞，可以變種成V信，VX，威，VV，你懂得，威X信等等等等，機(jī)器學(xué)習(xí)做不到這么精準(zhǔn)的打擊，但人的識(shí)別配合SQL以及Python代碼，可以實(shí)現(xiàn)。

在這里，建議使用實(shí)時(shí)數(shù)據(jù)庫，配專門的數(shù)據(jù)分析師來做詞語收集。

數(shù)據(jù)分析師可以通過一些基礎(chǔ)的違規(guī)信息，來進(jìn)一步人工延伸出索引規(guī)則，例如微 ` 信12345，就可以提取出某些關(guān)鍵字（用微這個(gè)字來做索引），某些特殊符號(hào)，甚至某些符號(hào)+數(shù)字的特征來抓。

一個(gè)熟練的風(fēng)控?cái)?shù)據(jù)分析師，一天抓出上萬有效敏感詞不是問題。

所謂敏感詞應(yīng)用策略，要解決的問題是這些敏感詞用于哪些領(lǐng)域。

當(dāng)你有了一個(gè)敏感詞庫時(shí)，你需要對(duì)每一個(gè)詞進(jìn)行打標(biāo)簽，例如殺人這個(gè)詞是A類標(biāo)簽，吃奶這個(gè)詞是B類標(biāo)簽，不同的業(yè)務(wù)場(chǎng)景以及電商品類，要使用完全不同的標(biāo)簽。

例如牛奶類的筆記，用吃奶這個(gè)詞就會(huì)誤傷很大。

這里需要做的是，給每一個(gè)場(chǎng)景的業(yè)務(wù)都打上標(biāo)簽，然后依據(jù)標(biāo)簽來使用敏感詞庫中的詞類目。

例如口紅類筆記要用ABC標(biāo)簽的詞。

例如旗袍類的筆記要用CDF標(biāo)簽的詞等等。

至于如何拆解品類打標(biāo)和敏感詞，這個(gè)就不展開了，展開必是長篇大論。

所謂敏感詞處置策略，要解決的問題是內(nèi)容命中了敏感詞之后，要如何處置這些內(nèi)容。

這里其實(shí)也牽涉對(duì)敏感詞的打標(biāo)，主要是設(shè)置敏感詞處置權(quán)重。

例如黃恐暴類的敏感詞，標(biāo)簽對(duì)應(yīng)的處置手段應(yīng)該是直接屏蔽+封號(hào)或者直接禁止發(fā)布。

例如疑似推廣微信號(hào)的標(biāo)簽，對(duì)應(yīng)的處置手段應(yīng)該是屏蔽+禁言，或者禁止發(fā)布。

例如命中了一些權(quán)重較弱的敏感詞或者敏感字，對(duì)應(yīng)的處置手段應(yīng)該是轉(zhuǎn)人工審核，再發(fā)布。

當(dāng)然這里只是舉幾個(gè)簡單的例子，敏感詞的應(yīng)用方法還有很多，不過這個(gè)方向是目前比較成熟的模式。

除卻敏感詞之外，小紅書的筆記中還含有大量的圖片類內(nèi)容，這些圖片類內(nèi)容目前主要的問題有2個(gè)。

第一個(gè)是黃恐暴類圖片，圖片本身有問題。

第二個(gè)是圖片本身沒問題，但是圖片里面的東西有問題，例如圖片里面就有VX：12345等字跡或者水印。

對(duì)于前者，建議直接購買現(xiàn)成的圖片識(shí)別服務(wù)，阿里騰訊都有成熟的服務(wù)。

對(duì)于后者，可以使用OCR把圖片轉(zhuǎn)成文字，然后使用敏感詞策略來進(jìn)行處理。

以上是對(duì)于內(nèi)容本身的風(fēng)控思路，需要注意的是，這個(gè)需要投入大量的資源，尤其是人工審核資源，今日頭條就有數(shù)千人專門做內(nèi)容審核，對(duì)于內(nèi)容電商來說，這個(gè)不能省。

而且內(nèi)容攻防應(yīng)該是動(dòng)態(tài)的，不存在一勞永逸的事情，需要做好持久戰(zhàn)的準(zhǔn)備，漢語就是這么博大精深。

內(nèi)容風(fēng)控很重要，但其實(shí)只是表層，而且永遠(yuǎn)難以做到窮舉，真的一刀切下去，會(huì)誤傷大量的正常用戶，這對(duì)于用戶體驗(yàn)和公司的商業(yè)價(jià)值而言都是損失。

比內(nèi)容風(fēng)控更重要的，是底層風(fēng)控，從用戶注冊(cè)到發(fā)生第一次行為（例如發(fā)布筆記或者給某個(gè)筆記點(diǎn)贊或者評(píng)論或者分享），都需要做更深入的風(fēng)險(xiǎn)管理。

除了要管別人發(fā)了什么內(nèi)容，同樣還要管是哪些【人】發(fā)了這些內(nèi)容。

通過敏感詞體系，可以對(duì)大量的內(nèi)容筆記來進(jìn)行標(biāo)簽，分類出正常筆記，可疑筆記，搗亂筆記，沙雕筆記等等等等等，這些統(tǒng)稱為Y。

風(fēng)控策略的基礎(chǔ)邏輯是F（x）=Y，X是指特征，F(xiàn)是指算法or策略，Y是指效果。

當(dāng)你有了Y之后，就等于知道了答案。

然后去找這些異常的筆記，都是誰發(fā)布的，這些發(fā)布的賬號(hào)的特征（X）是什么。

一般常見的賬號(hào)特征有數(shù)百個(gè)維度，例如注冊(cè)時(shí)間，年齡，性別，發(fā)布時(shí)間，常用標(biāo)簽，ip地址，設(shè)備號(hào)（imac，imei，device id），手機(jī)號(hào)，性別，歸屬地，APP來源（華為市場(chǎng)，小米市場(chǎng)，APP Store），登錄模式（APP，小程序，H5），手機(jī)型號(hào)，GPS地址，LBS區(qū)域，用戶注冊(cè)來源（自來水，A活動(dòng)推廣，市場(chǎng)投放轉(zhuǎn)化，CPA），歷史行為（點(diǎn)贊數(shù)，關(guān)注人），瀏覽行為，等等等等等，這些信息有的來自于APP埋點(diǎn)，有的來自于依據(jù)原有特征推算出的衍生特征。

特征工程是風(fēng)控的核心之一，重要性不亞于策略應(yīng)用，好的數(shù)據(jù)是一切的基礎(chǔ)。

通過敏感詞找到Y(jié)，然后利用Y來反推命中的X，然后得出應(yīng)用策略-F。

案例1，假如小紅書發(fā)現(xiàn)某個(gè)整容類的異常筆記，大部分發(fā)布者和點(diǎn)贊者的IP都是相同的或者都是同一個(gè)號(hào)段的，那么完全可以設(shè)置策略屏蔽這個(gè)IP段發(fā)這個(gè)類型的筆記。

案例2，假如小紅書發(fā)現(xiàn)某些有問題的筆記，都指向同一個(gè)微信號(hào)，那么就把發(fā)布過這個(gè)微信號(hào)的賬號(hào)全都封了，連誤殺都沒有。

案例3，假如小紅書發(fā)現(xiàn)某些有問題的筆記，大部分發(fā)布者和點(diǎn)贊者都是24小時(shí)內(nèi)注冊(cè)的，那么完全可以設(shè)置注冊(cè)時(shí)間XXX時(shí)間內(nèi)，不允許在XX領(lǐng)域發(fā)筆記。

類似的規(guī)則，在成熟的平臺(tái)治理中，會(huì)有數(shù)十萬條，我做過設(shè)計(jì)和維護(hù)。

這一切的規(guī)則，都要做成動(dòng)態(tài)可配置的，做成決策引擎的模式，風(fēng)控只需要拖拉拽這些標(biāo)簽，然后自己寫比對(duì)符和閾值，再配置處置手段，就可以生效。

例如一條規(guī)則，禁止注冊(cè)時(shí)間在24小時(shí)內(nèi)的女性用戶發(fā)布比基尼筆記。

拆解起來就是。

注冊(cè)時(shí)間<24小時(shí)，

且 性別標(biāo)簽=女，

且筆記標(biāo)簽=比基尼

則，禁止發(fā)布，

且，彈出文案【半佛仙人你別比比了】。

把這些做成是否的標(biāo)簽，可以自由配置，快速上線。

夾雜敏感詞策略和決策引擎中間，還應(yīng)該有一層基于【賬戶】維度的用戶關(guān)系網(wǎng)絡(luò)以及實(shí)時(shí)監(jiān)控和干預(yù)機(jī)制，用圖挖掘來做。

所謂關(guān)系網(wǎng)絡(luò)，是指不同賬戶間的關(guān)系，由點(diǎn)和線組成。

例如A賬戶給B賬戶的筆記點(diǎn)贊或者評(píng)價(jià)，就會(huì)形成一條關(guān)系。

反應(yīng)在網(wǎng)絡(luò)中就是A點(diǎn)和B點(diǎn)之間出現(xiàn)了一條關(guān)系線（A點(diǎn)贊/評(píng)論B）。

再例如A賬戶和C賬戶同時(shí)給B賬戶的筆記點(diǎn)贊或者評(píng)價(jià)，就會(huì)形成多條關(guān)系線。

反應(yīng)在網(wǎng)絡(luò)中就是A點(diǎn)到B點(diǎn)（點(diǎn)贊串聯(lián)），C點(diǎn)到B點(diǎn)（點(diǎn)贊串聯(lián)），A點(diǎn)到C點(diǎn)（都給B點(diǎn)過贊）。

關(guān)系網(wǎng)絡(luò)，是對(duì)于批量作弊賬戶的大殺器。

在實(shí)際業(yè)務(wù)中，通過設(shè)置點(diǎn)和線的規(guī)則，可以有效攔截批量異常行為。

例如在同一個(gè)時(shí)間，出現(xiàn)了大量有關(guān)聯(lián)的賬戶（相同IP，相同操作頻率，相同GPS等），與某幾個(gè)筆記或者賬戶出現(xiàn)了可疑關(guān)聯(lián)（批量點(diǎn)贊），就可以進(jìn)行攔截。

例如在近10分鐘內(nèi)，整個(gè)的流量池出現(xiàn)了波動(dòng)異常（分均用戶點(diǎn)贊數(shù)超過了平均值XX倍），則可以觸發(fā)警報(bào)，把溢出流量關(guān)聯(lián)的內(nèi)容進(jìn)行屏蔽等等等。

關(guān)系網(wǎng)絡(luò)更多是橫向的對(duì)比以及大盤的監(jiān)控，涉及賬戶管控，不僅要看橫向，更要看縱向。

所謂橫向，是指同一個(gè)時(shí)間里，賬戶A和賬戶BCDEF是否有相同的行為或者異常的關(guān)聯(lián)，所有人放在一起來比不同。

所謂縱向，是指同一個(gè)賬戶，在不同的時(shí)間里，進(jìn)行了怎樣的操作。

例如A賬戶，過去六個(gè)月都是給一些正常的筆記點(diǎn)贊，瀏覽和評(píng)論都很正常，但是近3天，在密集的跟一些異常的筆記產(chǎn)生互動(dòng)和分享。

這就是賬戶出現(xiàn)了問題，與之前的操作不同，需要對(duì)賬戶發(fā)出警告，要么屏蔽功能，要么要求實(shí)名。

橫向是用其他用戶的特征比對(duì)一個(gè)用戶，縱向是指用戶過去的特征比對(duì)當(dāng)前的行為。

縱橫之術(shù)是對(duì)抗黑產(chǎn)養(yǎng)號(hào)與批量作弊的屠龍術(shù)。

敏感詞策略和決策引擎外，還需要做的是賬戶準(zhǔn)入和APP加固。

所謂賬戶準(zhǔn)入體系，是指在用戶注冊(cè)階段就攔截掉大量黑產(chǎn)用戶。

大量發(fā)布垃圾筆記和違禁筆記的賬號(hào)，往往都是接碼平臺(tái)批量注冊(cè)了，不是很多人想到一堆人拿著幾百個(gè)手機(jī)在操作，微商很賺錢的好嗎，不會(huì)干這種low事。

這就代表著，這些注冊(cè)手機(jī)號(hào)本身，就有足夠多的問題，因?yàn)楹诋a(chǎn)們拿手機(jī)號(hào)也有成本，往往會(huì)多次利用。

這個(gè)手機(jī)號(hào)在小紅書耍流氓之前，可能已經(jīng)在其他平臺(tái)被教育過了。

一般在注冊(cè)階段，建議對(duì)手機(jī)號(hào)加一層準(zhǔn)入規(guī)則，常規(guī)的手段是禁止小號(hào)和虛擬號(hào)注冊(cè)，進(jìn)一步的手段就是采購阿里云和騰訊天御的注冊(cè)反欺詐評(píng)分，輸入一個(gè)手機(jī)號(hào)+注冊(cè)IP，可以返給一個(gè)評(píng)分，分?jǐn)?shù)高于XXX分的時(shí)候，拒絕用戶注冊(cè)，或者強(qiáng)制要求實(shí)名（人臉或者銀行卡）。

阿里有最全的電商黑產(chǎn)庫，騰訊有最全的社交黑產(chǎn)庫，網(wǎng)易有最全的游戲黑產(chǎn)庫，都是T+0實(shí)時(shí)更新的，土豪一些的公司可以都用，其他自便。

反正只要風(fēng)控能根據(jù)異常筆記抓到注冊(cè)賬戶手機(jī)號(hào)就行，拿這些去測(cè)各家的數(shù)據(jù)準(zhǔn)確度與誤殺率，并不困難。

這個(gè)操作在業(yè)內(nèi)叫做加盾，有這一層盾，基本上可以擋掉市場(chǎng)上9成5的黑產(chǎn)，大多數(shù)黑產(chǎn)是沒有能力繞盾的，因?yàn)橘Y金不夠雄厚，手機(jī)卡更新速度上不去。

賬戶準(zhǔn)入體系外，還需要的就是APP加固。

所謂APP加固，是指對(duì)于APP本身的代碼，接口做封裝和動(dòng)態(tài)加密，攔截接口直接寫入內(nèi)容，代碼破解，沙盒，GPS更改等一系列攻擊行為，簡單理解為是反外掛也可以。

很多APP對(duì)于用戶的錄入內(nèi)容其實(shí)都是有限制的，很多APP甚至不允許用戶錄入內(nèi)容，只能選擇幾個(gè)特定的標(biāo)簽。

但是黑產(chǎn)在進(jìn)行違規(guī)內(nèi)容滲透的時(shí)候，往往不是手動(dòng)填寫的，而是直接反編譯本地APP代碼，攔截接口的動(dòng)態(tài)信息，然后調(diào)用接口錄入。

例如正常人肯定打不出一些特殊符號(hào)，但是通過接口用機(jī)器寫入，想寫什么，就寫什么。

小紅書社區(qū)中的大量明晃晃的違規(guī)內(nèi)容，很有可能是由于接口被攻破，遭遇大量的機(jī)器寫入，這個(gè)在黑產(chǎn)攻防中很常見。

通過機(jī)器大量灌入垃圾內(nèi)容導(dǎo)致競(jìng)爭對(duì)手出現(xiàn)問題，在業(yè)內(nèi)并不稀奇。

所以在賬號(hào)準(zhǔn)入外，也要主要APP本身的加固措施。

敏感詞過濾，決策引擎，加盾，APP加固，這4套都做好（需要坐很久很久，這是一個(gè)很大的工程），是不是就高枕無憂了？

不是的，作為內(nèi)容社區(qū)，小紅書還需要更重要的一套機(jī)制，就是用戶內(nèi)容舉報(bào)機(jī)制。

只靠小紅書自己，累死他們也不可能擋掉一切的垃圾內(nèi)容，而且使用策略也好，規(guī)則也好，閾值設(shè)置比較寬松的話，總有漏網(wǎng)之魚。

閾值設(shè)置過于嚴(yán)格的話，總會(huì)有被誤殺的用戶，被誤殺的用戶還會(huì)去各個(gè)論壇和網(wǎng)絡(luò)媒體發(fā)聲，去譴責(zé)小紅書。

在這個(gè)好事不出門，壞事傳千里的年代，這種負(fù)面信息對(duì)于小紅書也是一種傷害。

而小紅書最大的特點(diǎn)就是用戶自發(fā)的參與度高，所以一套完善的用戶舉報(bào)機(jī)制是非常高效的平臺(tái)行為。

這套機(jī)制不是加一個(gè)所謂的按鈕點(diǎn)擊這么簡單，用戶看到的可能就是一個(gè)舉報(bào)按鈕。

但小紅書需要做的是針對(duì)整個(gè)舉報(bào)設(shè)計(jì)完整的SOP（標(biāo)準(zhǔn)作業(yè)流程），如何判定舉報(bào)是否有效，不同舉報(bào)內(nèi)容的確認(rèn)標(biāo)準(zhǔn)以及處罰標(biāo)準(zhǔn)，舉報(bào)應(yīng)在什么時(shí)間內(nèi)生效，應(yīng)該給與舉報(bào)用戶怎樣的獎(jiǎng)勵(lì)與支持增加積極性等等等等，這也是一個(gè)浩大的工程。

但對(duì)于內(nèi)容社區(qū)而言，用戶自發(fā)舉報(bào)是非常好用的東西。