2023年9月，習近平總書記首次提出“新質生產力”，為新時代科技創新和高質量發展提供了根本遵循和科學指引。同年12月，中央經濟工作會議明確提出，“要以科技創新推動產業創新，特別是以顛覆性技術和前沿技術催生新產業、新模式、新動能，發展新質生產力”。新質生產力就是代表新技術、創造新價值、適應新產業、重塑新動能的新型生產力，人工智能恰恰是新質生產力的重要組成部分?，F在，大模型正在驅動新一輪科技革命和產業變革，中國科技企業亟須“All in AI”（全方位人工智能），創新發展大模型技術，保證大模型安全向善可信可控，為現代化產業體系建設注入新動能。

大模型未來發展的“一個趨勢”

大模型的發展要順勢而為，在人人都能使用大模型的情況下，垂直化是大模型發展的一個重要趨勢。具體可以概括為六個方面的垂直化：一是行業深度化，在通用大模型的基礎之上做行業數據的訓練；二是企業個性化，做大模型要跟某個企業的內部知識緊密融合；三是能力專業化，一個模型解決一個專業領域的問題；四是規模小型化，企業專有模型用百億模型即可，訓練、調試、部署的成本都會大幅降低；五是部署分布化，將來大模型既可部署在云上，也可部署在終端；六是所有權私有化，企業大模型的所有權和控制權完全由企業所有。

也就是說，大模型要想真正賦能千行百業，就要找準剛需和痛點，重點發展專業化、垂直化、小型化、低成本的行業大模型和企業大模型，實現大模型的深度垂直定制。具體來說，就是以基礎大模型為底座，面向企業具體業務場景需求，通過數據篩選、模型訓練、精調、掛接內部系統和API（應用程序編程接口）、交付，最終形成一個或多個融合企業內部數據和知識、連接企業內部系統、滿足企業特定業務需求的專有模型。

大模型安全風險的“三個問題”

安全與發展是一體之兩翼、驅動之雙輪。作為新型數字化技術，大模型是一把“雙刃劍”，在帶來生產力提升、掀起新工業革命的同時，也帶來前所未有的安全新挑戰和新課題。大模型的安全風險可以簡單劃分為技術安全、內容安全、人類安全三個問題。

一是技術安全問題。它主要是以大模型技術自身引發的安全問題為主，如網絡安全、數據安全、生成內容安全。網絡安全主要指“漏洞”問題，數字化時代的典型特征之一便是“一切皆可編程”，由此帶來的后果則是“漏洞無處不在”，沒有攻不破的網絡，人工智能算法、模型、框架等都存在漏洞。另一個突出問題是大模型的算法安全，如特有的提示注入攻擊，就是通過設計問題，繞開大模型的安全規則限制。此外，大模型還存在“幻覺”和知識模糊的問題，經常會“一本正經的胡說八道”，并由此衍生出生成內容安全問題。這類“幻覺”問題一旦在企業級場景中出現則更為致命，因為大模型開的“藥方”、寫的法律文書完全無法讓人相信。

二是內容安全問題。目前，對大模型的控制、濫用、誤用和惡意應用日益迫近并已開始帶來惡劣影響。近年來，隨著AIGC（生成式人工智能）技術的成熟，我們可以明顯感知到，人工智能換臉、人工智能換聲等新型網絡詐騙手段逐漸肆虐，逼真程度讓人防不勝防。此外，大模型大幅降低了網絡攻擊的門檻，編寫惡意代碼、釣魚郵件、勒索軟件等不再是少數黑客的專利。最近，有外國網民發現，不論告訴ChatGPT怎樣一組打亂順序、不符合語法的單詞，它都可以通過這些提示詞，快速生成勒索軟件、鍵盤記錄器等惡意軟件，這是因為人類的大腦可以理解不符合語法的句子，人工智能同樣也可以。這些指令可以完美地繞過傳統的安全過濾器。

三是人類安全問題。這類問題主要是大模型的可控性。隨著“AI Agent”（人工智能體）等模式的成熟，大模型不僅能思考，還能通過調用企業內部的API、函數，使其長出“手和腳”，發展成操作能力。當大模型的參數足夠多，就像人類大腦中的一千萬億個神經元被一百萬億個神經網絡連接，最終出現了智慧涌現一樣。如果將來某一天大模型誕生了自主意識，很可能給人類生存安全帶來不可估量的風險。

目前，擔心人類安全挑戰可能為時尚早，但是對技術、內容的安全挑戰必須加以重視。安全和數據隱私保護是當前人工智能發展迫切需要解決的問題。

保障大模型安全的“四個原則”

當前，人工智能安全已成為全球性的重大前沿問題，經過大量的實踐和研究，360提出了大模型的安全四原則，即安全、向善、可信、可控。這四個原則既是構建原生安全大模型的宗旨，也是360自研大模型遵循的基本原則。

安全原則，核心是解決漏洞問題。一個典型人工智能系統由大量軟件組成，是一個復雜的生態鏈。以大模型系統為例，在構建和部署的過程中，除了本身的代碼外，經常會涉及代理框架、向量數據庫，以及基礎的機器學習框架、訓練管理平臺、優化加速框架等。一旦某個環節存在漏洞，就會直接影響人工智能應用和服務的安全。因此，保證大模型系統安全，降低網絡攻擊、數據泄露、個人隱私泄露風險，提升安全應對能力至關重要。360一直關注人工智能安全研究，涉及整個軟件生態鏈的安全，包括安全大腦框架，解決網絡攻擊、數據竊取、數據泄露等問題，并曾在多個大模型應用服務、代理框架、向量數據庫等發現漏洞，涉及Web類、邏輯類、內存類多種漏洞類型。

向善原則，就是要保證大模型不作惡。提升大模型應對提示注入攻擊能力，保證生成內容符合社會道德倫理和法律要求，避免大模型被用于生成違規內容、偽造圖片、偽造視頻、惡意代碼、釣魚郵件等，主要是保證大模型的輸出符合內容安全標準。解決方案可以采用“小模型監控大模型”，由風控引擎“把關”用戶端的輸入和模型端的輸出，將所有內容安全風險數據一網打盡。一方面，堅持能力向善，在輸入控制上，要保證大模型使用合法數據進行訓練，攔截各類提示注入攻擊，防范網絡層面和內容層面的有害輸入，防止安全過濾機制被輕易地繞過；另一方面，堅持內容向善，在輸出控制方面，對內容進行合法合規檢測和過濾，確保內容健康向善。

可信原則，針對的是大模型的“幻覺”問題。如何解決大模型“幻覺”問題，目前，業界在這方面還沒有取得實質性的技術突破。一個過渡性解決方案是：通過搜索增強和知識增強兩種方式，對大模型輸出的內容進行校正。搜索引擎在“事實保障”方面的準確性優勢能為大模型“糾偏”；企業內部的知識系統、知識圖譜等相對成熟的知識架構可被用來對大模型進行知識增強，以彌補大模型在預訓練階段的知識不足以及知識模糊，大幅降低大模型產生“幻覺”的概率。

可控原則，就是要把大模型“關在籠子里”。由于大模型不是萬能的，暫時還無法替代現有系統，所以，在策略上要堅持“副駕駛”模式，確保“人在回路”，大模型調用外部資源的規則由人制定，重要決策由人做出，并對大模型的行為做全過程監控審計，對Agent框架設置安全約束。例如，不能讓大模型接管郵件系統、自動收發郵件。同時，還要讓大模型與現有的系統和業務場景保持適當的隔離，不能直接把核心的API交給大模型，而是待時機成熟之后，才可讓大模型與內部系統對接，發展Agent模式，打造企業內部的智能中樞，自動執行完成復雜的指令，但必須要在安全上加以限制。簡而言之，一方面，把人的能力賦予大模型，讓大模型變得更強大，高效學習人類的工作流程和技巧；另一方面，要對大模型進行必要約束，規定大模型可以做什么、不可以做什么，并且對全過程進行管理，實現大模型的真正安全可控。

循道而行，方能致遠。360將繼續致力于大模型安全研究，以數字安全和人工智能大模型為雙主線業務，為大模型產業的平穩健康發展貢獻力量，為現代化產業體系建設打造新質生產力工具。