習近平總書記強調，扎實推動科技創新和產業創新深度融合，要瞄準未來科技和產業發展制高點，加快新一代信息技術、人工智能、量子科技、生物科技、新能源、新材料等領域科技創新，培育發展新興產業和未來產業。作為人工智能發展的重要方向和驅動力，生成式人工智能已展現出對經濟社會發展的強勁推動力，我們需積極推動其在各領域的落地應用，并對其帶來的一系列問題和現實挑戰加以審慎應對，推動負責任的生成式人工智能發展。
激發生成式人工智能的創新活力與應用潛力
曾大軍
習近平總書記強調，“科技創新是發展新質生產力的核心要素”，“要以科技創新推動產業創新，特別是以顛覆性技術和前沿技術催生新產業、新模式、新動能，發展新質生產力”。利用前沿科技培育和推動新質生產力發展，是建設現代化產業體系、推進高質量發展、提升國際競爭力的重要內容和必然要求。
生成式人工智能是發展新質生產力的重要驅動力。以大模型為代表的生成式人工智能技術，通過在技術上集成多年積累的深度學習模型與訓練算法，依靠大算力，充分利用海量多模態數據，實現了從特定任務處理到跨領域通用的人工智能系統能力的飛躍，在語言理解、圖像識別、語音識別、內容創作等多個領域展現了強大的能力和廣闊的應用前景。大模型具有豐富的常識，擁有強大的通用任務解決能力、較好的工具使用能力、卓越的人機交互能力以及出色的指令遵循能力，這些優勢使大模型能夠顯著提升應用效率，輔助產業實現數智化轉型，從而帶來巨大的經濟效益。
近兩年我國生成式人工智能取得了顯著進展，技術路徑基本探明，應用路徑逐漸明確，產業化應用落地廣泛。目前國產大模型數量已達數百個，涵蓋金融、醫療、教育等多個行業，成為賦能千行百業的新抓手和支撐產業創新的新支柱。生成式人工智能的發展與應用趨勢日益明朗。
生成式人工智能不僅是一種新技術，更代表著生產應用的新范式，能夠催生新產業和新業態。大模型的學習模式類似人類大腦的處理機制，基于一個通用底座，通過學習不同的數據，能夠形成多樣化的能力，而無須針對特定任務開發定制算法。通過自然的人機交互，用戶可直接通過對話生成應用程序，用戶就是程序員，數據和場景本身就是軟件應用。這一突破改變了軟件開發范式，使軟件開發由代碼驅動向語言描述驅動轉變，在需求分析、代碼編寫、測試、部署等軟件開發的各個流程，都顯著降低了技術門檻、提高了開發效率。這種新范式同時也給軟件系統的建設和應用帶來了新模式，使各行業的體系變革和生態發展都有了新邏輯和新路徑，促使新的產品、服務和商業模式不斷涌現。新興產業的形成和發展，將引領產業變革，成為新質生產力培育和發展的主陣地。
生成式人工智能能夠推動傳統產業深度轉型升級，為實體經濟發展注入新動能。通過將大模型應用于各個領域，可實現各行業的降本增效，提升產業自動化水平，助力企業的智能化升級，促使實體經濟再上新臺階。在工業制造領域，生成式人工智能可輔助實現研發設計的自動化，為生產制造提供智能化的解決方案，通過預測需求、制定生產計劃助力經營管理，并提供故障預測、健康管理等運維服務。在教育領域，可為師生提供智慧教育產品，實現個性化的因材施教。在醫療領域，可輔助診斷，成為醫生的診療助理和患者的健康助手。在金融領域，可為金融機構提供智能客服、智能風控、智慧營銷等服務，為客戶提升服務體驗。據有關預測，2035年生成式人工智能有望為全球貢獻近90萬億元的經濟價值，其中我國將突破30萬億元，且對我國經濟的賦能效應顯著優于美國等其他經濟體。生成式人工智能與實體經濟的深度融合，將打造“人工智能+”千行百業的產業新格局，形成現代化、智能化的產業體系，促進由傳統生產力向新質生產力的轉型。
生成式人工智能帶來的安全風險和治理挑戰不容忽視。由于大模型自身結構和生成機制存在漏洞，有被惡意攻擊的風險，同時大模型自身的知識表達和學習模式還存在缺陷，經常出現常識性錯誤、杜撰內容等“幻覺”。
為此，應建立針對大模型全生命周期的安全監管與治理體系，從數據安全、模型安全、內容安全、倫理安全等多個角度，保障大模型研發和應用安全可信。一方面，需制定技術標準，強化過程控制。建立嚴格的數據采集、存儲和處理規范，確保數據來源合法可靠，同時保障數據隱私。對大模型進行安全攻擊檢測，提升其對惡意攻擊的抵抗能力，并及時發現和修復安全漏洞。另一方面，系統推進大模型監管體系建設，制定和完善相關法律法規。強化內容審核和過濾機制，識別并過濾生成的虛假信息、惡意內容和違法信息。明確倫理規范，建立倫理審查機制，確保人工智能發展遵循人類道德和價值觀。通過建立全流程的安全保障體系，降低生成式人工智能的安全風險，推動技術的安全、可持續發展。
同時，為充分發揮大模型的帶動作用，必須確保大模型的健康合理應用。然而，當前在大模型應用上仍存在一定誤區。一是將生成式人工智能“工具化”，僅將其視為生成文案的辦公工具。這種應用方式大大限制了生成式人工智能的潛力。大模型不僅可以用于文案生成，還能夠在數據分析、決策支持、輔助管理等多個重要環節發揮作用，其應用價值遠超辦公自動化。二是將生成式人工智能“神化”，誤將其視作萬能助手。雖然大模型具備強大的通用能力，但在專業領域的賦能往往依賴專業知識，通用大模型難以滿足需求，只有與根據專業領域的知識和需求定制專用模型相結合，才能實現更為精準和有效的支持。
樹立立體思維，保障應用健康發展。著力促進各類大模型之間、人與機器之間的靈活配合與協同進化，充分激發大模型的創新活力與應用潛力，最大化釋放大模型的應用價值。
一是形成各類大模型各司其職、共同發展的創新生態。大模型可分為三類：底座大模型、領域大模型和任務大模型。底座大模型通過在大規模無標注數據上進行訓練，學習人類常識，能夠形成舉一反三的強大泛化能力，具有基礎的通用功能，相當于完成了人類的通識教育。底座大模型可看作智能時代的基礎設施，方便更多開發者在其基礎上做進一步開發，從而促進大模型的普及和應用，加速構建更加活躍多元的技術生態系統。相比通用的底座大模型，領域大模型和任務大模型則更為專用。領域大模型專注于特定行業或領域的知識，通常基于領域相關專業數據進行預訓練或微調，相當于完成了專業教育，成為領域“專家”。任務大模型針對具體任務進行微調和優化，以提升其在具體任務上的效果。應引導各類模型共同發展，培育多元化的創新生態。在實際應用中，應根據場景選擇相應的模型，充分發揮各類模型的優勢，從而更好地滿足多樣化需求，實現最佳的應用效果。
二是形成大模型通專結合、高效協同的創新體系。通用大模型與專業大模型各有優勢，它們之間的關系應辯證看待。通用大模型作為跨領域的通用平臺，能夠提供廣泛適用的解決方案，滿足不同用戶的基本需求，具有適用范圍廣、靈活性強等優勢。在依賴常識的通用場景，如主要面向公眾的消費型業務和虛擬互聯網應用等，能夠發揮不可替代的作用。專用大模型專注于特定領域，通過深耕行業的專業知識，發揮領域縱深優勢，提供針對特定業務場景的高質量解決方案，具有專業精度高、定制性強等特點。在實體經濟、工業應用等更依賴專業知識的場景中，能夠提供更加精準有效的支持。因此，應鼓勵兩類模型協同發展，支持互聯網頭部企業研發通用大模型，增強大模型的綜合能力，同時支持各行業發揮行業優勢，在通用大模型的基礎上深耕專用模型，形成通專協同的創新體系。在實際應用中，通過實現兩類模型的協同合作，使其充分發揮各自的優勢，提高整體應用效果。
三是形成人機融合、混合增強的創新機制。大模型自然流暢的人機交互能力，顛覆了傳統的人機交互范式，大幅提高了人機協同的效率和靈活性。為實現基于大模型的人機高效協同，需從業務體系層面進行系統性的重構。首先應明確界定大模型、人類和專家各自的職責范圍，統籌發揮各自的優勢。大模型在系統設計中應擔任自動化任務者的核心角色，充分發揮其能夠快速處理大量信息、高效執行重復性任務的優勢，顯著提升系統的整體運行效率；人類應發揮創造力強、決策能力強的優勢，對系統起到整體設計和引導的作用；對于需要深入理解和判斷的任務，例如復雜情境中的任務或非標準問題，需由經驗豐富的專家團隊來主導，確保決策的科學性和有效性。其次應面向實際需求，設計人機協同工作流，建立有效的人機溝通機制和協作策略，確保人機能夠高效合作。通過形成人機協同的創新機制，不斷優化資源配置，提升系統的靈活性，實現更高效的系統性能，用人機融合新機制促進新質生產力的發展。
（作者系中國科學院科技基礎能力局副局長、自動化研究所副所長）
推動負責任的人工智能發展
胡明艷
當前，生成式人工智能作為人工智能技術發展的最新進展，依托大量豐富的數據和預訓練的深度學習算法，比以往的人工智能具有更加強大、泛化的自然語言理解能力和內容生成能力，能夠應對不同場景的使用并為多個行業提供應用支撐。
由于生成式人工智能的強大性能和通用性，針對不同領域、場景的定制化生成式人工智能將具有廣闊的市場需求，相關產業發展前景廣闊，因而有望成為智能化世界的基礎設施，推動智能產業的發展。通過與相關產業融合，生成式人工智能將以智能賦能產業，深挖行業潛力、拓寬發展空間，推動產業智能化發展、引導傳統產業轉型升級，從而作為底層技術賦能千行百業。同時，生成式人工智能還將改變甚至塑造出新的生活習慣和消費方式。生成式人工智能使信息檢索更加高效便捷，使商品信息、商家差異更加透明，這將導致企業更加注重產品質量與行業規范，倒逼產業升級。生成式人工智能在編輯、編程、翻譯等方面也將減少繁雜的基礎工作，給人們帶來更多的休閑時間，間接創造新的消費需求和市場。另外，生成式人工智能將推動科研范式的變革。生成式人工智能在文獻數據獲取、結果分析等方面的應用將助推科學研究的知識模型快速生成和優化迭代，其在結構預測上的卓越性能可能會在藥物研發、新材料研究上引發根本性變革。
但是，科學技術是一把“雙刃劍”，生成式人工智能在帶來諸多機遇的同時也會帶來許多隱患。由于生成過程的復雜性，生成式人工智能的算法超越了工程師和用戶的理解范疇，產生“算法黑箱”。而且人工智能呈現出的對文本、圖像的掌握只是基于要素之間的相關性，并不真正了解對象的本質和因果聯系，其生成的內容可能是在“一本正經地胡說八道”。若生成式人工智能產生的虛假信息被濫用，會給網絡安全和國家安全帶來嚴重后果。同時，生成式人工智能所依賴的算法設計和數據輸入都蘊含了設計者的價值偏好，其輸出內容也附著了價值觀念甚至歧視偏見，也會存在被誘導輸出虛假內容和有害信息的風險，引發算法歧視、學術不端等倫理風險。此外，數據來源和生成物可能引發知識產權糾紛。生成式人工智能的研發需要極大體量的數據進行訓練，這讓其數據來源的版權合法性難以得到保證，其生成物的版權分配也難以界定。大數據是生成式人工智能實現突破的重要基礎，但是過度挖掘數據又將侵犯用戶個人隱私，給用戶帶來困擾。
對于生成式人工智能這一新生事物，我們應對其持鼓勵與包容的態度，但不能任其無序發展，必須推動負責任的人工智能發展。一是以技術規范技術。通過強化數據安全、隱私保護等技術的研發，加強對人工智能算法與模型的可溯源研究和審查評估研究，運用技術手段反制和鑒別人工智能所生成的內容。同時，積極探索生成式人工智能的問責機制與行為規范，努力打造安全可信的人工智能。二是以政策法規保障技術健康有序發展。及時規范相關技術與產品的合理準入范圍和應用邊界，營造良好的發展環境。2023年，我國發布了《生成式人工智能服務管理暫行辦法》，提出了包容審慎和分級分類監管等辦法，為生成式人工智能在各領域的應用指明了健康規范的發展方向。2024年，我國又發布了《生成式人工智能服務安全基本要求》，進一步規定了生成式人工智能服務在安全方面的基本要求。這些政策法規有助于保障人工智能發展與安全并重、促進創新與依法治理相結合，必須切實推進實施。三是以倫理規范貫穿技術研發全過程。科技倫理是開展科學研究、技術開發等科技活動需要遵循的價值理念和行為規范，是促進科技事業健康發展的重要保障。生成式人工智能技術的發展需要遵循倫理先行、敏捷治理的要求，將科技倫理貫穿其科研開發應用全過程，加強倫理風險預警與跟蹤研判，及時動態調整治理方式和倫理規范，以實現負責任的創新。
生成式人工智能的技術局限和倫理風險
吳文峻
自ChatGPT面世以來，生成式人工智能成為人工智能領域發展的熱點。生成式人工智能技術的基本形態，是采用海量數據來訓練人工智能大模型，使其學會人類的語言文本和圖像視頻的統計模式后，能夠在用戶給出提示指令后，自動地生成所需的數字內容。與傳統人工智能局限于分類、識別等特定功能相比，生成式人工智能更關注創造性內容的生成，展現出前所未有的文字對話、文檔撰稿、代碼編寫、圖片創意、語音合成和視頻生成等多樣性的能力。
生成式人工智能技術綜合了60多年來人工智能的研究成果，特別是最近10年來深度學習的技術突破。首先，能夠從海量的語料數據中學習人類知識，熟記文本、語音、圖像、視頻等內在規律與統計模式，自動生成用戶所需的新文本、圖片、聲音和視頻。其次，實現了大模型的基于大量數據的訓練學習通用特征與在特定任務上進行微調以優化性能的學習模式，并能夠接受人類反饋進一步強化學習。不但可以記憶通用的人類知識，還可以持續學習專業的知識與技能，并在人類的獎勵指導下，輸出符合人類道德和法律約束的內容。最后，具備多模態數據的融合機制，動態融合文本、語音、圖像、視頻等數據，不僅能夠生成更為豐富多樣的數字內容，而且通過語音、手勢、面部表情等的識別，支撐實現AI像人一樣與人類交流互動。總之，生成式人工智能已經展現出了多模態、通用化的認知和交互智能，表現出“由專到通”的強大能力，在自動化文檔生成、自動化編程、智能客戶服務、供應鏈管理、產品研發、智慧教育和智慧醫療等多個領域展現出極大優勢，因而成為諸多領域的熱門應用。
雖然這兩三年來生成式人工智能展現出了前所未有的認知和多模態交互能力，但是其內在局限日益凸顯，如何繼續深入推進生成式人工智能技術發展，使之能夠真正廣泛落地應用，成為人們關注的焦點。
首先，生成式人工智能所依賴的大模型在精準的認知理解和邏輯推理方面存在明顯局限。一方面，由于大模型的幻覺現象問題，容易輸出事實性錯誤的內容。另一方面，大模型的內容生成本質上屬于概率統計性的詞匯預測，所以它無法像人類一樣完成長鏈條的動態邏輯推理。這兩個方面的問題意味著很難將生成式人工智能直接嵌入實際業務。因此，如何面向落地場景的需要，消除生成式人工智能的認知幻覺，提升或彌補其邏輯推理能力就成為其進一步發展的關鍵問題。
其次，生成式人工智能面臨著規模提升效益瓶頸。在大模型研發中，模型的性能提升和模型參數規模之間滿足冪律關系，即模型規模越大，輸入的訓練數據越多，模型預測能力就越強。因此，不少企業認為只要繼續擴大模型規模，就能夠在不遠的將來實現通用人工智能。但是，一方面，近5年來大模型的參數規模呈現指數級增強趨勢，對智能算力的需求與日俱增，最大模型GPT-4的參數規模已經到了萬億級別，需要上萬張GPU卡的集群進行數月的模型訓練和參數調優。而一些企業還在擴大GPU集群規模，正在投資建設10萬張GPU卡，乃至百萬張GPU卡的規模。構建和運行如此大規模的智算集群，需要克服集群供電和散熱等能耗難題。另一方面，高質量和高密度數據語料庫也將成為制約模型規模繼續擴大的因素。眾所周知，大模型的性能提升需要大量的高質量訓練語料，目前語料庫主要來自互聯網公共領域數據的匯集。有報告指出，預計到2028年大模型訓練將耗盡所有互聯網公共數據資源，大模型增長不可避免地遭遇數據危機。為此，需要面向垂直領域，深度挖掘私域數據，擴大高質量數據共享，以支撐大模型更好適應垂直領域的需求。
由此可見，如果生成式人工智能企圖單純以擴大模型規模來實現絕對通用的智能模型，無論是在技術上還是在經濟成本上，都不是可持續的技術路線。需要面向垂直領域的業務邏輯和落地場景，有針對性地在業務流程中發揮大模型的長處，彌補其不足，以通專結合的技術路線，實現大模型在產業上的廣泛落地與價值賦能。具體地說，就是瞄準領域的重點和難點需求，構造各種各樣的專業小模型，與基座大模型相結合，打造領域適配的專業智能體，實現生成式人工智能對現有系統的賦能與升級。
生成式人工智能的發展使得相關的倫理安全風險日益突出，大模型認知能力的涌現和內在缺陷給人工智能的社會治理帶來了更多挑戰。首先，基于大模型的生成式人工智能系統缺乏可靠的安全護欄，很容易因受到攻擊而輸出敏感信息或是價值觀錯誤的內容。由于大模型的“算法黑箱”特征，其功能與行為的可解釋性和透明性都是需要深入研究的難點問題。其次，生成式人工智能廣泛應用帶來的各類衍生風險層出不窮，最突出的是深度合成內容的治理問題。大模型生成的各類數字內容與人類創造的內容相比，很多時候已經到了真假難辨的程度，給網絡詐騙和虛假內容傳播等提供了新的技術手段。為此，急需系統地推行內容標識、水印驗證等，建立可行的AI內容溯源管理平臺，以確保健康的數字生態環境。最后，生成式人工智能研發與應用的敏捷治理將走向系統化和法治化。目前國內外都在積極制定生成式人工智能的法律法規制度，希望既有效地防范這一新興技術帶來的各類潛在和現實風險，又能夠促進和規范這一技術的健康發展。為此，分級化的敏捷治理成為當前研究的熱點，通過設置訓練算力閾值，把治理的重點放在超大規模神經網絡模型的研發和服務上，而對海量中小規模模型的研發活動采取簡便的敏捷治理模式，從而實現新技術發展進步和有效治理的平衡。
（作者系北京航空航天大學人工智能學院教授）
