https://www.techbang.com/posts/120608-openais-o1-cheat-modification-system-forcibly-defeats OpenAI 的 o1「作弊」修改系統,強行擊敗專業西洋棋 AI,全程無需提示 o1-preview 在與專用西洋棋引擎 Stockfish 比賽時,為了強行取得勝利,居然採用了入侵測試環境的卑劣手段。 而這一切都不需要任何對抗性提示。 根據 AI 安全研究公司 Palisade Research 的說法,只需告訴 o1 對手是強大的,就能觸發其透過操縱文件系統而強制取勝。 在五次測試中,這種觸發率甚至達到了 100%!這完全超乎研究人員預期。 AnthropicAI 的 Jan Leike 確信: 「為了確保未來的模型既安全又與人類對齊,我們需要可靠地區分假裝對齊的模型和真正對齊的模型。清晰展示對齊假裝現象是一個重要的里程碑!」
而目前 AI 行業仍然面臨著一個躲不開的重大難題:讓 AI 系統真正與人類的價值觀和需求對齊,而不仅仅是看起來對齊。 況且理解自主系統如何做出決策本來就尤其困難,而如何去定義「良好且無害」的任務目標和價值觀也是一個亟待解決的問題。 即使是像應對氣候變化這樣看似有益的目标,AI 系統也可能選擇有害的方法來實現這些目標——甚至可能得出令人驚悚的暴論,即認為消除人類才是最有效的解決方案。
https://www.techbang.com/posts/128045-gemini-lyria-3-ai-music-tips Gemini Lyria 3 怎麼用?官方公開 6 大技巧,創作專屬於你的 AI 音樂 文章目錄 Lyria 3 AI 音樂技巧一:透過文字下指令 Lyria 3 AI 音樂技巧二:上傳圖片或影片 Lyria 3 AI 音樂技巧三:定義流派與時代 Lyria 3 AI 音樂技巧四:添加樂器與人聲細節 Lyria 3 AI 音樂技巧五:歌詞生成方式 Lyria 3 AI 音樂技巧六:下載與分享
這些文獻證實,大陸防衛機構廣泛採用一種稱為模型蒸餾(Model Distillation)的技術,這種方法主要是利用強大AI系統產出的結果(Outputs)來訓練體積較小、功能專門化的模型, 使其不需依賴龐大的運算硬體就能直接在本地端裝置運行,路透社核實的軍方具體案例指出,駐紮於北京、專責軍事情報與網路戰的解放軍96941部隊(PLA Unit 96941), 曾發表論文描述因為第三方外部模型不適合處理國家涉密資訊,於是他們利用OpenAI的GPT-3.5模型來摘要敏感的軍用軟體原始程式碼,再以此摘要訓練出完全在軍網內部運行的國產模型, 除了文字處理,這類蒸餾模型已被大量轉化為實質部署用途,例如解放軍國防科技大學(National University of Defense Technology)透過蒸餾技術將影像處理模型極小化, 使其能直接部署在無人飛行載具上,讓無人機即使在通訊中斷的狀況下,也能自主分析即時影像並支援導航與目標鎖定決策
此外,在對西方開源大語言模型(Large Language Model,LLM)的直接改裝上,大陸軍方也採取行動,詹姆斯敦基金會的調查披露, 大陸軍事科學院(Academy of Military Sciences,AMS)等研究人員,直接違反Meta公司的開源授權使用限制(授權明文禁止用於軍事、戰爭或間諜), 以Meta釋出的開源大模型Llama-13B(包含130億個參數與1兆個符記的訓練語料庫)作為基礎底座,他們透過低秩適應(Low-Rank Adaptation,LoRA)等微調技術, 輸入包含軍事特定對話紀錄與專業領域的數據集,成功打造出專門用於開源情報(OSINT)、情勢分析與任務支援的軍用AI決策工具ChatBIT, 雖然大陸政府與地方單位積極補貼模型輕量化(Model Lightweighting)與邊緣計算(Edge Computing),希望能解決美方對先進晶片封鎖所帶來的運算資源限制, 但AI數據公司Sapien共同創辦人崔佛·科韋爾科(Trevor Koverko)等專家提醒,這些蒸餾或改裝的模型僅能繼承原系統的部分特定能力,無法真正完全複製前沿系統的廣泛智能, 本質上並未達到擺脫對西方核心前沿AI技術依賴的獨立境界
根據電子工程專輯(EE Times)的報導,在材料研發(Materials R&D)領域中,AI模型本身的精密程度早已不再是主要限制, 目前的類神經網路位能(Neural Network Potentials,NNPs)在計算化學平台上,已經能以快上數個數量級的速度, 達到與傳統密度泛函理論(Density Functional Theory,DFT)相媲美的精確度, 然而,麻省理工學院(MIT)的生成式AI分水嶺-商業中的AI現況(The GenAI Divide: State of AI in Business)研究指出,在分析300個部署案例並進行150位高階主管的面談後, 發現大約有95%的企業生成式AI試點專案沒有帶來任何可衡量的影響,最後只有約5%成功投入實際生產,研究明確證實,這種巨大的落差完全根源於執行策略與工作流程整合, 而非模型技術問題,導致許多先進的AI模擬工具在實驗室中常常處於低度利用的閒置狀態
EE Times專論進一步指出,材料研發導入AI時,組織面臨真正的技能短缺並非缺乏資料科學家,而是同時兼具數位技能與專業領域經驗(Domain Expertise)的跨領域稀缺人才, 如果團隊僅僅擁有數位技能,卻缺乏對材料物理與化學的實務理解,AI只會產生充滿自信的胡言亂語(Confident Nonsense),相反地,如果只有傳統的領域經驗, 科學家又無法觸及並運用數據,許多工業研發實驗室的一線科學家至今依然習慣延用傳統的工作流程,無法將高速的AI模擬與現有的實驗數據迴圈(Data loops)進行有效對接, 因此,最終能在競爭中勝出的組織,關鍵都在於看清這個限制,並選擇將投資聚焦在以人為本的部署策略與建立跨功能的信任,而不是盲目追加軟體投資
最後,在國防主權安全驅動下,西方國家正加速將關鍵運算移往太空以擺脫對地面網路的依賴,美國太空軍正透過國家安全太空發射(National Security Space Launch,NSSL)等採購框架, 積極與民間創新企業簽約,打造具備自主網狀網路與軌道彈性的防衛架構,避免地緣政治衝突時地面接收站遭受實體摧毀或網路攻擊,這波由國防需求重塑的全球太空經濟採購趨勢