在地鐵里丟了一個包,AI能幫著找到嗎?
放在過去,這件事兒沒那么簡單。
傳統視覺AI通常有一套固定流程:你得先準備大量圖片、標注、訓練,告訴機器要識別什么,最后得到一個專門識別這類目標的模型,但誰也做不到提前就知道乘客丟的是什么東西。
那么,問題就來了,人不可能一開始就把所有東西都教給AI。
山東極視角科技股份有限公司聯合創始人、總裁陳碩舉了地鐵失物招領的例子。“大模型的好處,就是一些可能沒有見過的東西,通過語言描述,它也能做到識別。”陳碩說,這正是星際視覺語言大模型Stellaris-VL想解決的問題。
它不只是讓機器“看見”,而是讓機器開始理解人到底想讓它看到的各種目標。
把視覺和語言放到同一模型
過去十多年,機器視覺已經進入大量工業場景。工人有沒有戴安全帽、產品表面有沒有瑕疵、設備是不是冒煙,這類任務都已經不陌生。
但傳統視覺算法往往很“專一”。識別安全帽是一套模型,檢測某種產品缺陷又是一套模型,一旦目標換了、環境變了,往往需要重新準備數據、重新標注、重新訓練。真實的生產現場,卻不會永遠按照事先準備好的“題庫”出題。
地鐵施工中的“工器具出清”就是一個很典型的例子。施工人員進場前,要把人員、工具、設備擺好拍照。施工結束后,再拍一張,比對兩張照片看人是不是都出來了,工具是不是都帶走了。
但難點在于,工器具種類可能非常多,擺放方式、拍攝角度也一直變化。這不是簡單的“找不同”,因為機器需要知道照片里分別是什么,再理解兩張圖之間究竟少了什么。
于是,星際大模型把視覺和語言放在同一個模型中。極視角相關負責人介紹,基于十年AI積累和10億+真實場景數據集自主研發,其可以通過自然語言指令直接定義視覺任務,實現零樣本、少樣本理解,超過80%的視覺感知場景可以無需重新完成一輪標注和訓練。
過去是開發人員先把規則寫給AI,現在開始變成用戶直接告訴AI“幫我找什么”,比如“找出沒有戴安全帽的人”“看看施工前后少了哪些工具”。視覺AI從固定類別識別,往開放場景理解邁了一步。
大小模型可以一起工作
大模型出現以后,傳統的小模型并沒有因此“退休”。“大模型與小模型不是替代關系。”陳碩說。
工廠流水線上,如果只需要識別一種固定瑕疵,而且要求響應快、成本低,小模型仍然更合適。
大模型的優勢體現在另一類場景。比如一架無人機出去巡檢,沿途可能要同時尋找幾十種、上百種異常,總不能給一架無人機塞進去上百個獨立的小模型。這時候,一個能夠理解更多目標、應對陌生場景的視覺大模型,價值才真正體現出來。在極視角的方案里,往往是大小模型一起工作。
在某大型鋁業集團的生產現場,原料、蒸發、溶出、分解、焙燒等不同車間,已經有50多個場景應用了小模型算法和大模型。高頻、明確、要求快速響應的任務交給小模型,復雜場景、缺少歷史訓練數據的問題,再交給星際大模型。一個擅長“快和準”,一個負責補上“廣和懂”。
當然,大模型自己也在變輕。星際大模型4B版本處理1080P圖像,一般環境下推理延遲僅1秒出頭。原因并不復雜:真正到了機器人、無人機和邊緣設備上,參數不是越大越好,還得考慮算力、速度和部署成本。
產業現場最終看的,不是誰的模型“個頭最大”,而是誰真正裝得進去、跑得起來。
走向“理解一個場景”
視覺大模型還有一個很現實的問題:它靠什么不斷認識新的東西?
答案仍然是場景。
2021年,極視角把總部從省外遷到青島。陳碩介紹,一個重要原因,就是人工智能需要和大量實體場景結合,而山東工業體系完整,制造業、軌道交通等產業場景,為視覺AI提供了不斷遇到真實問題的機會。
對于視覺大模型來說,這些場景不只是市場,也是它繼續學習的地方。比如,工廠里一條幾公里長的輸送帶,過去出現堵塞、斷裂、冒煙以后,往往要靠人回看監控,而現在,視覺AI開始嘗試把事后追溯往事前、事中識別推進。
今天模型認識一個新的設備狀態,明天可能又會遇到一種從未見過的異常。問題不斷出現,數據不斷積累,模型不斷迭代。“大模型看起來很宏大,但真正落到產業里,其實都是由無數一線的小場景一點點積累出來的。”陳碩說。
這就是視覺大模型的成長方式,機器的眼睛,并不是訓練完成的那一天就算“睜開了”,它還要在無數個工廠、地鐵、礦山、城市里繼續看。看得越多,碰到的問題越多,才可能真正從“識別一個物體”,走向“理解一個場景”。
■記者手記
真正有用的AI“眼睛”
在于“讀懂”新題
□ 本報記者 蘇月鵬
采訪星際大模型時,記者一直覺得,“沒見過,也能識別”這件事,比參數更有意思,因為真實世界本來就不是一套固定題庫。
工廠會換設備,地鐵里每天有人丟不同的東西,生產線上也總會出現以前沒碰到過的小概率異常。
傳統視覺AI擅長把一道已知題做到很準。但大模型正在嘗試解決另一件事:題目變了,它還能不能繼續答?
這可能也是視覺垂域大模型真正的價值所在。所謂“垂”,不只是識別某一個行業里的更多物體,而是長期泡在真實場景里,理解這個行業怎么看問題、需要看什么、看到之后又該做什么。
山東擁有大量制造、軌交、礦山等產業場景,這些場景最大的價值,不只是給AI提供應用市場,更重要的在于它們每天都在給模型出新題。
一雙真正有用的AI“眼睛”,恰恰要在這些新題里,越看越懂。