在不斷發展的 AI 領域，像 ChatGPT 這樣的大型語言模型（LLM）一直走在最前端，徹底改變了自然語言處理領域。這些 LLM 模型透過預訓練，處理各種任務的能力而聞名，但隨著這項技術能力的不斷突破，一個關鍵問題出現了：驅動這些以文本為中心的演算原理，能否有效地轉移到視覺感知領域？

蘋果創新之舉

蘋果（Apple）研究團隊最近發表的論文，提出了自我回歸預訓練視覺模型（Autoregressive Image Models, AIM）這個模型概念。AIM是從GPT-3等大型語言模型（LLM）的成功中汲取靈感，這些語言模型由Transformer架構提供支援，根據大量資料的輸入，來預測和生成內容，完成自然語言處理任務。AIM將這種學習模式擴展到視覺領域。

AIM模型體現了縮放定律的特徵，這是LLM的基礎概念，它認為隨著模型規模和資料量的增加，模型的表現也會增加。與語言模型類似，AIM依賴自回歸預測法，這種方法使AIM能夠生成高品質的圖片，改善了以往在AI生成視覺內容所沒有的理解程度和連貫性。

藉由源自於語言模型的自回歸概念，AIM有可能徹底改變各個領域，從電腦視覺和影像處理到內容創作等等。它為更先進的圖片辨識和分析打開了大門，使AI系統能夠以更高的準確性和細微差別來理解和解釋視覺上的圖檔資料。

AIM 模型針對影片與圖像的突破

AIM模型核心在於，其對自身注意力（Self-Attention）機制的獨特處理。自身注意力使AIM能夠在考慮不同部分的關係時，專注於圖像特定區域，使其能夠同時捕捉複雜的細節、模式和前後文關係。AIM的自身注意力機制不僅限於空間關係，還擴展到時間方面。這意味著AIM不僅可以理解圖像中的靜態元素，還可以理解隨著時間發生的動態變化。這種時間上的自身注意力對於影片分析等任務來說是一個創新突破。

另一個使AIM與眾不同的關鍵技術方面是其參數化預測頭（Parameterized Prediction Heads）。模型的這些預測頭負責在自回歸框架內生成預測。AIM採用了一套複雜的預測頭集合，每個預測頭都專門處理圖像生成的特定方面，如顏色、紋理和語言意義。使用參數化預測頭，使AIM在圖像生成方面展現了精確度，每個預測頭各自為最終圖像貢獻了自己的預測，從而產生高度真實和前後文準確連結的視覺輸出成果。

AIM的一項顯著成就是，它在一個驚人的20億圖像資料集上進行了廣泛的預訓練。這個龐大的資料集為AIM提供了在廣泛的前後文中，對視覺模式、風格和語義的理解程度。訓練資料的龐大規模，使AIM能夠有效地泛化到廣泛的視覺任務。

做為對其能力的驗證，AIM在ImageNet-1k測試中表現出了驚人的準確性。這個測試評估了AI模型將圖像分類為1,000個不同類別的能力。AIM在該測試中的表現展示了其在視覺辨識和分類方面的強大能力。

AIM 模型可能顛覆 AI 發展格局

當我們深入研究視覺特徵訓練領域時，蘋果的AIM模型更加令人矚目。傳統上，訓練用於視覺任務的AI模型需要大量的資料集和廣泛的計算資源。然而，蘋果的方法更節約資源，對資料更敏感。該模型學習和適應較小資料集的能力，為希望利用視覺AI的開發人員和企業提供了一條更容易獲得和更具可持續的道路。

雖然蘋果一直以其消費科技產品而聞名，但它進軍AI領域象徵著一種轉變，可能會給各個行業帶來革命性的變化，尤其是在視覺特徵、辨識和影像處理領域。蘋果的AIM模型有可能顛覆AI發展的格局，尤其是在視覺辨識和影像處理領域。它在處理複雜視覺資料方面的效率可能會有助於醫療保健領域的重大進步，AI驅動的醫療影像可以提高疾病檢測的準確性。在汽車業，該模型的功能可以為更安全、更高效的自動駕駛汽車提供幫助，使其能夠在複雜的城市環境中行駛。

此外，這種創新可能會延伸到消費技術產品和服務領域。以使用者友好介面而聞名的蘋果設備可能會變得更加直觀，讓用戶以更自然、更身臨其境的方式與他們的設備互動。增強現實體驗，而模糊了數位世界和現實世界之間的界限。此外，增強的影像處理可能會帶來卓越的攝影和視訊功能，為智慧手機市場設定新的視覺影像標準。

隨著蘋果繼續完善其AIM模型並將其整合到其生態系統中，我們可以期待整個AI領域的連鎖反應。這種創新關乎塑造AI視覺開發的未來，重新定義我們與周圍視覺世界互動的方式。

（首圖來源：shutterstock）

延伸閱讀：