如果說2023年是大家公認的AI元年，那么2024年很可能就是AI大模型普及的關鍵一年。
在這一年裏，大量的AI大模型、大量的AI應用問世，Meta、Google等廠商也开始面向民衆推出自己的在线/本地大模型，似乎“AI人工智能”瞬間從一個遙不可及的概念，就這么突然來到了人們身邊。
現在大家在生活中多多少少都接觸過AI了，可如果你仔細分辨，你會發現，你所能接觸到的各種AI應用，他們幾乎都部署在“雲端”上。如果想要搭建一台本地運行大模型的設備，那起碼都是售價在5000元以上的全新AIPC，對於普通消費者來說似乎並不友好。
（圖源：Google）
不過將預算壓縮到極致，然後搭配出一套「能用」的主機，正是每一位DIY玩家的終極樂趣。而現在的問題是，如果真的想弄一台可以本地運行大語音模型的電腦，到底需要多少錢？
我的預算是——300元。
盡管近期正經的內存/存儲產品有價格上漲的趨勢，但是在洋垃圾這邊其實價格變化倒是不大，甚至一批早年的洋垃圾CPU和礦卡GPU還有價格下跌的趨勢。在如今AI大潮席卷而來的背景下，我甚至不准備拘泥於辦公影音需求，決定挑战一下用三百塊錢的預算，試着去打造出一套性價比頗高的入門級本地大模型主機。
至於具體應該怎么操作，最終成效是否如意，跟着我一起看下去自然就知道了。
經典的老CPU，礦工級的GPU
在CPU的選擇上，我直接從闲魚上撿了一顆Intel® Core™i3-4170T。
該處理器爲二核四线程，3.2GHz主頻，沒有睿頻能力，具備3MB智能緩存，採用22nm制程工藝的Haswell架構，最大的特點就是擁有一顆HD4400核顯，這也是我選擇它的關鍵。
（圖源：雷科技）
俗話說得好，低價U配低價板嘛，主板我選的就是一塊華碩工包H81M-V3主板，只有兩根DDR3內存插槽不說，甚至都沒有HDMI輸出接口，也沒有M2硬盤位，USB 3.0、SATA III接口都只有兩個，這玩意最大的優勢就是超級低的二手價格。
這加起來不到80的板U套裝，性價比放在今時今日也是出類拔萃的。
（圖源：淘寶）
這種CPU，散熱就不用太擔心了。
闲魚20包郵寄過來的下壓式風冷散熱，雖然外觀上是醜了一點，簡陋了一點，但是用來壓我這一套超低價配置肯定是綽綽有余了。
（圖源：雷科技）
至於顯卡嘛，近期闲魚上面流出了一大堆P106-090/P106-100礦卡，其中前者的價格普遍在75塊錢左右，後者的價格普遍在120塊錢左右，考慮到我這次的初衷並不是爲了遊戲而來，我最終直接選擇了一張索泰P106-090礦卡，這卡因爲帶寬問題並不適合遊戲，但價格就擺在這裏。
最後，給它簡單配上兩根雜牌DDR3內存，組成內存雙通道，用一個350W長城電源供電，一塊120GB SATA SSD做系統盤，用上次裝機剩下來的大水牛硅脂湊合湊合，最後再配上個20塊錢的電腦城小機箱，我們三百元裝機的基礎硬件就到齊了。
（圖源：雷科技）
不服跑個分！還算合理的性能表現
裝機完成，點亮機箱！
先做個簡單的性能測試，作爲多年服役的老將，Intel® Core™i3-4170T的性能也就那樣，即便是在用TrottlesStop解鎖功耗的情況下，也就差不多相當於移動端酷睿六代、酷睿七代處理器的水平。
（圖源：雷科技）
在實測環節中，CPU-Z測試單核跑分有319.9分，多核跑分有881.0分，在CINEBENCH測試標准下，CINEBENCH R20多核732cb、單核301cb。這成績當然算不上亮眼，但是拿來日常辦公、輕度娛樂倒是完全足夠。
（圖源：雷科技）
再看看GPU部分，我們手上這張索泰P106-090採用16nm工藝打造，顯卡核心爲GP106，核心頻率爲1354MHz，可提升到1531MHz，具有768個着色單元，支持DirectX12，顯存規格爲3072MB/192Bit三星GDDR5內存，顯存頻率可達2002MHz。
（圖源：雷科技）
值得注意的是，P106-090的接口是PCI-E x4 1.1，而P106-100的接口是PCI-E x16 1.1，這導致二者即便是在相同核心的情況下，依然存在着比較明顯的性能差異，我選擇P106-090這張顯卡，也僅僅是因爲它能在極低的價格下提供CUDA算力的加持罷了。
如圖所示，在測評DX11性能的Fire Strike測試中，P106-90在Extreme測試中取得了3287分的圖形分數；在測評DX12性能的Time Spy測試中，P106-90在基本測試中取得了2251分的圖形分數，這個性能表現和GTX1050差不多，較R5-7640H的核顯性能有一定差距。
（圖源：雷科技）
存儲方面，我們斥資40元購入的這塊雜牌128GB Sata SSD硬盤，順序讀寫速度達到505.28MB/s和400.09MB/s，隨機4K讀寫達到132.35MB/s和244.29MB/s，盡管和M2 SSD硬盤沒得比，但是作爲系統啓動盤肯定是綽綽有余了。
（圖源：雷科技）
至於這對雙通道的DDR3內存，使用AIDA64進行內存緩存測試，測得的讀取速度爲20894 MB/s，寫入速度爲23629 MB/s，復制速度爲20901 MB/s，延遲爲67.5ns，給這台電腦用可以說是剛剛好。
（圖源：雷科技）
大模型遊戲，居然都能跑
既然目的是在幾百塊錢的預算下，打造出一套可用的本地大模型遊戲主機，那么實際體驗肯定是我們最關注的一環。
先嘗試一下Koblodcpp，這是一款整合Koblod.AI界面的llamacpp啓動程序，可以運行目前外網流行的GGUF格式本地大模型，甚至可以整合語音大模型和繪圖大模型，實現在對話的同時，生成語音和對應場景的效果。
（圖源：雷科技）
遺憾的是，目前在Huggingface上面共享的GGUF格式大模型，其容量大小普遍超過了3GB，即便選用容量大小只有5GB左右的causallm_7b模型，依然會導致顯卡顯存溢出引發CPU的運算介入，最終導致整個大模型的運行效率降低。
（圖源：雷科技）
姑且測試一下，在這種模式下，Kobold.AI的回復最長達到了599s（即10分鐘）左右，最短的回復也需要50s來生成左右，和雲端大模型平均10s就能提供回復的效果相差甚遠，體驗確實很一般。
既然如此，我們不妨退而求其次，用英特爾AIGC助手來體驗本地大模型，這是一個集成了多種本地大語言模型的演示Demo，致力於在不連接網絡的情況下，實現智能人機對話。
在關閉電腦網絡的情況下，除开首次部署大模型時需要一定時間外，後續的提問基本上在5秒內都能獲得答復，不管是回答問題、翻譯還是寫作都非常迅速，雖然在應對一些腦筋急轉彎或者算術題時依然會出現邏輯錯誤，但是在這種情況下的整體體驗可比之前強太多了。
（圖源：雷科技）
當然，角色卡、提示詞這些比較高級的功能就肯定用不了了。
再看看AI繪畫，我這裏使用的是bilibili UP主@整合的繪世啓動器，集Stablediffsion WebUI、各種SD插件下載和模型遠程使用於一體，算是個相當實用的一體啓動器。
（圖源：雷科技）
考慮到P106-90僅有3GB的運存限制，我選擇了經過剪裁後容量僅爲2GB的mistoonAnime MIX_v20模型，實測P106-90生成4張128*160的圖片耗時約三分鐘，生成4張240*320的圖片耗時七到八分鐘，而生成1張512*512的圖片則需要六分鐘左右。
（圖源：雷科技）
從實際體驗來看，個人建議在減少提示詞和插件的情況下，從128*160的圖片开始生成，遇到了合適的圖片再進行單張圖片的AI升格重繪，這樣整體的體驗還是挺不錯的，否則用512*512的規格生成圖片，廢圖概率不是一般的高。
（圖源：雷科技，用SD生成的圖片）
既然本地大模型算是能用，那么遊戲體驗又怎么樣呢？
考慮到實際硬件配置，我們先後測試了《孤島驚魂6》《古墓麗影：暗影》《F1 2020》以及《地平 线：零之黎明》四款遊戲在FHD分辨率下的體驗，讓我們來看看各自的表現。
在《孤島驚魂6》的性能測試中，在1920*1080最低畫質下，這台電腦的平均幀數爲32fps，即便开啓FSR性能檔，最終遊戲幀數也只能在40fps上下波動。
（圖源：雷科技）
再看看賽車遊戲，在《F1 2020》中，我們开啓1920*1080中畫質，進行澳大利亞賽道的晴天測試，最終平均幀率可以達到59fps，即便是這張多次服役的礦卡也能流暢運行。
（圖源：雷科技）
作爲標准測試遊戲，《古墓麗影：暗影》自然沒有錯過這次測試。在沒有开啓FSR、默認1920*1080最低畫質下，這台電腦運行遊戲基准測試的平均幀數爲50fps，算是這一批3A遊戲裏最接近穩定60幀的遊戲體驗。
（圖源：雷科技）
最後來個硬茬，《地平线：零之黎明》，因爲最低畫質也會爆顯存的緣故，這台電腦在1280*720最低畫質下，才能勉強達到30fps的及格线，只能說不適合遊玩了。
（圖源：雷科技）
總的來說，受到嚴苛的帶寬限制影響，P106-090的實際性能並不如和它跑分相近的GTX1050，最多就是比Iris Xe 96EU核顯略強一些的水平，應付近些年的3A遊戲已經有些捉襟見肘了。
總結：確實能跑大模型，但穩定性欠佳
優點：
1、成本預算低廉；
2、確實能運行本地大模型。
缺點：
1、二手零部件無保障；
2、礦卡驅動非常容易掉，白屏問題時有發生。
這款預算300元的電腦主機能用嗎？
盡管CPU規格老舊、礦卡表現不穩定，但是這款預算300元的電腦主機確實能完成本地大模型的部署，在文本生成和AI繪圖的體驗上都沒有什么問題，你甚至也能把它當成一台AI PC。
即便運行《孤島驚魂6》這樣的3A大作，這款機子也能在FHD低畫質下保證60幀穩定運行，那么應付《英雄聯盟》這類網遊應該是綽綽有余的，也可以當一台入門的網遊主機來用。
（圖源：雷科技）
那么我對這款電腦主機感到滿意嗎？
答案是否定的，在實際使用的過程中，P106-90這張礦卡多次出現掉驅動導致電腦白屏，需要用DDDU卸載驅動再重裝的情況。如果說這放在測試裏還只是有點麻煩的話，那么放在日常使用中肯定是很難讓人接受的。
值得注意的是，目前闲魚上面還有不少和我組裝起來的這台機子配置類似的洋垃圾整機，售價普遍在350-400元左右，目標受衆很明顯是剛上大學或者走出社會的年輕群體，個人建議大夥別去購买這些產品，一分錢一分貨可不是开玩笑的。
歸根結底，撿垃圾有風險，上車前需謹慎。對於玩膩了高端電腦的玩家來說，偶爾玩玩撿垃圾主機還是很有意思的，但這只是爲了樂子，並不是真的打算將其作爲主力機長期使用，畢竟撿垃圾主機的配件年久失修且沒有質保，萬一因爲它的故障而丟失了重要數據，那就得不償失了。
不過，通過用三百塊預算完成能運行本地大模型PC的嘗試，一定程度上說明，硬件性能可能不是制約AI PC發展的主要因素。至少在普通消費者的使用場景中，相比起算力提升，PC廠商更該做的應該是幫助用戶搭建好AI大模型的框架和環境，在系統和軟件上給用戶帶來更好的體驗。換句話說，AI PC應該是用戶拿到手就能用的，而不是像我們自己組裝DIY PC這般折騰。
來源：雷科技
原文標題 : 我花300塊組裝的電腦，成功跑通了本地大模型
標題：我花300塊組裝的電腦，成功跑通了本地大模型
地址：https://www.utechfun.com/post/357363.html