我花了300台组装好的电脑,成功地跑过了当地的大模型。
假设2023年是大家公认的AI元年,那么2024年很可能是AI大模型普及的关键一年。
今年,大量的AI模型和大量的AI应用问世,Meta、谷歌等制造商也逐渐向公众推出了自己的在线/本地模型,仿佛“AI人工智能”突然从一个遥不可及的概念走到了大家身边。
现在每个人在生活中或多或少都接触过AI,但是如果你仔细分辨,你会发现几乎所有你能接触到的AI应用都部署在“云”上。假如要建造一个本地运行大型设备,那么至少是全新的AIPC,价格在5000元以上,对一般消费者来说似乎并不友好。

但是把预算压缩到完美,然后搭配一套。「能用」主机是每个DIY玩家的终极幸福。现在的问题是,如果你真的想得到一台可以在当地运行大语音模型的电脑,要多少钱?
我的预算是——300元。
虽然最近严重的内存/存储产品有价格上涨的趋势,但这里的国外垃圾价格变化不大,甚至一批早期的国外垃圾CPU和矿卡GPU也有价格下跌的趋势。在当今AI浪潮席卷的背景下,我甚至没有准备好局限于办公视听的需求,决定挑战300元的预算,努力打造性价比高的本地入门级大型主机。
关于具体应该怎么操作,最后的结果是否如意,跟我一起看下去自然就明白了。
古典老CPU,矿工级GPU
对于CPU的选择,我直接在闲鱼上捡了一个。Intel® Core™i3-4170T。
该Cpu为二核四线程,主频3.2GHz,无睿频能力,3MB智能缓存,采用Haswell结构,采用22nm制程工艺,其最大特点是HD4400核显,这是我选择它的关键。
俗话说,低价U配低价板嘛,主板我选的是一块。H81M-V3华硕工包,DDR3内存插槽只有两个,甚至没有HDMI输出接口,也没有M2硬盘位置,USB 3.0、SATA III接口只有两个,这个东西最大的优点就是二手价格很低。
这种加起来不到80的板U套装,性价比在今天也是出类拔萃的。
这类CPU,排热就不用太担心了。
20包闲鱼邮寄的下压风冷散热,虽然造型有点丑,有点简陋,但是用来压我这套超低价设备一定绰绰有余。
对显卡来说,最近闲鱼上流出了大量的P106-090/P106-100矿卡,其中前者的价格一般在75元左右,后者的价格一般在120元左右,考虑到我这次的初衷并非为了游戏,最后我直接选了一张索泰P106-090矿卡,这张卡片因为带宽问题不适合游戏,但是价格就在这里。
最后,简单地给它配上两个杂牌DDR3内存,构成内存双通道,用350W长城电源供电,一个120GB。 SATA SSD是一个系统盘,上次安装剩下的大水牛硅脂可以凑合着用,最后配上一个20元的电脑城小机箱,我们300元安装的基础硬件就到了。
拒绝接受跑分!性能表现还是合理的。
完成安装,点亮机箱!
首先要做一个简单的功能测试,做一个服役多年的老兵,Intel® Core™i3-4170T性能也是如此,即使使用TrottlesStop解锁功耗,也几乎相当于手机上酷睿六代和酷睿七代处理器的水平。
实测环节中,CPU-在CINEBENCH检测标准下,Z检测单核跑分为319.9分,多核跑分为881.0分,CINEBENCH R20多核732cb、单核301cb。这个结果当然不能说是亮眼的,但对于日常办公、轻微娱乐来说却足够了。
再次看看GPU部分,我们手里的这个索泰P106-090采用16nm工艺制作,显卡核心为GP106,核心频率为1354MHz,可提升至1531MHz,上色模块768个,支持DirectX12,显存规格为3072MB/192Bit三星GDDR5内存,显存频率可达2002MHz。
值得注意的是,P106-090的界面是PCI。-E x4 P106-100的接口是PCI。-E x16 这就导致了两者即使在相同的核心条件下,仍然存在较为明显的性能差异,本人选择P106-090这张显卡,也只是因为它可以在极低的价格下提供CUDA计算能力的加持。
如图所示,Fire正在评估DX11特性。 在Strike测试中,P106-90在Extreme测试中获得了3287分的图形成绩;Time测试DX12特性 在Spy测试中,P106-90在基础测试中获得了2251分的图形成绩,与GTX1050相似,与R5-7640H的核显性能相差甚远。
在存储方面,我们花了40元买的这个杂牌128GB Sata 顺序读写速度为505.28MB/s和400.09MB/SSD硬盘s,132.35MB/s和244.29MB/s的随机4K读写s,虽然和M2 SSD硬盘没有可比性,但作为系统启动盘必须绰绰有余。
使用AIDA64对双通道DDR3内存进行内存缓存检测,测得的读取速度为208944。 MB/s,写入速度为23629 MB/s,拷贝速度为20901 MB/s,延迟为67.5ns,把这台电脑算得恰到好处。
大模型游戏,甚至可以跑
由于目的是在几百块钱的预算下,打造一套可用的本地大型游戏主机,所以实际体验绝对是我们最关心的部分。
首先尝试Koblodcpp,这是一个整合Koblodcpp。.AI页面的llamacpp启动程序可以运行当地流行的GGUF格式大型模型,甚至可以整合大型语音模型和大型绘图模型,从而在对话的同时产生语音和对应场景的效果。
遗憾的是,目前在Huggingface上互通的GGUF格式模型,其容量一般都在3GB以上,即使选择容量只有5GB左右的大小。causallm_7b模型,CPU的计算干预仍然会导致显卡显存溢出,最终导致整个大型模型的运行效率下降。
暂时测试一下,在这种模式下,Kobold.AI的回应最长可达599s(即10分钟),最短的回复也需要50s才能产生上下,与云大模型平均值10s可提供回复的效果相差甚远,感觉真的很一般。
在这种情况下,我们不妨退而求其次,用英特尔AIGC助手体验当地的大型模型。这是一个集各种当地大语言模型于一体的演示Demo,致力于实现智能人机交换而不连接互联网。
在关闭计算机网络的情况下,除了第一次安排大模型需要一定的时间外,后续的问题基本上可以在5秒内得到回答,无论是回答问题、翻译还是写作都非常快。虽然逻辑错误在面对一些脑筋急转弯或算术问题时仍然会出现,但在这种情况下,整体体验比以前强多了。
自然,角色卡、提示词等较高级的功能肯定不能使用。
再次看看AI绘画,我在这里使用的是bilibili。 集Stablediffsion于一体的UP主@绘世启动器。 WebUI、各式各样的SD插件下载和模型远程使用,被认为是一个非常实用的集成启动器。
考虑到P106-90只有3GB的存储限制,我选择了mistoonAnime,它的容量仅为2GB。 MIX实际测量P106-90生成4张128*160的照片大约需要三分钟,生成4张240*320的照片大约需要七到八分钟,而生成一张512*512的照片大约需要六分钟。
从实际经验来看,个人建议在减少提示词和插件的同时,从128*160的照片开始生成,然后在遇到合适的图片时升级重绘单张图片的AI,这样整体感觉还是挺好的。否则用512*512的规格生成图片,废图的概率一般不高。
由于本地大模型可以使用,那么游戏体验又如何呢?
考虑到实际的硬件配置,我们先后测试了《孤岛惊魂6》《古墓丽影:暗影》《F1》 2020年和地平 线条:零之黎明四款游戏在FHD分辨率下的感觉,让我们来看看各自的表现。
该计算机在1920*1080的最低画质下,在《孤岛惊魂6》的功能测试中,平均帧数为32fps,即使打开FSR性能档,最终游戏帧数也只能在40fps上下波动。
再次看看赛车游戏,在F1。 在2020年,我们打开1920*1080中的画质,对澳大利亚赛道进行晴天测试,最终平均帧率可达59fps,即使是这张多次服役的矿卡也能顺利运行。
《古墓丽影:暗影》作为一款标准测试游戏,自然不会错过这个测试。FSR还没打开、默认情况下,在1920*1080的最低画质下,该计算机运行游戏基准测试的平均帧数为50fps,这是这批3A游戏中最接近平稳60帧的游戏体验。
最后来了一个硬茬,“地平线:零黎明”,由于最低画质也会爆发出存款的原因,这台电脑在1280*720的最低画质下,只能勉强达到30fps的及格线,只能说不适合玩。
总体而言,由于严格的带宽限制,P106-090的具体性能并不像GTX1050那样与GTX1050相似,最多比Iris更好。 Xe 96EU核显得略强一些,应对近年来的3A游戏已有些捉襟见肘。
总结:的确可以跑大模型,但是稳定性不好。
优势:
1、成本预算便宜;
2、的确可以运行当地的大型模型。
缺陷:
1、二手零件没有保障;
2、矿卡驱动容易脱落,经常出现白屏问题。
这个预算300元的电脑主机可以使用吗?
虽然CPU规格陈旧,矿卡性能不稳定,但这款预算300元的电脑主机确实可以完成本地大模型的部署,在文字生成和AI绘图的感觉上没有问题。你甚至可以把它当成一个AI。 PC。
即使运行3A大作《孤岛惊魂6》,这款机器也能保证60帧在FHD低画质下的稳定运行,所以应对英雄联盟这样的网络游戏应该绰绰有余,也可以作为入门级的网络游戏主机。
所以我对这台电脑主机满意吗?
答案是否定的。在实际使用过程中,矿卡P106-90多次脱落,导致电脑白屏,需要用DDDU卸载驱动器重新安装。如果放在测试里只是有点麻烦,那么在日常使用中一定很难接受。
值得注意的是,目前我组装的闲鱼上有很多类似外国垃圾的机器,价格基本在350-400元左右。目标群体显然是刚上大学或者走出社会的年轻群体。个人建议大家不要买这些产品。一分钱一分货不是开玩笑。
归根结底,捡垃圾是有风险的,上车前要小心。对于厌倦高端电脑的玩家来说,偶尔玩捡垃圾主机很有意思,但只是为了好玩,并不是真的打算长期作为主机使用。毕竟捡垃圾主机配件年久失修,没有保修。如果重要数据因为它的故障而丢失,得不偿失。
然而,一定程度上表明,硬件性能可能不会限制AI,因为它可以通过使用300元预算来完成当地大型PC的运行。 发展PC的主要因素。至少在普通消费者的应用场景中,PC厂商应该帮助用户构建AI模型的框架和环境,在系统和软件上给用户带来更好的体验,而不是提高计算率。也就是说,AI PC应该是客户可以使用的,而不是像我们自己组装DIY一样。 这样折腾PC。
这篇文章来自“雷科技”,36氪经授权发布。
本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。
免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com




