腾讯混元图生3D:一张照片生成 3D 模型
腾讯混元开源的图生 3D 模型:给一张照片,先生成形状再生成表面颜色,出来就是能转着看的立体件。这集讲清三种用法——官网网页版登录有免费额度、拖照片进去就能生成;下载本地跑只出形状要 6GB 显存、形状加纹理要 16GB;以及它那份社区许可协议的两处限制:不适用欧盟英国韩国、产品月活超一百万要单独申请商用授权。
这期讲了什么
- 做法分两半:先把没有颜色的立体形状捏出来,再往形上刷表面颜色和质感——先捏泥再上色,两半分开跑
- 最省事的用法是官网网页版:登录后有免费额度,把照片拖进去就能生成,单张不超过 10MB、最小 128×128,全程一行命令不敲;官网跑的是比开源版新一代的版本,面数最高 150 万、最低 5 万,要塞进手机或游戏反而该挑低档
- 想本地跑:支持苹果、Windows、Linux,Windows 上有社区做的免安装版;还能跑成服务让三维建模软件用插件连过来——得先把服务跑起来插件才连得上
- 显存门槛官方给了明确数字:只生成形状 6GB,形状加表面颜色一起 16GB;一张主流游戏卡就够出白模
- 许可不是 MIT 那种随便用的:腾讯混元三维 2.0 社区许可协议不适用欧盟、英国和韩国,产品月活超一百万要单独找腾讯申请授权;仓库已经十一个月没更新,但新手仍建议从这个最成熟、入口最全的版本上手
文字稿
一张照片怎么变成立体件
我家孩子捏了只橡皮泥小恐龙,摆在窗台上。没过多久,尾巴先裂,然后腿也掉了。我把它扔掉那天心里想,这玩意儿要是能存下来就好了。腾讯混元开源过一个专干这件事的模型:给张照片,出个立体件。
你给它一张照片,它给你一个能在屏幕里转着看的立体件。不是在照片上加个阴影假装立体,是真的有正面有背面、能导出来拿去做别的用途。那问题就来了——一张平的照片,它凭什么知道背面长什么样?而这事儿,用不用得上你自己那台电脑?
官方自己放出来的演示里,左边给进去的就是一张普通的平面图,右边出来的东西能一圈一圈转着看,正面侧面背面全都在。这不是把照片转个角度,是真的长出了体积。
它的做法是拆成两半。前半只管形状,把一个没有颜色的立体形先捏出来;后半再往这个形上刷表面的颜色和质感。说得再土一点:先捏泥,再上色。这两半是分开的,这点很关键,等下讲你电脑跑不跑得动的时候会用到。这个项目到今天一万四千多颗星,在腾讯混元这一系列里是星最多的那个。
最省事的路:官网网页版怎么用
绝大多数人到这条就够了,根本不用碰自己电脑。直接开它的官网:顶上一排菜单,右上角那个数字是你还剩多少次免费额度,不花钱就能试。
进去点图生三D,左边这一栏就是全部要做的事:先选用文字还是用图片,我们要图片;再选单张还是多张;然后把照片拖进框里。它写得很细,常见的几种图片格式都收,单张不超过十兆,最小一百二十八乘一百二十八——手机随手拍的都远超这个数。
下面两个选项值得说。一个是选模型,官网上跑的是他们更新过的版本,比你能下回家的那个开源版新一代。另一个叫模型面数,说白了就是精细程度,最高一档一百五十万个面,最低五万。这里有个反直觉的地方:你要拿去手机上、或者塞进游戏里用,反而该挑低的那档,因为轻。最后按立即生成,右边这块就是结果,鼠标拖着能一圈一圈转。
本地跑要多少显存
想离线用、或者想自己改的人,还有几条路。它支持苹果、Windows、Linux 三个系统,能下到自己电脑上跑。Windows 上还有个免安装的版本,解压就能跑,不过这个得说清楚,是社区里的人做的,不是腾讯官方出的。再往里一层,你可以让它在你电脑上跑成一个服务,那个免费的三维建模软件装上插件就能连过来——很多教程不说:得先把服务跑起来,插件才连得上,不是装个插件就完事。
那自己跑,得多好的电脑?官方给了明确数字,就一句话:只生成形状,六个G显存;形状加表面颜色一起生成,总共十六个G。六个G是什么概念——现在很多打游戏的显卡都到这个数了。你要是只想要个白模,拿去自己上色、或者直接送去打印,一张主流游戏卡就够用;想让它连颜色带质感一起给你,那就得往十六个G上走。
所以回到前面那个拆成两半——它把形状和上色分开,对你是实打实的省钱:你可以只用便宜那一半。不过这些都是给想折腾的人的;你只想试试效果,开头那条网页的路就够了。
许可协议里两处要注意
最该提醒的是许可这件事:它虽然开源,但用的不是那种随便用的开源协议。
我把许可文件从头看了一遍。它的全名叫腾讯混元三维二点零社区许可协议,是腾讯自己写的一份,不是那几个通行的开源协议。里面有两处你该知道。
一处是地域。协议开头就写着,这份协议不适用于欧盟、英国和韩国。你在国内用不受影响,但你的东西要是面向那几个地区,得另外看。另一处是商用的门槛。协议里写明,如果你的产品月活超过一百万,就必须回来找腾讯单独申请授权。反过来说,个人做点东西、开个小店、接点私活,离这条线还很远,是可以用的。
我把这条单拎出来讲,不是想吓你,是因为开源这两个字现在被用得太松了。一个东西能下载,不等于你想怎么用就怎么用。看一眼许可文件,是两分钟的事。
另一件事,它已经一年没更新了。我核了它最后一次提交的时间,十一个月前。同一个团队后面又放了好几个新的,版本号更高的、做局部零件的、做整个三维场景的都有。但你要真上手,还是从这个最成熟、入口最全的开始最省事,社区里的坑都被人踩过一遍了。
能拿它做什么
最后说回开头那只掉了腿的橡皮泥恐龙。我想做的其实很简单:孩子捏的东西,拍张照片,留成一个能转着看的文件,将来想打印就打印。这条路现在是通的,而且不要钱。
家里有三维打印机,这就是给它找素材最快的办法;开网店,商品那张平面图可以变成能拖着转的展示件;做游戏或者动画,这是省掉建模外包那笔钱的一条路。
常见问题
图生 3D 需要多大显存?
官方给的明确数字:只生成形状要 6GB 显存,形状加表面颜色一起生成要 16GB。6GB 很多主流游戏显卡就到这个数了;只要白模拿去自己上色或直接打印,一张主流游戏卡够用。
腾讯混元 3D 模型能商用吗?
可以但有门槛。它用的是腾讯自己写的社区许可协议,不是 MIT 那种通行协议:不适用于欧盟、英国和韩国;产品月活超过一百万,必须向腾讯单独申请授权。个人做东西、开小店、接私活,离这条线还很远。
不用显卡能玩图生 3D 吗?
能。官网网页版登录就有免费额度,把照片拖进去、选一下精细程度、按生成即可,全程不用敲命令。手机随手拍的图都满足要求(单张不超 10MB、最小 128×128)。