fast.ai 创始人 Jeremy Howard 启动了一个新项目,叫做 Answer AI,他认为我们正处于编程新时代的开端,问题不再是是否使用人工智能,而是如何有效地使用它。
Jeremy Howard 和 Hamel Husain 有许多交集和合作,Husain 是一位非常优秀的机器学习工程师,第一次了解到他,是由于去年他组织开展了一门 Fine-tuning 的大师课,邀请了业内许多专家来共同讲课。最近他发布了一篇文章 “通过技术写作建立受众:策略与错误”。正好与我最近在思考的话题有关,我也刚开始尝试技术写作,更新博客分享自己的学习和作品,希望以此筛选真正和自己同频的人,也链接到合适的受众。
他在文章中提到 Build on Great Work,分享真实的见解和有用的信息,公开真诚地互动和讨论问题,专注于增加价值。当你做到这一点时,人们会想要关注你的工作。
今日整理了一个话题:
我们可以使用哪些 LLM model ?
官网使用
官网使用是最简便的一种方式,比如最近火爆全球的 DeepSeek,只需打开官网或者下载手机客户端,即可选择与 V3 或 R1 模型对话。
这是大众用户用得最多的方法。
本地运行
大模型本质上是一个文件,需要使用工具来在本地运行。比如 Ollama 就是目前最流行一款本地使用开源模型的工具,它是一个轻量级、可扩展的框架,用于在本地机器上构建和运行语言模型。它提供了一个简单的 API,用于创建、运行和管理模型,以及一个可以在各种应用中轻松使用的预构建模型库。
受限于本地电脑的内存、储存空间,通常最多只能运行 14b 参数的大模型。效果不够好。
API 调用
除了大模型公司自身提供的 API 接口,开发者通常会使用第三方云服务商的 API 服务。他们在自己的云服务器上部署了开源大模型或者接入了商用大模型,然后提供统一的接口供大家使用:
常见的第三方云服务商有:
- OpenRouter
- Fireworks
- Together
- Replicate
- Kluster
- AWS Bedrock
- Google VertexAI
- 硅基流动
- 火山引擎
- 阿里云百炼
- 腾讯云
如果你正在使用的产品中没有你想要的服务商,还可以使用任何兼容 OpenAI 的服务器(如 vLLM、LiteLLM、Anthropic、HuggingFace 等)。
需要注意一点,API 的能力可能不同,部分模型的 API 支持微调,部分模型的 API 支持展示推理过程。
这是目前比较灵活、支持模型最丰富的一种方式。