20250302

Build on Great Work

fast.ai 创始人 Jeremy Howard 启动了一个新项目,叫做 Answer AI,他认为我们正处于编程新时代的开端,问题不再是是否使用人工智能,而是如何有效地使用它。

Jeremy Howard 和 Hamel Husain 有许多交集和合作,Husain 是一位非常优秀的机器学习工程师,第一次了解到他,是由于去年他组织开展了一门 Fine-tuning 的大师课,邀请了业内许多专家来共同讲课。最近他发布了一篇文章 “通过技术写作建立受众:策略与错误”。正好与我最近在思考的话题有关,我也刚开始尝试技术写作,更新博客分享自己的学习和作品,希望以此筛选真正和自己同频的人,也链接到合适的受众。

他在文章中提到 Build on Great Work,分享真实的见解和有用的信息,公开真诚地互动和讨论问题,专注于增加价值。当你做到这一点时,人们会想要关注你的工作。


今日整理了一个话题:

我们可以使用哪些 LLM model ?

官网使用

官网使用是最简便的一种方式,比如最近火爆全球的 DeepSeek,只需打开官网或者下载手机客户端,即可选择与 V3 或 R1 模型对话。

这是大众用户用得最多的方法。

本地运行

大模型本质上是一个文件,需要使用工具来在本地运行。比如 Ollama 就是目前最流行一款本地使用开源模型的工具,它是一个轻量级、可扩展的框架,用于在本地机器上构建和运行语言模型。它提供了一个简单的 API,用于创建、运行和管理模型,以及一个可以在各种应用中轻松使用的预构建模型库。

受限于本地电脑的内存、储存空间,通常最多只能运行 14b 参数的大模型。效果不够好。

API 调用

除了大模型公司自身提供的 API 接口,开发者通常会使用第三方云服务商的 API 服务。他们在自己的云服务器上部署了开源大模型或者接入了商用大模型,然后提供统一的接口供大家使用:

常见的第三方云服务商有:

  • OpenRouter
  • Fireworks
  • Together
  • Replicate
  • Kluster
  • AWS Bedrock
  • Google VertexAI
  • 硅基流动
  • 火山引擎
  • 阿里云百炼
  • 腾讯云

如果你正在使用的产品中没有你想要的服务商,还可以使用任何兼容 OpenAI 的服务器(如 vLLM、LiteLLM、Anthropic、HuggingFace 等)。

需要注意一点,API 的能力可能不同,部分模型的 API 支持微调,部分模型的 API 支持展示推理过程。

这是目前比较灵活、支持模型最丰富的一种方式。