外网一篇文章:为生产构建 LLM 应用程序,对于想要把LLM放到自家生产业务的同学,可以看一下。文章分析了挑战和一些解决思路。
原文:Building LLM applications for production
译文:为生产构建 LLM 应用程序
文章摘要:
最近我经常被问到的一个问题是大型语言模型 (LLM) 将如何改变机器学习工作流程。在与几家使用 LLM 应用程序的公司合作并亲自深入构建我的应用程序之后,我意识到两件事:
使用 LLM 很容易做出很酷的东西,但是很难用它们做出可用于生产的东西。
LLM 的局限性因即时工程中缺乏工程严谨性而加剧,部分原因是自然语言的模棱两可性,部分原因是该领域的新生性质。
这篇文章由三部分组成。
第 1 部分讨论生产 LLM 应用程序的主要挑战和我所见过的解决方案。
第 2 部分讨论如何使用控制流(例如 if 语句、for 循环)组合多个任务,以及如何为更复杂和更强大的应用程序整合工具(例如 SQL 执行器、bash、web 浏览器、第三方 API)。
第 3 部分涵盖了一些我见过的公司在 LLM 之上构建的有前途的用例,以及如何从较小的任务构建它们。
|