开发者新玩具，还不愁写不好prompt

(资料图片仅供参考)

编者按：本文来自微信公众号 量子位（ID：QbitAI），创业邦经授权发布。

2个华人牵头拉起一支7人队伍，创业大模型？？？

没错，Cortex就是这样一个项目，被曝还拿下了还拿下了Zoom系，Getty家族和快手系的天使投资。

这是一个集成诸多大模型API后，让大模型更懂你的中间件。

主打特色有二：

一是外接私有数据，包括Notion、Slack、Google Drive等，做特定领域的私有版GPT；

另一件事是在每个企业内部，打造千人千面的Copilot。

这个工具在国外已经小小火了一把，目前拥有10多家付费用户和上千个人用户。

还有家网红SaaS公司用上了Cortex，让网红们以特定的人设，和粉丝们激情热聊。

所谓大模型中间件，是在底层大模型和上层应用之间的基础软件，主要解决大模型落地过程中，集成数据、应用、知识库，以及大模型融合级功能协同这些问题。

比较适合那种正面临两难境地，又想在大模型领域试水的旁友们：

自己造一个通用大模型，又贵又麻烦；那单纯训更垂直的行业大模型，或者调用别人家的大模型的API呢？好像又有些不够用。

这个时候，中间件带着解决方案闪亮登场了。

随着大模型领域的愈发深入，大模型中间件的创业项目也先后冒了出来。能入硅谷顶级创始人青眼，Cortex凭借的是什么？

Cortex能够做什么？

Cortex，可以将GPT-4等多个不同的大模型组合使用，实现语言模型之间的协同应用。

也就是说，它是个大模型应用层的编排器。

主要目的是提高技术人员开发的“可拓展性、可访问性和效率”。

之所以叫Cortex，是取这个英文单词“大脑皮层”的意思。

大脑是神经中枢，可以看做大模型，而皮层就是大脑上面的结构。

它能做的事情，就是按需调用不同的大模型，并用固定的格式来限制输出的自由度，从而帮助用户做些单一大模型解决不了，或自己调用多个大模型API会比较麻烦的事情。

具体而言，它的功能主要是以下两方面：

第一，作为集成许多API的工具，外接私有数据库，“指哪儿打哪儿”地变成一个专一领域大模型。

从这个角度来看，Cortex走的是既“广”又“深”的路子。

广，是说Cortex不与个别行业服务竞争，而是可以每个领域都用它练出大模型应用。

深，是说在大模型通用知识基础上，可以接入私有数据库，加深对领域或用户企业本身的理解。

为了让这个专一领域大模型更实用，Cortex会采取调用向量数据、实时联网搜索、调用指定API等方式。

Cortex的第二个功能，是能帮助每个人打造一个私人copilot。

基础层面的工作，如撰写草稿、制作PPT、编写电邮、总结会议、查询网购退货方式，Cortex都能搞定。

进一步的，在同一公司内部，喂给它一份原始的信息，Cortex也能获取每个人岗位所需要的关键点，并以特定格式输出，即根据业务部门的不同而“千人千面”。

据了解，Cortex的费用根据实际使用量计算。

就计费方式和服务模式而言，Cortex似乎可以类比为链接数据库和大模型的“云厂商”，聚集多种多样的API资源后，保证所有的功能都能一直运作，提供相关服务。

也因为如此，Cortex还蛮受开发人员的欢迎——Cortex主要面向的就是有一定技术基础的开发者和IT从业人员，他们可以很快上手，大大减少从调试开始的工作量，节省时间去做更有创造性的事情。

对不擅长写prompt的程序员格外友好

为什么会选择做这样一个功能的大模型中间件？为了弄清楚答案，量子位联系了Cortex背后的团队。

他们给出的答案是，因为相信未来一定是一个多模态、多模型的世界。如果只有一个模型，哪怕强大如GPT-4，也无法搞定所有问题。

他们认为，必须“把多个模型联系在一起，才能组织一个真正的AI应用”。

而这样的功能实现，在团队核心成员初期想用Langchain去做的时候，“越做越发现非常困难”，AI领域目前缺少一个帮助模型层和应用层磨合的中间件来完成它的建设。

Cortex背后团队的创始成员（也是背后公司的CEO）Nemo Yang对量子位表示：不管已有的平台还是工具能够提供的能力，都无法很好地满足这样的idea。

团队最初也走过其他路子，但随着对领域的了解，听到越来越多的用户反馈称，大模型挺好用的，但是出一个厉害的大模型就要接入一个API太过麻烦，对大模型调控性的掌握也比较困难。

受到这样的启发，Cortex才逐步打磨成了今天的样子。

Cortex的成形大概离不开用户对市场现状的一个反馈，在与量子位的交流中，Nemo反复多次提到“用户说”“市场反馈”这样的字样，然后解释Cortex是如何根据这些信息来捏出产品的特点的。

比如随着大模型大火而愈发走到众人面前的向量数据库，就有市场反馈如果对上下文关联很强的文章进行向量分割，检索匹配后返回的答案，可能因为痛失对上下文的理解而“不知所谓”。

根据这一点，Cortex调用的向量数据库是完全自研的，可以根据需要全局检索，也可以选择一段一段地部分返回。

再比如，身为团队里“语文底蕴最好”的人，Nemo实操下来还是觉得，对程序员来说，prompt engineering看上去简单，其实要出色完成并不容易。

所以Cortex有个设计对不擅长撰写prompt的开发者极其友好：

能够让擅长写prompt的同事啥的（也就是俗称的语文好，能够对需求进行精准描述），加入工作流程，让Cortex更清晰地了解你需要什么。

之后还会有什么功能上新呢？

Nemo介绍，接下来大概率会接入Slack confluence、 Microsoft全家桶、 Google全家桶等。

一切为了一个最终目的，那就是Developer first，尽可能减少开发者的开发周期。

团队介绍

Cortex背后的公司叫做Kinesys AI，目前团队7人全职，2名创始人均为华人，多人从斯坦福本硕毕业。

创始人兼CEO，Nemo Yang，00后，花了2年时间，拿下佐治亚理工学院本硕学位，ML出身，之前在字节飞书和微软工作过。

14岁的时候，Nemo就因为喜欢计算机，只身前往硅谷留学。高中起，他开始写网站和App，参与过startup的开发工作。

联合创始人兼CTO，Jian Cai，毕业于北京大学计算机系，曾在Google工作8年。

他的上一份创业项目是在线协作办公文档“一起写”，后来被快手收购。