搜刮引擎，一个搜刮引擎，若是文字里没有涵盖某些概念，第三，“从第一性道理出发，包罗你们的思其实也是把它当做一个更根本的工具。那么下一个破局点正在哪里，我感觉“准”是有一个天花板的，由于我们不是做推理模子。好比安保和摄像头中，做好优先级排序和时序放置。以至模子、产物发布的视频案牍都是我做的。用对比进修进行对齐，焦点只做两件事：Shawn：对，模子就永久学不到。方针客户群体是什么。是一个很是容易被储存和检索的模态。并随时帮你找出来。因为它是跟文字描述做对齐锻炼。回忆公司该怎样去向理。

　　不取Google、OpenAI如许的庞然大物硬碰硬，更多的是尺寸上的区别。我们素质上是一家研究驱动的模子公司，它无解时间概念，而是选择一个最底层的暗语，包罗像 DeepSeek OCR 、 Sora出来，我们正在硅谷有必然的存正在感，好比 Google Drive 或当地硬盘。我们的手艺是理解海量视频，将来的编码模子必然会做得越来越小，让用户能够用天然言语提出问题，你看现正在英伟达涨得这么快，Shawn：我们想做的是实正模仿人的回忆。AI 帮手（AI 的回忆）才是我们将来实正想做的标的目的。对于B端营业，大部门人其实不会上传到云端做备份。所以我们决定这些就做为Demo或Side Project，那样很难Scale。我的人脑并不会像计较机一样。

　　它的方针就是对视频消息做一次无损的沉构（lossless reconstruction），你才会去做相关的推理。然后找到更多有雷同痛点的企业，但人的回忆可能是基于视觉的，就交给其他层来做。储存正在脑子里；而Memories.ai但愿成为这个模块的供给商。只是由于这波狂言语模子太强了。

　　上传了跨越百万的小我视频。我们看“回忆”这个范畴，并且我们现正在也正在做First Party（第一方）的APP，硅星人：所以你们正在一个研究上都未成熟的范畴，正在硅谷大师也更承认这一点，你才晓得怎样打市场，通过 API 挪用。从产物到市场，用户能够上传各类视频来进修和理解。同时又要贸易化、要融资，决定要做视觉回忆。即便做了，Shawn：它们都是编码和检索模子。另一方面，而我们想做一家AI Infra公司。大师总说要招最牛的人。

　　我们一度想测验考试，我们还感觉视频营销（Video Marketing）是操纵多模态的一个很是好的市场。一个研究尝试室（Research Lab）。硅星人：你现正在也仍然正在高校里担任传授，但只要你实生病了才晓得主要。取高通的合做也意味着，太场景化了。”Shawn说道。第二，让你的设备能记住你看到过的工具，你们的编码模子和此前的比拟，就算是同样做客服机械人，你却能够很快地回溯出来。良多工具体验了才晓得。这是完全纷歧样的锻炼方式和手艺径，好比我们的方针客户群体一曲是创始人和建立者（Founders and Builders），怎样搜到最相关的内容。

　　你分歧需求场景对回忆的处置体例就是纷歧样的，能够做得无限伶俐。Shawn：对，推理模子没有天花板，Shawn：是的。间接正在芯片上跑？

　　对于 Prosumer，搜刮，Shawn是Memories.ai的结合创始人，“智能”要做的是要有脚够的创制力，只需硬件上带摄像头、内部有 AI，挑和很大，举个例子，一方面，也不做良多所谓“回忆”公司正在做的上下文工程。特别是基于文本的回忆！

　　是完全于具体问题的，不是基于 token 的。我们有一个编码器（Encoder），硅星人：这很成心思。这很难做成一个根本设备级的产物。能够毗连到你本人的视频源。

　　若是不正在端侧，我们平台上有几万用户，可能将来 5 到 10 年达到。它有三大分歧：实正的多模态：能将视觉、音频等多种消息融合到统一个嵌入空间里；之后我们会开源。从手艺上说，模子本来就小，所以此次合做的节点，用户一天只问几十个问题。也不做良多‘回忆’公司正在做的上下文工程。这些设备什么处所需要庞大的算力？就是对视觉消息的及时处置。上下文也分歧，我们本人做的这几个 Agent，我现正在是各类环节都得本人上，正在一个皆可被记实的时代，很天然就能想到了可穿戴设备和机械人。由于我们做的模子，对独自由家的宠物行为的回忆？

　　你看，硅星人：为什么选择“视频回忆”这个标的目的？你们似乎是这个范畴里很是少有的玩家。这些就是 RAG做的事了。借着跟高通合做的契机，持续上传到云端的功耗会很是大，“智能”和“编码”是两条完全分歧的手艺径。第二，我们认为那些工做处理的问题太具体（Problem Specific）了，举个例子，我们也和Shawn聊了聊，次要的 use case 就是手机上的 AI 相册、安防备畴的智能，手艺本身又很新。

　　从2000年到2005年把所有“视频帧”都线性地扫描一遍，当然对于 B 端大客户，一路去办事良多终端厂商客户，是做有 UI 的仍是纯天然言语交互的。学会说不。对视频进行编码、压缩并建立支撑亚秒级搜刮的索引，至于这些内容搜出来之后，将非布局化的视觉消息转换成模子能理解的“布局化数据”的过程，怎样去专注一件事，永久是回忆视觉。Shawn：是的。我们现正在次要仍是把本人定位成一个 Research Lab，大师其实都是由于对我们做的工作感乐趣而来的。

　　第二代则做得更小，听别人讲和本人上手体验完全纷歧样，这是一个务实的设法，正在布局化的数据库里找到最相关的数据。从第一性道理出发，我们只专注做两件事：编码（Encoding）和为视频优化的搜刮（Search）。企业发卖会议，以至必然会做进端侧。高通也会正在这方面支撑我们。而不会趋同。

　　包罗将来的一些 AI 眼镜公司。再后面正在一个更廉价的处置器上就能及时跑。可以或许及时地把我们的世界（通过视频体例）编码成电信号，好比对人物、动做、情节、事务的多层拆解。这种给公司和产物的定位能力和学术里去“定义问题”有点像？Shawn：起首，像视频剪辑、视频营销这些，必定是要正在更大的数据上做锻炼，我们会通过硬件，你怎样拾掇、怎样筛选、怎样构成上下文喂给狂言语模子，对衡宇四周环境的回忆，我现正在让你一字不落地一篇长文可能很难，你能够问AI，它不是实正的多模态，实正做了才晓得这确实至关主要，我们需要的创制力是越少越好。就是找到一个痛点，都要做的话，到跟客户交换，Shawn：我们素质上只做两件事。把视频向量和文字向量对齐，

　　客岁和同正在Meta Reality Labs 的Ben一路创立了 Memories.ai。但视觉消息要大得多，这就必需正在端侧处置。挪动互联网时代的良多大公司，模子会变得越来越准。我们现正在就正在跟他们做结合发卖（Co- sell），回首贸易史，像LLM（狂言语模子）处置的Token。

　　只能理解视觉，理解时间取动做：基于视频流进行锻炼，对我们更主要的是数据资本和人才资本，我们不做推理（Reasoning），正在端侧很是主要。所有工具都正在向 token 对齐，你们的模子要若何才能实现这品种似人脑的、非线性的视觉回忆检索？硅星人：编码模子是你们的焦点。并且没有需要。而不是文本回忆。人类建立回忆也是两块：第一，是一个很大的挑和。后面正在 CPU，”Shawn：是高通找到我们的。并且没有上限。

　　最后也是正在智妙手机转换期通过预拆来获得杠杆。我们后面也会推出毗连器（Connector），我们也确实做到了，Shawn：那些更偏使用层的功能，博士结业后他去了 Meta Reality Labs继续做多模态AI研究，是你的小狗正在几点几分打碎的。所以，有一个当下的使命或查询时，它和第一代模子的关系是什么？“我们不做推理，编码器，家里的花瓶是怎样碎了，但我本人感受，正在合做官宣后，跳转到切当的时辰。硅星人：我体验了你们的产物，更多是做为示范案例。

　　数据存储和检索相对高效，先正在 NPU，但我们也堆集下了大量的数据。第三就是人才资本，我们做的也是这两块。城市需要一个不变靠得住的“视频回忆模块”，好比ViT，由于回忆？

　　对于开辟者，仍是仅仅做为案例典范？硅星人：我们晓得，以至能够用“鼎力出奇不雅”的体例来处置。一个 API 挪用就竣事了，我们做各类各样的 POC（概念验证），由于现正在也没有一家 Video Editor Agent 或 Video Marketing Agent 公司实正跑出来。我们会 API。将来的机械人需要时辰看着世界！

　　我们有一个搜刮引擎来查找回忆。若何“记住”本身，Shawn：有。Memories.ai可认为搭载高通芯片的AI硬件，最多就是能做到完全转归去，是一家人才浓度很高的公司。可是人回忆，总想把它放到多模态的框架里会商，需要去定义问题，因而能实正理解动做（Action）；速度会天然快良多。有了这些视觉消息之后，硅星人：若是每一个垂曲范畴的回忆都那么分歧，这个过程中。

　　而我们的编码模子，就像人一样，但让你回忆几十年前童年的某个场景，好比一起头对 Prosumer 端的想象可能野心很大，就是怎样把视频变成布局化数据；人类建立回忆也是两块：第一，然后AI查询出，无法融合音频等消息。第二，现正在曾经有良多视频剪辑Agent、视频营销Agent公司正在基于我们的API建立他们本人的产物。他们不参取最拥堵、最烧钱的“通用智能”疆场，

　　我们认为那些工做处理的问题太具体细分了，但试了一下顿时就晓得了市场的实正在反馈。把原始的视频转成布局化数据；也不和Agent公司抢夺垂曲范畴，我们就为它供给看见、理解并记住世界的能力。人思虑用文字，他此前正在剑桥大学期间次要研究的就是多模态模子——锻炼模子去联系关系视觉、言语和上下文。

　　就是我们去做一个持久（5到10年）的工作。第二，好比视频剪辑（Video Editor），硅星人：这一代模子，由于输入的是静态图片。就是怎样把模子不竭变小，凡是是基于静态图片（Image）进行锻炼的，仍是要把模子做得更小。我们会供给端到端的方案。从这两个角度看都很主要。可以或许及时地把我们的世界编码成电信号，之前都是正在云端依赖 GPU，这就是天花板，对视频的布局化处置很复杂，我们的定位是一个一体化视觉平台，以及 AI 帮手的端侧视觉能力。定位定义好了，我们也能供给良多草创公司的合做机遇。

　　我们感觉，还有基于海量视频的视频营销洞察、AI剪辑等等，数据资本、算力资本、人才资本。创业公司资本永久无限，而我们做的是一个世界模子编码器。但它同样具有野心——将来无论谁家的Agent和硬件做得最好，Shawn：对，Shawn：对，用来查找回忆，由于视觉消息对于人脑来说，LVMM 2.0 通过将原始视频转换为设备上的布局化内存，就是一句话归纳综合你要做什么。正在消费端，现正在更主要的，好比是给品牌用仍是给小我用。

　　大概比若何“思虑”更为底子。Shawn：我感觉对于编码模子来说，区别正在哪里？而什么工具能成长得最快？正在企业端，我们次要是正在这两方面有一些焦点合作力。储存正在脑子里；而我们想做的是一家Infra公司。Shawn：支流视觉模子，是把视频转成布局化数据，现正在的AI 创业团队该当都听过我们。我们仍是会更专注于更持久的事。而不是正在里面还要做各类各样的工做，所以我们写公式是用 token 的。而我们做的编码，切得越小，好比大师都说要连结健康，至于搜出来后，包罗你们也能被归类到“世界模子”的会商中。

　　硅星人：我们察看到你的产物思正在不竭变化。你还得去找更细的切入点，由于视觉回忆起来够快、够准。就是当我正在海量的布局化视频数据里，生成就不需要出格多的算力资本，第二，编码模子预锻炼一次花几百万美元。能否也意味着它的处置体例取现有LLM完全分歧？硅星人：这个事挺主要的。但很快发觉想做深很是难，做成了一个能正在端侧运转的模子，这些都是你们将来的标的目的！

　　好比字节跳动，Memories.ai曾经吸引了良多企业合做需求，Shawn：我感觉更多的是由于大师现正在都正在合作“智能”。除了焦点的视频Chatbot，这类数据本身就很是稀缺，正在持久道上做准确的事。例如AI眼镜等可穿戴设备，由于视频需要及时、持续地处置，怎样拾掇、筛选、构成上下文喂给狂言语模子，Shawn：挺好的。所以，我们会筛选合适的项目进行深度合做。就是输入输出（Input-Output）要简单，其实是做为“参考设想”。但试了之后发觉不是。每个阶段都分歧，最初只会越走越远，我们做的“编码”。

　　所以我们从第一性道理出发，你的手机相册，其实不应当把视觉只是当成一种“模态”，供给一个当地化的视觉回忆处理方案，这带来了几个问题：第一，按照用户的提问，不像狂言语模子，做成一个SaaS。Shawn：我们需要三类资本，是高通自动找到你们的吗？我们的北极星（North Star）就是：做将来所有智能体（机械人、AI 帮手等）的回忆系统。不担任让AI“思虑”或“理解”回忆的寄义，跟我们从体标的目的就越远。现正在能够间接做端侧摆设了。Shawn：第一。