作者 | 乔钰杰
编辑 | 袁斯来
硬氪获悉,,,,,,北京微面科技有限公司(以下简称“微面科技”)克日完成数百万美元融资,,,,,,由顺为资源投资。。。。。。
微面科技聚焦自研人类感知明确基座模子,,,,,,打造新一代人机交互范式,,,,,,首创团队主要来自清华大学,,,,,,具备大模子、人机交互、软件工程与医学复合配景。。。。。。
目今,,,,,,AI交互保存一个隐形天花板:极端依赖用户显性输入,,,,,,缺乏对隐性非语言信息的感知。。。。。。研究批注,,,,,,人类表达中非语言信息高达55%,,,,,,但现有的机械视觉只望见行动,,,,,,却无法穿透皮肤洞察情绪波动或心理疲劳。。。。。。
无论是物理天下的具身机械人照旧数字天下的语言大模子,,,,,,由于缺乏高精度多模态人类状态数据的输入,,,,,,都只能做机械的被动响应,,,,,,缺乏自动共情的闭环能力,,,,,,无法执行越发泛化的使命。。。。。。
针对这些痛点,,,,,,微面科技基于 rPPG(远程光电容积描记)焦点手艺,,,,,,全栈自研面部基座模子 FacePhys,,,,,,可实时输出凌驾120项指标,,,,,,笼罩心率、心率变异性(HRV)、呼吸率、面部行动单位、眼动特征、情绪维度及语音特征等多个偏向。。。。。。配合HRV情绪心理晴雨表绑放心率与急剧情绪,,,,,,模子可识别假笑和压制情绪,,,,,,获取无法伪装的客观心理真相,,,,,,为大模子提供心理情绪数据入口。。。。。。
此前,,,,,,光照转变、头部运动等噪声,,,,,,一直是 rPPG 心理感知手艺落地中的要害难题。。。。。。为解决这一问题,,,,,,微面科技构建了万人级临床标注数据集,,,,,,包括数万万丈量采样点,,,,,,笼罩差别肤色及重大场景,,,,,,并在安贞医院临床实验中完成验证,,,,,,将重大心理状态建模能力融入基座模子。。。。。。
进一步,,,,,,微面科技还将“状态空间模子”引入心理信号建模。。。。。。
首创人唐健凯先容称,,,,,,这一逻辑与大语言模子“展望下一个 Token”类似:大模子展望的是下一个词,,,,,,而状态空间模子展望的是人体下一时刻的心理行为状态,,,,,,从而一连追踪心跳、呼吸等生命体征的动态转变,,,,,,“实质上,,,,,,是把心跳建模成一个一连物理历程,,,,,,而不是离散视频帧的拼接。。。。。。”
这一突破使系统能够更准确地捕获心脏搏动的时间动态特征,,,,,,无接触实现望闻问切。。。。。。焦点指标上,,,,,,其心率检测精度≤2 BPM,,,,,,抵达医疗级标准;;;;;端侧推理延迟≤10ms,,,,,,可实现实时响应;;;;;同时,,,,,,端侧小模子参数规模仅为0.2M,,,,,,可直接运行于通俗手机和摄像头装备,,,,,,无需依赖云端算力。。。。。。
在心理明确基础上,,,,,,微面科技还进一步构建了多模态“人类明确系统”。。。。。。
通过融合行动、姿态、眼动等空间特征,,,,,,配合HRV情绪心理晴雨表绑放心率与急剧情绪,,,,,,模子不但能够识别用户情绪,,,,,,还能够进一步明确行为背后的需求与念头,,,,,,甚至展望用户的交互意图和行动轨迹,,,,,,实现察言观色和知行先觉,,,,,,为大模子提供心理情绪数据入口。。。。。。
基于这一心理感知基座模子,,,,,,微面科技也在同步推进软硬件一体化结构。。。。。。
图源企业
软件层面,,,,,,公司通过 SDK/API 向机械人、智能座舱、康健装备厂商输出算法能力,,,,,,现在已在三大场景实现规模唬唬;;涞兀杭彝セ等肆煊,,,,,,与海尔机械人等客户告竣量产相助;;;;;康养机械人领域,,,,,,为养老院和社区提供快速康健筛查;;;;;仿生气械人领域,,,,,,实现毫秒级低延时的自然交互体验。。。。。。在车载偏向,,,,,,公司正与某头部 Tier 1 供应商联合推进驾驶员疲劳监测方案的手艺验证及量产准备。。。。。。
硬件层面,,,,,,公司则推出搭载 FacePhys 模子的嵌入式摄像头模组。。。。。。其中,,,,,,焦点产品 Findings 科研数据收罗系统,,,,,,主要面向科研机构与医院提供高精度数据收罗终端,,,,,,已进入批量采购阶段。。。。。。
以下为硬氪与唐健凯的交流节。。。。。。跃嗉
硬氪:海内外尚有其他公司在用rPPG蹊径做心理和情绪识别吗?????
唐健凯:外洋已经有一些公司在做相关偏向。。。。。。好比 FaceHeart,,,,,,主要聚焦心脏康健监测,,,,,,并已经获得 FDA 认证,,,,,,现在更多服务于远程医疗场景。。。。。。但凯时AG偏向不但是心率监测,,,,,,还会进一步笼罩情绪、压力、眼动行为等更富厚的维度。。。。。。从能力界线来看,,,,,,我们是在心理感知的基础上,,,,,,继续向“人的状态明确”延伸。。。。。。
海内也有团队在做 rPPG,,,,,,但大大都方案照旧“录制视频+云端剖析”的模式。。。。。。通常需要先录制30秒以上的视频,,,,,,再上传到云端统一盘算,,,,,,整个剖析历程可能还需要几十秒,,,,,,很难做到实时响应。。。。。。一旦用户中途泛起运动、光照转变或者姿态波动,,,,,,整体鲁棒性就会显着下降。。。。。。
硬氪:为什么微面科手艺够把基于 rPPG 的心理感知做得更精准?????
唐健凯:模子层面,,,,,,我们做了大宗优化。。。。。。焦点思绪是用“状态空间模子”去展望人体下一时刻的心理状态。。。。。。人的心理状态并不会突然从心率60跳到100,,,,,,它自己具有一连性和周期性。。。。。。凯时AG状态空间模子会捕获这种稳固转变纪律,,,,,,再连系医学上的周期波动特征,,,,,,一连展望人体目今状态。。。。。。
别的,,,,,,数据质量也很要害。。。。。。凯时AG训练数据并不是靠大模子“虚拟打标”,,,,,,而是来自医院相助与医疗级装备收罗。。。。。。现在已经建设了万人级临床数据库,,,,,,因此数据客观性和准确性会更高。。。。。。
在情绪明确上,,,,,,我们也有一套完整逻辑。。。。。。好比,,,,,,心理学研究已经证实,,,,,,高 HRV 往往对应更起劲、放松或者兴趣更高的状态;;;;;而强烈运动时心率升高,,,,,,则未必意味着情绪波动。。。。。。因此,,,,,,我们不但会看心理指标自己,,,,,,还会连系行动、姿态、眼动等空间特征,,,,,,一起明确人的真实状态。。。。。。
简朴来说,,,,,,我们是在把“时间维度上的心理一连性”和“空间维度上的视觉感知能力”融合到一个统一模子中,,,,,,让 AI 同时明确人的心理、情绪和行为。。。。。。
硬氪:为什么会进一步做硬件模组?????
唐健凯:视频和语言纷歧样,,,,,,它的信息量很是大。。。。。。若是所有数据都上传到云端处理,,,,,,不但延迟高,,,,,,也会影响实时交互体验。。。。。。因此,,,,,,我们更倾向于端侧处理,,,,,,让感知和推理直接爆发在装备外地,,,,,,这样响应会更实时,,,,,,交互也会更流通。。。。。。
另一个主要原因是隐私。。。。。。我们处理的是心理和情绪相关数据,,,,,,自己属于较为敏感的信息。。。。。。尤其在医疗、康健治理等场景里,,,,,,用户会更希望数据留在外地装备,,,,,,而不是所有上传到云端API。。。。。。
投资人看法
顺为资源:公司研发的实时心理与情绪明确基座模子,,,,,,在手艺蹊径和底层架构上具备全球唯一性。。。。。。该手艺可快速落地智能座舱、机械人和智能硬件等多元场景,,,,,,应用空间辽阔。。。。。。顺为高度认可团队的手艺与产品化能力,,,,,,愿与微面科技在人、车、家全场景深度协同、恒久陪同,,,,,,配合开拓下一代人机交互与具身智能赛道的商业远景。。。。。。
现在,,,,,,越来越多年轻人,,,,,,不再知足于健身房打卡、咖啡馆照相,,,,,,他们背起望远镜、扛起长焦镜头,,,,,,开启了一种“缓慢”的新生涯方式——观鸟。。。。。。在社交平台上,,,,,,这股风潮被称作“打鸟热”。。。。。。“打”是指用镜头“捕获”飞羽之美。。。。。。小红书“观鸟”话题浏览量超8.2亿次;;;;;豆瓣“观鸟喜欢者”小组群集超2500名用户;;;;;抖音一条水鸟腾飞视频播放量破200万……观鸟,,,,,,正从冷门喜欢演变为Z世代的“新户外潮流”。。。。。。