【
智慧城市網 品牌專欄】基于觀瀾大模型技術體系,海康威視將大參數量、大樣本量的圖文多模態大模型與嵌入式智能硬件深度,融合發布多模態大模型文搜存儲系列產品——文搜NVR、文搜CVR。
海康威視文搜存儲系列產品利用多模態大模型實現自然語言與視頻圖像的跨模態信息檢索應用,輸入一句話、一個詞就能秒級檢索目標圖像。目標檢索變得更廣、更準、更快、更易,讓安防錄像回溯不再局限于傳統時空、報警等檢索方式,大幅提升目標和事件的查找效率,讓安防業務管理更高效、更智能。
搜得廣
開放式語義檢索,搜人搜車搜物
基于多模態大模型,文搜存儲產品實現了海量視圖數據的開放式語義檢索,不再局限于傳統的錄像回放及固定屬性查找。
根據需求,在搜索框內輸入文字描述(一句話或一個詞等),例如輸入“打電話”、“白色面包車”、 “騎電瓶車未戴頭盔”、“自行車”、“小推車”、“小狗”等開放文字語義描述,即可搜索出相關目標。
搜索范圍廣,既支持人、機動車、非機動車等安防場景的高頻目標搜索 ,也廣泛支持特定物品、異常行為等特征搜索。
搜得準
文字與圖像精準匹配
利用多模態大模型技術,提取圖像與擬搜索語言的特征,并將圖像特征與搜索語言中關鍵語義特征對齊,實現高精度搜索。
如能夠理解 “穿紅色衣服”、“黑色背包”、“戴帽子”、“拉桿箱”、“棍棒”等對目標的文字描述,精準搜索出相關目標。針對常見目標的檢索,TOP20命中率可達90%以上。(數據來自海康威視實驗室)
搜得快
秒級出搜索結果
采用數據三級緩存、均衡抽樣、異步加載等創新技術,實現文本搜索結果的秒級顯示。
搜得易
極簡操作,輕松搜索
除了手動輸入文本進行檢索外,貼合用戶常用情景,增設找人、找機動車、找非機動車、找寵物、找常用物品等快捷搜索入口,還支持用戶自定義編輯搜索慣語,讓操作更簡單,使用更便捷。
基于觀瀾大模型技術體系,推進產品創新
文搜存儲系列產品基于海康威視觀瀾大模型技術體系,實現智能化應用的變革。觀瀾大模型中的圖文多模態大模型,在大語言模型的基礎上,使用圖文多模態數據進行持續預訓練,獲得視覺感知和視覺認知能力。受益于圖文多模態大模型強大的感知能力和跨任務泛化能力,視覺智能業務的應用門檻被顯著降低。
文搜存儲系列產品是多模態大模型算法與嵌入式智能硬件結合的應用突破,通過面向平臺的模型設計、大小模型蒸餾、跨層混合精度量化等大模型部署技術與嵌入式智能硬件創新設計,實現多模態大模型在輕量化嵌入式硬件平臺上落地,讓多模態大模型技術實現普惠應用,使更多行業和用戶享受大模型帶來的智能與便捷。
版權與免責聲明:
凡本網注明“來源:智慧城市網”的所有作品,均為浙江興旺寶明通網絡有限公司-智慧城市網合法擁有版權或有權使用的作品,未經本網授權不得轉載、摘編或利用其它方式使用上述作品。已經本網授權使用作品的,應在授權范圍內使用,并注明“來源:智慧城市網”。違反上述聲明者,本網將追究其相關法律責任。
本網轉載并注明自其它來源(非智慧城市網)的作品,目的在于傳遞更多信息,并不代表本網贊同其觀點或和對其真實性負責,不承擔此類作品侵權行為的直接責任及連帶責任。其他媒體、網站或個人從本網轉載時,必須保留本網注明的作品第一來源,并自負版權等法律責任。
如涉及作品內容、版權等問題,請在作品發表之日起一周內與本網聯系,否則視為放棄相關權利。