在自然界中，果蠅（Drosophila）經(jīng)過(guò)數(shù)百萬(wàn)年進(jìn)化，擁有了一套"光學(xué)+肌肉+神經(jīng)"三級(jí)協(xié)同的視覺(jué)系統(tǒng)：復(fù)眼負(fù)責(zé)全景感知，頭部肌肉在暗光下主動(dòng)彎曲以持續(xù)鎖定目標(biāo)，神經(jīng)回路則把動(dòng)態(tài)視覺(jué)信號(hào)實(shí)時(shí)重建為場(chǎng)景。這套機(jī)制讓果蠅能以極低的硬件成本實(shí)現(xiàn)遠(yuǎn)超人類眼睛的視野覆蓋和動(dòng)態(tài)響應(yīng)——也正是下一代可穿戴視覺(jué)、混合現(xiàn)實(shí)（MR）、機(jī)器視覺(jué)夢(mèng)寐以求的藍(lán)圖。遺憾的是，過(guò)去十余年間，人工復(fù)眼（ACE）的研究大多止步于對(duì)自然復(fù)眼（NCE）光學(xué)結(jié)構(gòu)的仿制。而果蠅視覺(jué)的精妙之處，在于其“光學(xué)感知—運(yùn)動(dòng)調(diào)控—神經(jīng)處理”的三級(jí)協(xié)同機(jī)制。其中，依靠頭頸肌肉主動(dòng)彎曲以擴(kuò)展視野、鎖定目標(biāo)，以及經(jīng)由 lamina–medulla–lobula 神經(jīng)通路重建場(chǎng)景這兩級(jí)核心機(jī)制，在典型ACE架構(gòu)中長(zhǎng)期缺位。由于結(jié)構(gòu)固化導(dǎo)致“轉(zhuǎn)頭”機(jī)制的缺失，加之果蠅神經(jīng)機(jī)制近年才逐步明晰，ACE始終難以真正跑通混合現(xiàn)實(shí)（MR）的應(yīng)用閉環(huán)。
近日，香港理工大學(xué)張需明教授（通訊作者）、姜衡博士（第一作者）團(tuán)隊(duì)在《Nature Communications》國(guó)際期刊上在線發(fā)表題為"Flexible artificial compound eye cameras for ultrawide continuous tracking in mixed reality" 的原創(chuàng)性論著。
該研究提出并實(shí)現(xiàn)了一種柔性人工復(fù)眼相機(jī)（FACEcam），把果蠅視覺(jué)的"三級(jí)協(xié)同"完整搬到了硬件上：
·第一級(jí)—復(fù)眼光學(xué)｜解決“光路僵局”
將159根帶法蘭塑料光纖穿入精密3D打印穹頂，法蘭端對(duì)準(zhǔn)曲面前端微透鏡陣列，一對(duì)一模擬果蠅小眼（ommatidium）的"角膜–晶錐–感桿"光路，構(gòu)建仿生小眼陣列。該設(shè)計(jì)在團(tuán)隊(duì)基于光纖全內(nèi)反射特性工作的基礎(chǔ)上（H. Jiang et al., Light: Science & Applications 13, 256, 2024），進(jìn)一步利用塑料光纖的柔性及曲面微透鏡陣列的制備，實(shí)現(xiàn)了“曲面接收—平面成像”的無(wú)損傳輸。
·第二級(jí)—肌肉運(yùn)動(dòng)｜突破“半球視場(chǎng)”的物理極限
首次引入兩根系繩（Tethers）模擬果蠅頸部肌肉，賦予復(fù)眼主動(dòng)彎曲能力。這是典型ACE最大的痛點(diǎn)——結(jié)構(gòu)固定，視場(chǎng)角被鎖死，弱光下目標(biāo)無(wú)法累計(jì)信號(hào)增強(qiáng)。而FACEcam通過(guò)主動(dòng)彎曲±45°，將有效視場(chǎng)角一舉拓展至270°，同時(shí)通過(guò)在弱光下追蹤目標(biāo)可實(shí)現(xiàn)目標(biāo)信號(hào)增強(qiáng)。這是團(tuán)隊(duì)在之前飛蛾仿生弱光增強(qiáng)技術(shù)之后的又一種弱光增強(qiáng)技術(shù)探索（H. Jiang et al., Science Advances, 11 eady2069, 2025）。
· 第三級(jí)—神經(jīng)處理｜打通“物理—虛擬”的實(shí)時(shí)鏈路
創(chuàng)新性地對(duì)齊果蠅視覺(jué)通路的Lamina→Medulla→Lobula層級(jí)，在最高達(dá)7,000 fps感知速度的基礎(chǔ)上，構(gòu)建專用CNN架構(gòu)。這不僅是對(duì)生物神經(jīng)信號(hào)的模仿，更是為了彌補(bǔ)硬件限制：算法分類與映射光纖傳來(lái)的信號(hào)，真正實(shí)現(xiàn)了混合現(xiàn)實(shí)場(chǎng)景的高速重構(gòu)。
器件加工里的"微納3D打印"角色
FACEcam 里幾個(gè)關(guān)鍵異形件——直徑 12.6 mm 的穿孔穹頂、平面集束盤(pán)、孔徑光闌、軛架外殼——都是采用摩方精密面投影微立體光刻（PμSL）技術(shù)（ nanoArch? S140，精度：10 μm） 打印制備完成。黑色光敏樹(shù)脂直接成型既能保證亞毫米級(jí)孔位精度，又能吸雜散光，省掉后續(xù)涂黑工序；法蘭光纖一根根穿進(jìn) 159 孔穹頂后，法蘭端面貼死球殼外表面，并對(duì)準(zhǔn)相應(yīng)的微透鏡，保證了光纖與微透鏡光軸指向一致性。
柔性人工復(fù)眼相機(jī)的關(guān)鍵部件及原理
性能驗(yàn)證
團(tuán)隊(duì)圍繞"超廣角感知—暗光追蹤—MR重構(gòu)"主線，對(duì)FACEcam進(jìn)行了系統(tǒng)性驗(yàn)證。首先是全景成像能力。如圖3所示，得益于光纖陣列與微透鏡的精密耦合，F(xiàn)ACEcam在靜態(tài)下即可實(shí)現(xiàn)約180°的高質(zhì)量全景成像；而當(dāng)引入主動(dòng)彎曲機(jī)制后，系統(tǒng)有效視場(chǎng)角被拓展至270°。通過(guò)解析點(diǎn)擴(kuò)散函數(shù)，系統(tǒng)還能估算目標(biāo)距離，賦予了復(fù)眼“感知深度”的能力。
其次是暗光下的主動(dòng)追蹤。如圖4所示，當(dāng)環(huán)境照度低至0.1 lux時(shí)，傳統(tǒng)固定復(fù)眼難以捕捉的目標(biāo)，F(xiàn)ACEcam通過(guò)模擬果蠅“扭脖子”的動(dòng)作，將目標(biāo)鎖定在同一像素區(qū)域進(jìn)行多幀疊加，顯著提升了信號(hào)，實(shí)現(xiàn)了弱光環(huán)境下的穩(wěn)定追蹤。
最后是MR場(chǎng)景的高速重構(gòu)。如圖5所示，佩戴FACEcam的受試者頭部不動(dòng)，僅靠復(fù)眼主動(dòng)彎曲，即可將視場(chǎng)拓展至270°，成功捕捉到視野邊緣的目標(biāo)。結(jié)合仿生CNN算法，系統(tǒng)以毫秒級(jí)延遲將物理世界的目標(biāo)映射為虛擬影像，實(shí)現(xiàn)了虛實(shí)世界的無(wú)縫交互。
從果蠅的視覺(jué)奧秘到混合現(xiàn)實(shí)的落地實(shí)踐，這項(xiàng)研究完成了一次真正意義上的“全棧仿生”。FACEcam 并未止步于靜態(tài)光學(xué)結(jié)構(gòu)的模仿，而是通過(guò)159通道光纖陣列與曲面微透鏡陣列的精密耦合，構(gòu)建了仿生復(fù)眼；更突破性地將“主動(dòng)彎曲”的機(jī)械機(jī)制引入人工復(fù)眼，使其擁有了類似生物的“脖頸”，得以在暗光下主動(dòng)追蹤增強(qiáng)信號(hào)，并將視場(chǎng)動(dòng)態(tài)拓展至270°。在此基礎(chǔ)上，團(tuán)隊(duì)對(duì)齊果蠅視覺(jué)通路的專用仿生卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了從物理信號(hào)到虛擬空間的毫秒級(jí)映射。這種“曲面復(fù)眼+主動(dòng)追蹤+神經(jīng)算法”的深度協(xié)同，不僅填補(bǔ)了典型ACE在運(yùn)動(dòng)控制與神經(jīng)處理層面的空白，更為下一代可穿戴MR設(shè)備、仿生機(jī)器人提供了一個(gè)兼具廣闊視野與“生物直覺(jué)”的視覺(jué)新范式。
原文鏈接：https://doi.org/10.1038/s41467-026-74635-3
