图 | 放射状切片扫描状态下的眼睛及视神经
将肉眼直接用来“照相”，也许将成为可能……
哈佛团队推出的新模型能够分析神经信号，甚至从视觉皮层中直接提取影像。
相比于传统神经解析工具，这项成果大大提高了识别效率和连续性。
眨眼就能照相？哈佛从神经信号提取出图像，成果登Nature© 由 ZAKER 提供
Nature的编辑也评价它“十分优雅”：
眨眼就能照相？哈佛从神经信号提取出图像，成果登Nature© 由 ZAKER 提供
这款模型名叫CEBRA（发音同zebra），是将对比式学习与非线性独立分析相结合的产物。
一名团队成员表示，这个名字十分贴切，因为CEBRA可以把信息“条纹化”，就像斑马一样。
眨眼就能照相？哈佛从神经信号提取出图像，成果登Nature© 由 ZAKER 提供
在小鼠身上进行的实验中，CEBRA视频解析的准确率超过了95
团队还发现，CEBRA在跨越大鼠和小鼠两个物种时的表现具有一致性。
所以可以展望CEBRA在其他物种上的应用，说不定人眼摄像机也会成为可能。
论文通讯作者也表示，未来的目标是将CEBRA集成到脑机接口中：
眨眼就能照相？哈佛从神经信号提取出图像，成果登Nature© 由 ZAKER 提供
本质上，CEBRA是一个神经信号解析模型。
所以它的技能不只有图像获取，只要和神经信号有关的事情，它都能做。
比如根据神经活动来预测肢体的运动行为。
眨眼就能照相？哈佛从神经信号提取出图像，成果登Nature© 由 ZAKER 提供
还可以根据神经信号判断肢体活动是主动还是被动做出。
眨眼就能照相？哈佛从神经信号提取出图像，成果登Nature© 由 ZAKER 提供
对比式非线性学习
行为或神经数据的降维压缩一直是神经信号识别中不可缺少的一环。
研究团队将对比式学习引入非线性独立成分分析模型，提出了新的框架。
对比式学习是一种强大的自驱动学习方式，使用呈现对比关系的样本进行训练，以发现数据间的共性与个性。
用CEBRA的模型训练神经网络，可以得到一种编码器。
这种编码器则可以生成由动作或时间调控的低维嵌入空间。
具体而言，是通过将离散或连续的变量与时间相结合使数据对得到分布，然后再交由编码器处理。
CEBRA获取神经活动嵌入时同时使用用户定义（监督驱动、假设式）和只带有时间（自驱动、发现式）的标签。
这一过程中，CEBRA将行为及时间标签与神经信号一并优化，映射到低维嵌入空间。
眨眼就能照相？哈佛从神经信号提取出图像，成果登Nature© 由 ZAKER 提供
根据数据集大小的不同，优化计算可以采用批量计算、随机梯度下降等不同方式。
优化后得到的低维嵌入既可以用于数据可视化，也可以在解码等下游工作中使用。
相比于传统的非线性降维方式，对比式训练无需生成模型，适用广泛性更强。
鲁棒性与实用性兼具
在事实信息重构的测试中，CEBRA的表现显著优于pi-VAE。
眨眼就能照相？哈佛从神经信号提取出图像，成果登Nature© 由 ZAKER 提供
然后，团队又使用了一个海马数据集进行测试，该数据集被用来作为神经嵌入算法的基准。
在这一轮测试中，团队赋予了pi-VAE卷积网络加持，但最终结果仍是CEBRA更胜一筹。
眨眼就能照相？哈佛从神经信号提取出图像，成果登Nature© 由 ZAKER 提供
鲁棒性方面，团队使用了代数拓扑学方法进行测试。
将CEBRA生成的低维嵌入投影到球面，团队发现了一个环形拓扑结构。
通过计算Eilenberg-MacLane坐标发现，CEBRA的环形拓扑结构与（真实）空间跨维度匹配。
眨眼就能照相？哈佛从神经信号提取出图像，成果登Nature© 由 ZAKER 提供
至于跨个体甚至物种的表现，团队在训练时就使用了包含多种动物的数据集。
测试结果也表明，CEBRA生成的结果具有很高的个体间和种间一致性。
眨眼就能照相？哈佛从神经信号提取出图像，成果登Nature© 由 ZAKER 提供
与完全在未见过的个体上进行训练相比，CEBRA的结果错误更少、效率也更高。
眨眼就能照相？哈佛从神经信号提取出图像，成果登Nature© 由 ZAKER 提供
实际应用中，团队在小鼠身上进行了实验。
他们让小鼠反复观看几段视频，并与小鼠视觉皮层的信号一并作为训练数据。
另有一些视频则用作测试数据，结果显示，CEBRA视频解析的准确率超过了95
眨眼就能照相？哈佛从神经信号提取出图像，成果登Nature© 由 ZAKER 提供
论文地址：
https://www.nature.com/articles/s41586-023-06031-6
项目主页：
https://github.com/AdaptiveMotorControlLab/CEBRA
视力下降问题获重大突破，哈佛团队采用重编程神经元法，恢复小鼠一半视力
衰老是一种机体对环境的生理和心理适应能力进行性降低、逐渐趋向死亡的现象。随着年龄的增长，形态与主要感觉器官功能等都会发生衰退，视觉更是首当其冲。但是，近日有两大海外科研团队相继宣布，其针对衰老和青光眼造成的视力下降问题的研究，均取得了重大突破，或可有效逆转衰老的时钟。
其中，来自哈佛医学院的科学家戴维・辛克莱尔及其同事在国际顶刊 Nature 上在线发表的研究 Reprogramming to recover youthful epigenetic information and restore vision，采用生物学办法来试图纠正眼睛和大脑之间信息传输中的问题。
研究结果发现，可通过把小鼠眼睛的神经元重编程到一个更年轻的状态，让其视力获得再生和恢复。而来自欧洲的科学家则选择将犹他电极阵列植入相应神经元，通过控制注入大脑的电流量形成眼内闪光，让小鼠更快完成识别，从而完全绕开了对眼睛的需求。
众所周知，我们的视觉系统很复杂，不但有接收入射光的感光器，在这些感光器和大脑之间还存在着至少三种类型的神经元。这些视觉输入一旦进入大脑，数个专属区域会将把小块儿的形状与动作构建成场景，从而完成阐释。而这一处理结果可能还会进入处理阅读或面部识别等其他大脑区域，从而进一步解释。
重编程神经元法
在组织修复中，哈佛团队认识到，仅通过激活四个特定基因就可以将许多细胞类型转化为干细胞，这一进展让他们颇为兴奋。但不幸的是，在广泛激活这些基因的同时会造成小鼠死亡，因为这些基因会促进正常细胞丧失同一性并发生分裂失控。
哈佛大学医学院科学家们认为这些问题大多是 MYC 基因引起的，因此，转而专注于处理其余三个基因。第一组实验结果佐证了这一猜想：激活老年鼠细胞中的其他三个基因可以使细胞恢复年轻特性的同时，不会丧失正常的细胞功能。
视网膜神经节细胞是眼内的一种神经元，它们能将伸长的部分（称为轴突）从眼睛连接到大脑。这些轴突如果在发育早期受损，是可以得到再生的，但到了成年以后，这种能力就会很快消失。
因此，研究人员破坏了视神经，然后激活了视网膜神经节细胞中的三个干细胞基因。这样有了活跃的基因，即使是成年和患青光眼的小鼠，也能很快恢复大脑和眼睛之间的联系。最终的视力测试表明，这种基因治疗方案可以恢复近一半的视力。将三个月大的小鼠与一岁左右的小鼠进行比较发现，基本可以确认，这一办法对衰老带来的视力减退情况十分适用。
并且这一研究结果也支持了之前的观点：衰老的背后是表观遗传变异的累积，要逆转某种复杂组织年龄、并恢复其生物学功能是可能的。
值得一提的是，上述所有基因治疗过程均未发生新细胞增长。相反，几乎是依靠现有细胞来修复或替换视神经的受损部分，也就是轴突。而这种修复效果主要取决于甲基化 DNA 化学修饰的变化，这种变化可以改变许多基因的活性。
“绕过眼睛” 的硬件植入法
第二项研究由四名欧洲研究人员完成，主要着眼于眼球下游的部分。
当光信号进入大脑，与视网膜一对一物理映射的区域将首先进行解码。换句话说，大脑中这一率先接收视网膜信号的神经元的几何形状直接反映了视网膜本身的布局。正是利用这种对应关系，研究人员可以通过一些电子设备来尝试激活视觉系统，并做到完全不涉及眼睛。
具体做法是将犹他电极阵列连接到该区域中的神经元。由于此次的实验对象是动物而不是人类，所以研究人员只植入了一组犹他阵列，电极数量也就不多，但这对实验场景来说，也完全满足需求了。
通过这些植入物，研究人员不仅可以连接到视觉信号首先到达并被解释的大脑区域，还可以连接到进行下一步解码处理的大脑区域。这样以来，研究人员就可较为精准地控制注入大脑的电流量，做到只刺激小鼠的小范围视野，而不会使其因刺激过于强烈而不知所措。
这些电流会让小鼠产生所谓的 “光幻视”，就是通常所说的小闪光。而且，根据大脑这一区域的几何形状，研究人员还可以控制闪光灯在视野中出现的位置。
事实上，这一方法真的有效。我们知道，通常灵长类动物的眼睛会不自觉地转向所感知到的闪光源，尽管那个地方实际上并没有在眼睛中显示出实质性内容。有研究人员曾训练猴子，让其识别两个点是垂直排列还是水平排列，研究结果发现，当两个点是由电极产生的光幻视时，猴子们就能分辨出来。尽管这种方法并没有直观的物理展示效果好，但肯定会比随机选择的效果要好得多。
研究人员又试着训练猴子来识别字母，结果发现，当用注入电流来呈现字母时，猴子可以完成识别。换句话说，猴子们可以识别眼内闪光呈现出的字母，同样这种方式并没有展示真实字母的效果好，但是远高于其他随机呈现的方式。
离实际应用还有多远？
美国加利福尼亚州斯坦福大学医学院的 Andrew Huberman 探讨了研究结果是否能推及到人类的问题。他指出，虽然文中描述的转录因子的作用，仍需在人类中进一步验证。但研究结果提示，它们或能重编程不同物种的大脑神经元。
文中提及的两大科学发现虽让人振奋不已，但我们需要明确的一点是，目前为止，这两大实验都还处在早期的动物实验阶段，离人类的治疗还有很远的距离。因为在实验过程中，研究人员无法直接询问那些动物看到了什么，而是只能依靠对它们视觉能力的间接测试。
因此，也就很难解释这两种技术给视觉带来的了多大的变化。并且这类实验还存在很多潜在的安全问题，特别是涉及到改变人类基因的部分。
但这至少意味着，在 “逆生长” 这条道路上，我们再次向前迈出了关键性的 “两步”—— 首先是可以肯定，当对大脑右侧区域的电极进行刺激时会产生人为视觉效果，从而能够实现绕过眼睛恢复视力的目的；
其次是针对衰老或创伤造成的神经功能丧失问题，只需要通过较小的基因干预就能得到恢复。可以想象，这项研究如果得以继续推进，未来必将为除视力问题之外更广阔的层面带来助益。
发布于 2020-12-17 15:25
哈佛科学家找到意识的神经源头
2016-11-12 10:03
http://news.sohu.com/a/118787506_120078003
长期以来，科学家一直致力于理解人类意识。尽管神经科学进展斐然，但我们仍不太明白意识源于何处、如何出现。但如今，哈佛科学家认为，他们也许已经找到意识的物理源头。他们发现，三处大脑区域之间的神经网络似乎对意识至关重要。这一突破意义重大，或许能为植物人病患带来新的治疗方式。
这是有史以来第一遭，科学家发现了觉醒相关的脑干区域和知觉相关的大脑区域之间的联系。大量证据均表明，这片神经网络参与调控人类意识。
通常而言，人们认为意识(consciousness)由两个关键成分组成——觉醒(arousal)和知觉(awareness)。研究人员早已知晓，觉醒很可能受脑干控制——因为脑干调节着我们的睡眠、苏醒、心率、呼吸等。但知觉则较为难懂，科学家一直认为它位于皮质的某处区域，但却无人能够精确定位。
如今，哈佛团队精确定位了觉醒相关的脑干区域和知觉相关的两个皮质区域，三者似乎共同形成意识。该团队分析了36位脑干病变病患的脑干，其中12位处于昏迷状态(即无意识)，24位被定义为“有意识”。结果发现，喙形脑桥背外侧被盖(脑干的一小块区域)和昏迷存在显著关联。在12位无意识病患中，10位病人此区域受损；在24位有意识病患中，仅1位病人此区域受损。这意味着，这块脑干区域对意识而言非常重要。
其次，为探究哪些大脑区域和该区域紧密相连，他们查看了健康人类大脑的脑图谱，即“连接组”——目前为止我们所知的人类大脑中的所有不同连接。结发现，有两个皮质区域和喙形脑桥背外侧被盖相连接，一个位于前脑岛左腹侧部，另一个位于前扣带回前膝部，它们最有可能参与调节意识。之前曾有研究发现，这两个区域和觉醒及知觉相关。但这回，研究人员首次将它们与脑干联系起来。
最后，为检验此结果，研究人员检查了45位昏迷或植物人病患的fMRI扫描图。结果发现，在所有病人的大脑中，这三个区域之间的神经网络均受损。
这是激动人心的第一步。但研究人员表示，他们仍需在更多病人身上检验此结果。此外，我们还需要其它独立团队来证实此结果。与此同时，该研究也有望为昏迷或植物人病患带来新的治疗方式。
该研究发表在Neurology上。
无需用眼：科学家发现章鱼可用皮肤感知光线
章鱼是自然界的伪装大师，可以自由变换身体色彩，
那么章鱼究竟依靠什么感知环境、变换色彩呢，如果你觉得是眼睛，请往下看！
http://www.huanqiukexue.com/uploads/150528/21_112531_1.jpg
看!却不用眼睛！
章鱼是一种很神奇的生物。如果你从未见识过它们伪装或交流时展现的变色和变形能力，请务必点击下面的视频。这还不是最酷的，这些有触手的朋友比我们想的还要神通广大。一篇最近发表在《实验生物学》（The Journal of Experimental Biology）上的文章报道，章鱼的皮肤中含有和眼睛里一样的色素蛋白，这类蛋白可以让它们用皮肤感知光线。
http://www.huanqiukexue.com/uploads/150528/21_112647_1.jpg
图片来源：Flickr/CC BY 2.0
章鱼皮肤变色的原理和变色龙非常相似。这些聪明的头足类动物凭借特殊的色素细胞改变颜色，这些色素细胞大量分布在它们的皮下。每个色素细胞都包含一个环状肌肉包围的色素颗粒弹性囊，当大脑通过神经系统发出命令时，环状肌肉伸展或收缩，使色素细胞的颜色变深或变浅。
人们普遍认为章鱼依靠视觉控制变色行为。它们基本是色盲，却依然用眼睛观察周围的颜色，然后适当地放松或收缩色素细胞，每个色素细胞都呈三原色中的一种，章鱼借此伪装自己，而这一切都在一秒内完成。上世纪六十年代的实验表明色素细胞可以感应光线，而无需大脑的指令，但这项实验到今天才取得进展。”
之前大家以为章鱼用眼睛来控制皮肤颜色，幸亏科学家用不同颜色的光线测试章鱼皮肤上的斑块，如今人们发现章鱼的皮肤本身就能“看到”并适应环境。显然，皮肤与眼睛“看”的原理不同，但也是一种观察周围环境的方式。某种程度上可以当作章鱼的第六感。既然它们是色盲，那么也许是皮肤帮它们融入周围环境实现伪装。
拟态章鱼只生活在富饶的印度尼西亚和马来西亚的河口海湾，那里充满猎物。当发现小鱼、螃蟹、蠕虫等猎物，拟态章鱼会从漏斗状的嘴里喷射出水柱，身体滑过沙子。有时它也会成为其他物种的猎物。像其他章鱼一样，拟态章鱼柔软的身体全由鲜嫩的肌肉组成，没有脊柱和盔甲，看起来也没什么毒性，因而很容易吸引大型深水肉食动物，如梭鱼和小型鲨鱼。拟态章鱼无法摆脱这些掠食者时，会模仿各种有毒动物来保护自己。模仿技能也能让拟态章鱼接近那些一般章鱼捕捉不到的猎物。它会伪装成一只螃蟹的配偶，然后吞噬那些被骗的追求者。
这种章鱼可以模仿有毒的鳎目鱼、狮子鱼、海蛇、海葵和水母。例如，有时拟态章鱼可以模仿鳎目鱼，它收起触手，变成叶状，像喷气推进一样增加速度。有时它伸展触手，待在海底，触手后伸假装是鳍，模仿狮子鱼。有时它把所有触手都举过头顶，每个触手都弯曲成锯齿状，模仿剧毒的食鱼海葵，这样可以吓退许多鱼类。有时它又游到水面模仿大型水母，触手均匀地环绕着身体，缓缓沉下来。（作者：Michael Graham Richard 翻译：颜磊 审校：冯薇）
原文链接：
关注“FightingCV”公众号
回复“AI”即可获得超100G人工智能的教程
点击进入→FightingCV交流群
量子位 | 公众号 QbitAI
往期回顾
基础知识
【CV知识点汇总与解析】|损失函数篇
【CV知识点汇总与解析】|激活函数篇
【CV知识点汇总与解析】| optimizer和学习率篇
【CV知识点汇总与解析】| 正则化篇
【CV知识点汇总与解析】| 参数初始化篇
【CV知识点汇总与解析】| 卷积和池化篇 （超多图警告）
【CV知识点汇总与解析】| 技术发展篇 (超详细！！！)
最新论文解析
NeurIPS2022 Spotlight | TANGO：一种基于光照分解实现逼真稳健的文本驱动3D风格化
ECCV2022 Oral | 微软提出UNICORN，统一文本生成与边框预测任务
NeurIPS 2022 | VideoMAE：南大&腾讯联合提出第一个视频版MAE框架，遮盖率达到90
NeurIPS 2022 | 清华大学提出OrdinalCLIP，基于序数提示学习的语言引导有序回归
SlowFast Network：用于计算机视觉视频理解的双模CNN
WACV2022 | 一张图片只值五句话吗？UAB提出图像-文本匹配语义的新视角！
CVPR2022 | Attention机制是为了找最相关的item？中科大团队反其道而行之！
ECCV2022 Oral | SeqTR：一个简单而通用的 Visual Grounding网络
如何训练用于图像检索的Vision Transformer？Facebook研究员解决了这个问题！
ICLR22 Workshop | 用两个模型解决一个任务，意大利学者提出维基百科上的高效检索模型
See Finer, See More！腾讯&上交提出IVT，越看越精细，进行精细全面的跨模态对比！
MM2022｜兼具低级和高级表征，百度提出利用显式高级语义增强视频文本检索
MM2022 | 用StyleGAN进行数据增强，真的太好用了
MM2022 | 在特征空间中的多模态数据增强方法
ECCV2022|港中文MM Lab证明Frozen的CLIP 模型是高效视频学习者
ECCV2022｜只能11
CVPR2022|比VinVL快一万倍！人大提出交互协同的双流视觉语言预训练模型COTS，又快又好！
CVPR2022 Oral｜通过多尺度token聚合分流自注意力，代码已开源
CVPR Oral | 谷歌&斯坦福（李飞飞组）提出TIRG，用组合的文本和图像来进行图像检索
发布于 2023-05-09 10:41・IP 属地北京