Colton Star Blog

超分相关(Super Resolution)#

1. 图像分辨率<用来评估图像中蕴含信息的参数>,我的直观理解就是图像所含的像素点密度,密度越大,分辨率越高. 而图像的获取首是在物理端成像,然而由于光学硬件的限制 我们可能无法直接得到所需清晰度的图像. 因此通过软件和算法的角度来实现图像超分辨率的重建具有重要的现实意义
2. 图像的超分辨率重建技术<将给定的低分辨率图像通过特定的算法转换成对应的高分辨率图像>. 最简单的方法: 将低分辨率图像进行拉伸放大 并且采用插值的方法对临近色块进行填充 . 但是这种方法只考虑局部整体特征 不能还原出细节以及特殊色块
3. 超分重建算法分类: 传统:(1)插值 (2) 学习训练 而随着计算机发展 深度学习也应用到了这一领域 最为经典的就是 2014年的SRCNN网络模型 参考论文: Image Super-Resolution Using Deep Convolutional Networks | IEEE Journals & Magazine | IEEE Xplore我所理解的流程<1>. 首先对于低清输入进行放大 然后对于模糊的放大图 使用cnn也就是卷积来修补细节 cnn又分为三层
4. 论文相关 cv三大顶会 ICCV ECCV 借助Google Scholar 以及Connected Papers网站

以下是跟 srcnn论文相关的其他论文:[PDF] Enhanced Deep Residual Networks for Single Image Super-Resolution | Semantic Scholar

Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network | IEEE Conference Publication | IEEE Xplore

参考链接:一文掌握图像超分辨率重建（算法原理、Pytorch实现）——含完整代码和数据_基于拼接图像超分辨率重构方法的设计代码-CSDN博客

配准(Registration)#

1. 定义 : 假设我在同一个地方 使用不同设备 在不同角度 不同时间采集了一些图像 我现在要将这些 图像进行匹配 使这些图像中对应同一位置的点对齐 以达到信息融合的目的
2. 目标<在几何上对齐两个图象> .即两幅图像在空间中坐标一致 需求<我为什么要配准>? 统一起来有什么意义?
3. 配准分类(按照图像采集方法): 多视角配准(即同一场景不同视角) 多时相配准(同一场景同一视角 不同时间) 多模态配准(同一场景 不同成像设备 目的是整合不同来源的信息) 刘老师和丁梦竹同学今年的文章便是有关于这一领域 # CRFT: Consistent-Recurrent Feature Flow Transformer for Cross-Modal Image Registration
4. 
5. 相关论文 GDROS: A Geometry-Guided Dense Registration Framework for Optical–SAR Images Under Large Geometric Transformations | IEEE Journals & Magazine | IEEE XploreXPoint: A Self-Supervised Visual-State-Space-Based Architecture for Multispectral Image Registration | IEEE Journals & Magazine | IEEE XploreXPoint: A Self-Supervised Visual-State-Space-Based Architecture for Multispectral Image Registration | IEEE Journals & Magazine | IEEE XploreSPEN: Sub-Pixel Position Error Estimation Network for Multi-Modal Image Matching | IEEE Journals & Magazine | IEEE Xplore
6. 参考链接:【Image Registration】图像配准综述-CSDN博客

我的一些想法#

端侧嵌入式设备的算力性能也许不支持一些模型的算力要求 可以针对端侧进行轻量化处理 以适配市场需求(本人拙见)