摄影技术的广泛普及与飞速发展深刻地改变了大众的生活，不知不觉中早已对随时随地拿出手机拍摄记录习以为常。但对很多人而言，老照片却承载着心中绵长的岁月和难忘的回忆，凝滞着时光与那些不经意间被遗忘的美好瞬间，翻阅老照片就像是在与遥远过去进行的一场隔空对话。
昔日旧照的分享也频登热门话题榜，带人们坐上时光穿梭机，掀起一场又一场的“复古风潮”。但由于年限久远，早期摄影设备的技术受限，手机搭载的摄像头像素较低，老照片的清晰度往往不高，许多照片还因经过数次转载与压缩导致画质受损严重。
厦门美图网科技有限公司（以下简称“美图公司”）深悉用户需求，2010年成立了核心研发部门——美图影像研究院（MT Lab），致力于计算机视觉、深度学习、计算机图形学等人工智能（AI）相关领域的研发，以核心技术创新推动公司业务发展。2019年，美图影像研究院正式推出人像画质修复技术，通过便捷的一键操作就能实现老照片中低画质人像的高清还原。与此同时，还能修复模糊、失焦以及因压缩所导致的画质受损等各类低清图像场景。此后，针对目前人像画质修复所面对的两个关键性挑战：其一，如何更好地去除图像上导致画质受损的噪声、马赛克、模糊等影响因素；其二，在人像画质修复过程中，如何保留人脸身份信息（identity）并保持人脸不发生形变。MT Lab持续迭代升级AI图像生成技术，基于深度学习方法自主与前沿技术，自主研发全新生成网络结构 MTIR-GAN，并在此基础上凭借美图数亿量级数据对模型进行训练学习，令MTIR-GAN具备优异的人像修复能力。
基于MTIR-GAN的美图画质修复算法V2（升级版），最终实现了对睫毛、眉毛、发丝和肤质等脸部细节最大限度的还原修复，并保留人脸身份信息（identity）保持人脸不发生形变。同时，有效解决因图像多次压缩所导致的画质受损，以及由于拍摄环境如夜拍、抓拍和拍摄过程抖动等造成的照片模糊、失焦、噪声、马赛克等画质修复方面的关键问题。不仅如此，还通过算法升级不断优化美图自研神经网络推理框架，有效提升修复效率，用户在1.5秒以内即可看到单人像修复后的惊艳效果，最大限度地节省了用户的等待时间。
未处理过的原图
美图秀秀处理过的图片变得更加清晰
基于人脸技术
实现画质效果增强
美图画质修复算法V2采取三个步骤对待修复图像进行处理。首先，基于MT Lab的人脸技术对人脸点进行精准定位，针对人脸面部细节多，需要精细化处理的情况，单独对脸部画质进行修复与还原。与此同时，同步对全图进行去彩噪、去噪、去马赛克、去jpeg压缩、去模糊、去轻微抖动等画质修复操作，实现全图画质效果的增强，其中包括低分辨率修复和高分辨率增强。此外，针对分辨率较高的图像处理耗时较为严重的问题，美图画质修复算法V2采取先将待修复图缩小到一定尺度，再进行分块、去噪等画质修复操作，最后通过guided-filter网络结构的画质增强方案将其恢复为原始分辨率，从而高效提升计算效率，大幅压缩处理所需的等候时长。上述脸部修复工作和全图修复工作并行处理完成，修复后的脸部将被贴回图像中，合成完整的修复图。最后，利用超分网络对合成的完整修复图进行处理，实现图像整体画质的清晰度提升。
人脸修复是美图画质修复算法升级的核心部分，人脸修复具体流程包括人脸裁框和脸部生成修复两个部分。其一，是基于最小包围盒矩形框的人脸裁框。MT Lab在人脸裁框上舍弃了以往单纯利用眼睛间距进行人脸裁切的方式，而采用最小包围盒矩形框对人脸进行裁切，以最大限度保证人脸的完整性。其二，是基于MTIR-GAN网络设计的脸部生成修复。目前，StyleGAN2可以生成逼真且高清的人脸，但其生成的人脸是随机的，因而会导致人像身份信息发生改变，无法直接用于人像画质修复。对此，MT Lab通过自研的Encoder网络提取待修复人像的结构信息和纹理，基于结构信息保持人像五官形状，防止发生形变。同时，纹理信息可以用来引导人像发丝、肤色、睫毛等细节生成，继而再输入StyleGAN2的生成网络，就能够获得修复完好且保留人脸身份信息（identity），保持人脸不发生形变的人像照片。实际上，整个流程即通过替代StyleGAN2的w+空间向量和输入其生成网络的常量实现。例如，输入一张大小为1024×1024像素待修复的人像图，经过Encoder网络的8次下采样，可以得到4×4×32的结构特征和512维度的纹理向量，再经过StyleGAN2的生成网络即可得到1024×1024像素的修复脸部图。损失函数包括L1 Loss、Perceptual Loss、Identity Loss、Global D Loss、Facial D Loss。通过修复后图像和target求得L1 Loss，L1 Loss可以使图像恢复得更加清晰。
Perceptual Loss采用vgg-19网络进行计算，可以更好地恢复人像肤色、质感、细节等信息。为更好地实现人像身份信息的保留，采用MT Lab自研的人脸识别算法对人像图进行特征提取求得loss。判别网络类型主要分为全局和局部，基于该分类可以确保修复后的人脸呈现更加真实的状态，局部五官信息则更加清晰并具有丰富细节。其中，全局网络采用类似StyleGAN2的合成方法；局部网络基于人脸点裁剪出眼睛、嘴巴、眉毛三个部位，然后统一resize到256×256尺度再输入判别网络求得Loss。
MT Lab深耕AI领域，
聚焦技术应用
目前，美图画质修复算法V2已于美图秀秀上线，满足用户对照片修复的多元需求，在实现对人像五官、发丝、眉毛、睫毛等人脸细节的进一步优化修复，提升皮肤真实、细腻质感的同时，也解决了在夜间拍摄、昏暗环境、拍摄抖动、抓拍等不同场景下对画质清晰度提升的关键需求。
MT Lab在自研人像画质修复算法上实现了优化升级与不断突破，作为美图公司的顶级研发团队，在人脸技术、美颜技术、美妆技术、人体技术、图像分割、图像生成等多个技术领域处于世界先进水平，以核心技术创新推动美图公司的业务发展，并通过美图AI开放平台与行业共享AI领域最前沿的专业算法服务与解决方案。
在影像科技智能化领域，美图公司的布局和探索背后离不开优秀人才的投入和创新，通过AI人才激励与引入计划，持续引导AI人才生态的完整化。在人才培养方面，美图公司致力于构建顶尖技术研发团队，注重人才培养，在北京、深圳、厦门等城市均设立研发团队，成员来自于新加坡国立大学、复旦大学、厦门大学、华中科大等国内外顶尖高校硕博人才。多年来，美图公司坚守影像产业，不断科技创新，根据国家战略需要和行业发展趋势，持续加大研发投入，开展关键核心技术攻关，将公司长期积累的技术优势转化为新发展动能，为用户和行业提供更好的产品与服务，持续提升自身核心竞争力。目前，美图公司已注册专利451项，持有软件产品著作权192项，在AI领域取得多项荣誉和技术突破。美图公司已逐步形成了由底层、中间层和应用层构建的人工智能产品生态，通过生态的结构，持续为用户带来更优质的影像体验。作为一家人工智能的科技公司，美图公司聚焦“生产力和全球化”战略，坚持科技创新与产品引领，通过不断探索和精耕用户向、行业向的影像数字化解决方案，为用户提供了更好的服务体验。
2023年1月，中国非游戏厂商出海收入排行榜，美图公司排名第4位；2023上半年，美图秀秀蝉联中国图片美化赛道用户规模第一名，美颜相机蝉联中国拍照摄影赛道用户规模第一名，美图秀秀、美颜相机斩获全球多个国家的应用市场总榜冠军。截至2023年6月，美图公司月活跃用户数为2.47亿，其中海外月活跃用户数约7369万，产品和服务覆盖全球200多个国家和地区。
