20世纪80年代中期，随着微处理机芯片迅速发展，金怡濂预见到大规模并行处理计算机将成为国际巨型机发展的主流，提出了基于通用CPU芯片的大规模并行计算机设计思想、实现方案和多种技术相结合的混合网络结构，解决了240个处理机互连的难题，从而研制出运算速度达到当时国内领先水平的并行计算机系统，实现了我国巨型计算机向大规模并行处理方向的发展，中国巨型计算机研制进入与国际同步发展的时代。

20世纪90年代，金怡濂撰写了“大规模并行计算机的发展和我们的对策”等论著，倡议抓住机遇，发展大规模并行计算机，使我国赶上世界巨型机技术先进水平。在西方强国对我实行高性能计算机禁运的背景下，金怡濂受命主持研制国家重点工程——“神威”巨型计算机系统，担任总设计师。他提出了以平面格栅网为基础的“分布共享存储器大规模并行结构”的总体方案，提出了网上多种集合操作以无匹配高速信号传送等技术构想和解决方案大获得成功，使我国高性能计算机峰值运算速度从每秒10亿次跨越到每秒三千亿次以上。

“神威”计算机先后安装在北京高性能计算机应用中心和上海超级计算中心。国家气象中心利用“神威”计算机精确地完成了极为复杂的中尺度数值天气预报，在国庆五十周年和澳门回归等重大活动的气象保障中发挥了关键作用。中科院上海药物研究所用“神威”计算机作为通用的药物研究平台，大大缩短了新药的研制周期。中科院大气物理研究所用“神威”机进行新一代高分辨率全球大气模式动力框架的并行计算，取得了令人鼓舞的结果。

“神威”计算机为气象气候、石油物探、生命科学、航空航天、材料工程、环境科学和基础科学等领域提供了不可缺少的高端计算工具，取得了显著效益，为我国经济建设和科学研究发挥了重要的作用。随后，金怡濂继续担任新一代超级计算机系统的总设计师。他提出以三维格栅网为基础的可扩展共享存储体系结构和消息传送机制相结合的总体方案，为系统关键技术指标进入国际领先行列奠定了基础。率先将消息传递、全局共享、规模可变的结点共享三种工作模式集于一体，能够适合不同用户、不同课题的需要，有利于不同模式的国内外已有程序的移植，扩展了使用范围，提出具有双端口异构访问的大规模共享磁盘阵列群的构想，提高了系统效率，针对巨型计算规模庞大、功耗过高等难题，提出循环水冷却、分布式盘阵、透明的保留恢复、高密度组装等创新构想。在研制人员的共同努力下，攻克了相关的技术、工艺难关，有效地提高了系统的可靠性，缩小了系统的体积并降低了功耗。

金怡濂由于主持研制了系列巨型计算机，为中国在世界高性能计算机领域中占有一席之地作出了重要贡献，他先后多次获得国家和部委科技进步奖，其中，一次获全国科学大会奖、两次获国家科技进步特等奖，多次受到党和国家领导人的亲切接见和嘉勉，朱镕基总理称赞他是“做大事的人”。目前，金怡濂院士正在研制运算速度更高的巨型机，新一代巨型机将再次实现跨越式发展，金怡濂院士将为中国巨型计算机的研制再立新功。