公司动态
分享创造价值 合作实现共赢

公司动态

当前位置: 首页 > 新闻动态 > 公司动态

GPT-4背后的开发者:七个团队 30多名中国

发布时间:2023-03-20 09:21:59作者:顺晟科技点击:

: ChatGPT OpenAI  人工智能 (1)本周,OpenAI的大型号GPT-4的发布,让全球科技圈的技术竞争白热化。没过几天,ChatGPT、bing搜索、微软365相继接入GPT-4,微软的AI应用瞬间领先于竞争对手。有人甚至说新的工业革命已经开始。

一方面,我们被GPT-4的效果所震惊,另一方面,我们也迫不及待地想知道它背后的技术,想知道它的训练方法和计算能力。但遗憾的是,OpenAI并没有开放。在发表的论文中(实际上更像是一份技术报告),OpenAI明确表示,除了RLHF微调,GPT-4模型不会透露任何技术细节。

鉴于GPT-4等大型模型的竞争和安全影响,本报告不包含有关架构(包括模型大小)、硬件、训练计算、数据集构建、训练方法等更详细的信息。但在这份报告中,OpenAI详细列出了贡献者及其负责的工作。这值得我们认真研究。这数百名贡献者的名单和分类可以帮助我了解GPT-4成功背后各部门和技术分支的努力。

在本文中,我们对有代表性的贡献者进行了盘点,希望对读者有所启发。R&D人员占绝大多数。从组织架构来看,GPT-4背后的R&D团队大致可以分为七个部分:前期培训、长脉络、愿景、RL对齐、评估分析、部署、附加贡献。预培训部分的工作细分为:

计算集群扩展数据分布式培训基础设施硬件正确性优化架构培训一ng润保姆的工作细分为:长上下文研究;长上下文内核的工作细分为:架构研究。

Computer Cluster Extension (Computing Cluster Extension) Distributed Training Infrastructure (Distributed Training Infrastructure) Hardware Correctness (Hardware Correctness) Data (Data) Alignment Data (Adjustment Data) Training Running Babysitter Post-deployment Training (Post-training Deployment) Strengthening Learning Alignment Part of the work is subdivided into: Data Set Contribution (Data Set Contribution) Data Infrastructure (Data Infrastructure) ChatML Format (ChatML Format) Model Security (Model Security) Rejection.

Basic RLHF and instruction work (basic RLHF and InstructGPT work) The work of the evaluation and analysis part of the flagship training run code function (code capability) is subdivided into: OpenAI evaluation library model rating evaluation infrastructure (model grading evaluation infrastructure) accelerated prediction (acceleration prediction) ChatGPT evaluation capability evaluation (capability evaluation) coding evaluation (coding evaluation) real world use case evaluation (real world use case evaluation).

污染调查、指令遵循和API评估、新能力发现)…….看完投稿人名单,不难发现GPT-4项目组成员通常“身兼数职”。对于想要赶超ChatGPT的科技公司来说,OpenAI提供的部门架构模型提供了一些可以借鉴的思路。此外,对AI领域人才未来的发展方向也可能有一些启示。

在ChatGPT发布后,OpenAI在人才招聘方面也做了一些调整,招聘了数十名前谷歌和Meta员工来创建人工智能聊天机器人。

在OpenAI上,谷歌是“硅谷的黄埔军校”的称号:根据LeadGenius和Punks Pinstripes的数据,该公司的300多名员工(数据截至2023年1月)中有许多来自谷歌和DeepMind的母公司Alphabet。数据显示,OpenAI目前雇佣了约59名谷歌前员工和约34名Meta前员工,其中包括多名苹果和Yama前员工。

鉴于OpenAI在GPT-4发布的第一时间公布了所有贡献者的名单,机心整理了部分参与该项工作的中国学者。如有遗漏,请补充。特雷弗蔡(Trevor Cai)是GPT-4项目中吞吐团队的负责人。Trevor Cai毕业于南加州大学,硕士学位,2022年3月加入OpenAI。在加入OpenAI之前,Trevor Cai作为一名软件工程师在DeepMind工作了近5年。袁

袁是四号项目数据集来源和处理团队的负责人。袁本科毕业于清华大学,硕士毕业于得克萨斯大学奥斯汀分校。2018年加入OpenAI。此前,袁在微软工作了近三年。车畅

车畅作为OpenAI副总顾问参与了GPT-4的研发。他毕业于西北大学,2021年加入OpenAI。在此之前,他在AWS领导人工智能/机器学习和营销业务的法律团队。最近OpenAI的法务团队还在招聘AI产品顾问。欧阳龙

欧阳龙于2019年加入OpenAI,担任研究科学家。欧阳龙毕业于哈佛大学,获学士和博士学位,在斯坦福大学从事博士后研究工作。欧阳龙还参与了ChatGPT相关技术项目的研发,他也是InstructGPT论文的第一作者。Lilian Weng是OpenAI人工智能应用研究的负责人。她于2018年加入OpenAI,主要参与GPT-4项目的前期培训、强化学习对齐和模型安全。徐涛

徐涛于2019年加入OpenAI,毕业于北京大学和康乃尔大学。徐涛在微软必应机器学习研究小组工作了四年。Jie Tang从加州大学伯克利分校获得计算机科学博士学位,她的导师是Pieter Abbeel。在加入OpenAI之前,他在创业公司和Dropbox工作了大约四年。唐杰曾就读于哈佛大学,并于2008年获得计算机科学和经济学学士学位。王贲

王贲目前是宾夕法尼亚大学的本科生,于2021年加入OpenAI。王贲参与了GPT-4项目的前期培训和长期背景。视觉集团陈唐山陈唐山于2018年加入OpenAI,担任研究科学家,毕业于麻省理工学院(MIT)。他参与了GPT-4项目的视觉工作。凯西朱

Casey Chu于2020年加入OpenAI,毕业于斯坦福大学计算数学专业。Casey Chu的主要研究方向是多模态人工智能系统,他主要参与GPT-4项目中的视觉。胡胜利

胡于2022年加入OpenAI。她毕业于复旦大学硕士学位和康奈尔大学博士学位。她的研究兴趣是社会科学、计算语言学、计算机视觉和语音学的跨学科研究。胡胜利在自然语言处理、计算机视觉、语音学和应用统计学领域的顶级会议和期刊上发表了多篇论文,包括CVPR、ACL、EMNLP、ECCV等。并获得最佳论文奖提名。郑天豪

天昊Zheng2022于2022年加入OpenAI。他毕业于清华大学,在德克萨斯大学奥斯汀分校获得学士和博士学位。在加入OpenAI之前,他曾在英伟达、谷歌和Twitter工作。郑天豪主要参与了四号项目的视觉工作。翁嘉仪

翁家翌(Jiayi Weng)2020年在清华大学计算机科学与技术系获得本科学位。本科在朱军教授组学习期间,主要参与了强化学习算法库Tianshou(天授)的开发,该项目已获得5.9K GitHub Star。CMU 硕士毕业后,翁家翌加入OpenAI 任研究工程师。

强化学习 对齐组

Chong Zhang

Chong Zhang2010年就读浙江大学计算机系,2014年在加拿大西蒙弗雷泽大学获得学士学位,随后在谷歌、苹果公司担任工程师。2019年就读加州大学洛杉矶分校,2021年获得计算机硕士学位后,在OpenAI 工作至今。

Shengjia Zhao

Shengjia Zhao2016年本科毕业于清华大学,2022年在斯坦福大学获得计算机科学博士学位,师从Stefano Ermon,随后加入OpenAI。

Stephanie Lin

Stephanie Lin 本科和硕士期间分别就读于麻省理工学院和佐治亚理工学院。加入OpenAI 之前,她曾是牛津大学研究学者。

Tong Mu

Tong Mu 本科就读于加州大学洛杉矶分校,后在斯坦福大学获得博士学位。2022年加入OpenAI。

Jeff Wu

Jeff Wu 本硕均就读于麻省理工学院。他是初创公司Terminal.com 的第二名员工,该公司被收购后,他曾在谷歌工作约2年的时间。2018年,Jeff Wu 加入OpenAI。

肖凯

肖凯(Kai Xiao)在麻省理工学院获得了学士学位和博士学位,曾在微软、DeepMind 等机构实习。2022年9月加入OpenAI。

Kevin Yu

Kevin Yu 在加州大学伯克利分校获得物理学学士学位及神经科学博士学位。2022年加入OpenAI。

Haozhun Jin

Haozhun Jin2013年本科毕业于清华大学计算机系,2015年获得斯坦福大学硕士学位。2015年到2018年,他在Meta 担任软件工程师,2023年1月加入OpenAI。

顾世翔

顾世翔是出生于日本的加拿大华人,曾是谷歌研究院研究科学家,研究领域包括深度学习、强化学习、概率机器学习和机器人技术。他拥有剑桥大学和马普所智能系统研究所的机器学习博士学位,在多伦多大学获得了工程科学学士学位,论文指导教授为Geoffrey Hinton。

评估 分析团队

Alvin Wang

Alvin Wang2022年8月加入OpenAI,为评估 分析团队核心贡献者之一。此前他曾在VMware、Tesla 等公司工作过几年。2013年本科毕业于南加州大学。

Angela Jiang

Angela Jiang 于2021年11月加入OpenAI,在微软和谷歌有过短暂的工作经历,她本科毕业于西北大学,于CMU 获得博士学位。

Jason Wei

Jason Wei 于今年2月加入OpenAI,主要研究ChatGPT。此前他是谷歌Brain 的高级研究科学家,在那里推广了思维链提示,并共同领导了指令调优工作。他在谷歌和Jeff Dean 等人共同撰写了关于大模型涌现能力的论文。

Juntang Zhuang

Juntang Zhuang 于2022年4月加入OpenAI,此前曾在谷歌实习四个月。他本科毕业于清华大学,硕士毕业于耶鲁大学,并在耶鲁大学拿到博士学位。他的研究主要是为生物医学应用开发新的机器学习技术。

Derek Chen

Derek Chen 于2021年加入OpenAI,是一名技术安全分析师。他毕业于美国东北大学,此前在谷歌工作过不到一年的时间。

宋飏

宋飏(Yang Song)目前在OpenAI 担任研究员,并将于2024年1月加入加州理工学院电子系(Electrical Engineering)和计算数学科学系(Computing and Mathematical Sciences)担任助理教授。宋飏本科毕业于清华大学数理基础科学班,2022年获得斯坦福大学计算机科学博士学位,师从Stefano Ermon。

他的主要研究方向是机器学习,包含深度生成式模型(deep generative models),概率推理(probabilistic inference),人工智能安全性(AI safety),以及人工智能方法与其他科学领域的交叉(AI for science)。他是扩散模型(diffusion models)和分数匹配生成式模型(score-based generative models)的主要奠基人之一。他发表在NeurIPS2019的工作首次在图片生成质量上实现了对生成对抗网络(GAN)的超越。

博士期间他的一作论文获得了ICLR2021杰出论文奖,相关研究获得了苹果奖学金、摩根大通奖学金,以及WAIC 云帆奖。

模型部署

Michael Wu

Michael Wu2021年加入OpenAI,主要的工作是人工智能应用研究。Michael Wu 毕业于MIT,是GPT-4项目的推理研究负责人。

Andrew Peng

Andrew Peng2022年底加入OpenAI,他曾经在微软工作两年。Andrew Peng 毕业于加州大学伯克利分校,主要参与GPT-4API 和ChatML 部署方面的工作。

吴雪枫

吴雪枫(Sherwin Wu)2022年加入OpenAI,主要的工作是人工智能应用及API 开发。吴雪枫毕业于MIT,在GPT-4项目中主要参与API 开发和ChatML 部署方面的工作。

Jason Chen

Jason Chen 本科就读于麻省理工学院,2007年到2014年期间在谷歌担任软件工程师,2014年到2019年任职于初创公司Apptimize,2019年到2023年2月任职于Argo AI,2023年2月加入OpenAI。

其他贡献者

Xin Hu

Xin Hu 于2022年6月加入OpenAI,主要负责开发用于云安全、k8s 安全、认证/授权和访问控制的安全服务和平台。

此外,在GPT-4的开发上OpenAI 也对微软表示了感谢,特别是微软Azure 服务为模型训练提供了基础架构设计和管理方面的支持,微软必应团队、安全团队也对GPT-4的部署等工作作出了贡献。

(举报)

TOP

QQ客服

18910140161