太长不看版： 这篇文章探讨了学习如何学习的能力，也称为元学习。与传统的机器学习不同，元学习的目标是学习一个相似度函数，而不是学习特定任务的规律。这种方法可以大大提高学习效率，并且可以跨任务或领域。作者还分享了他教女儿学习不确定性概念的经历，并探讨了ChatGPT的革命性，它具有跨任务，跨领域的通用能力，这也是元学习的一种应用。 最后，作者强调学习如何学习的能力是贯穿人一生最重要的能力，因为知识或技能会被淘汰，但学习如何学习的能力永远不会。（本段由NotionAI根据下面全文自动生成，只字未改）

作为一个机器学习的researcher，2年前又当了父亲，加之最近ChatGPT的出现，我对研究学习本身这件事情的兴趣愈加浓厚。以前研究机器如何学习，有孩子了以后经常思考人类学习和机器学习的异同，最近感受最深的就是：Learning to learn是学习的核心，也是贯穿人一生最重要的能力。

Learning to learn (学会学习），也称meta-learning(元学习），通俗讲就是学习如何学习的能力。它最大的好处就是不仅大大增加学习效率，而且可以夸任务或领域。

假设我们要让机器学会识别一些动物，传统的方法（image classification)是学出来一个函数y=f(x)，其中x指的是图片，y是分类标签（如猫，狗），目标是学出来一个对应关系f，也就是通过喂给机器每个类别大量的图片（如1000张猫，1000张狗），学会图片像素形成的一些特征（比如像素的一些组合形成的鼻子形状，耳朵形状）到所属类别（猫或者狗）的对应规律，是一种模式识别。这种方法的局限是：学完之后，如果给它一张兔子的照片，它不可能认出来是兔子，因为训练的时候，标签只有猫和狗。Meta-learning是另外一种思路，目标是学习一个相似度函数y=sim(x1, x2), 其中x1, x2是两张图片，y是他们的相似度（比如0和1：0是不像，1是像），同样喂给每个类别大量的图片（如1000张猫，1000张狗），这次我们学习的并不是“图片特征到类别的对应规律”，而是“两张图片像不像”的概念。学完之后，假设想让它再学会认识兔子子，不需要再提供1000张兔子的照片，而是只提供1张兔子的照片，告诉他“这是兔子”。然后考它的时候，拿1张从未见过的兔子测试图片，问“这是什么动物”，因为它已经学会了“长得像”这个概念，它就把这张测试图片和之前那些图片（一些猫，一些狗，一张兔子）对比一下，发现这张测试图片和那一张兔子长得像，所以答出“这张测试图片是兔子！”。

元学习给我们教孩子或者自己学习什么启发呢？那就是，通过重视和对比不同概念之间的关系（如异同）来学习，除了可以更快学会这个概念，更深入理解，更大的好处是这样学到的模型是可以跨概念或者跨领域的。

女儿今年2岁，有段时间早晨送她上学时,Winchester Blvd上的280高速口有工会的人摆出一个“充气大灰狼”（美国工会表示抗议的一种方式）。她每次经过看到“大灰狼”时总是兴奋不已。有天从家刚出发，她问”爸爸，今天有大灰狼吗“。我说：“不一定”。她问“什么是不一定？”，我想了想说：”是不是过去有时候有大灰狼？有时候没有大灰狼？不一定就是今天可能有，可能没有“，她若有所思的低声重复了一遍。湾区度过了阴雨连绵的几天后，一天她问我”明天下雨吗“，我答”不一定“。她忽然很兴奋的提高音量说”和大灰狼一样的！”我愣了一下。她继续“就是可能下！可能不下！”。哈哈，那一刻，你能理解老父亲看到女儿用元学习能力学会了一个不确定性概念的兴奋吗？后来我发现她经常喜欢说什么和什么一样的，我也顺水推舟经常给她通过类比等方式教不同概念。

ChatGPT为什么是革命性的？因为不同于以往的机器学习只能在某一个特定任务或者领域学会，而具有了跨任务、跨领域的通用能力。这个以前其实是机器与人相比，在学习方面无法跨越的鸿沟。其中一个重要原理是，以前自然语言处理（NLP）的研究也都是给定一个特别的任务（task）来学习，即：给定任务下，最大化一个概率 P(output | input), 所以，通常根据特定任务提前制定学习框架，然后学习。然而2018年GPT2的paper”Lanuage Models are Unsupervised Multitask Learners”提出一个想法：把概率改为P(output | input, task), 也就是把任务也作为条件概率的一部分，而且用自然语言来描述这个任务。这个brilliant idea让任务也作为学习中考虑的因素，而不是人工根据任务种类刻意设计框架，所以学出来的模型是通用的，因为学习时把任务已经考虑进去了。这个变化对今天大语言模型（Large Lanuage Model)包括ChatGPT的产生至关重要。其实核心思想也是learning to learn, 就是让机器学习“根据不同任务学习”的方法。

想想这个Learning to learn其实和我们平时俗语中的“触类旁通”，“举一反三”，“授人以鱼，不如授人以渔。”有相通的地方，通过类比可以高效学习。这里“授人以鱼“中的”鱼”如果比作知识，那“授人以鱼”指的就是传授知识，而“授人以渔”中的“渔”就是学习知识的方法，所以“授人以渔“就是教授学习的方法。李笑来之前的那个微信公众号“学习学习再学习”可以翻译为“先学会元学习，再学习”或者“learn after learning to learn”。牛人一般都是举一反三，把看似毫不相关的事情联系起来。刚来美国时，我不知道为什么包括计算机在内的大部分专业的博士学位都被叫做“哲学博士(Doctor of Philosophy)”，后来，我懂了。

知识或技能会被淘汰，但学习如何学习的能力永远不会。