4月28日，自然语言处理科学家、澳门大学科技学院代副院长黄辉副教授在粤港澳大湾区智能语言服务产业高质量发展论坛上发表主题演讲——《语言智能在粤港澳大湾区的机遇：通用人工智能技术的基础原理与应用》。以下是主题演讲的部分重要内容：
ChatGPT等程序背后的驱动技术，就是人工智能。算法、算力和数据被认为是人工智能发展的三驾马车，也是推动人工智能发展的重要基础。目前ChatGPT 的训练依赖于大量的语言数据，这些数据可能涵盖不同领域、语种和风格的文本。正如业内专家所指出的那样，语言数据也是人工智能训练的基本来源之一，它在人工智能领域中具有非常重要的地位，成为了推动人工智能技术发展的核心驱动力之一。人工智能的迭代需要数据作为基石，数据的价值需要人工智能的充分挖掘。
在过去的发展中，机器化、自动化和信息化等领域都得到了显著的提升。而在接下来的改革中，人工智能将引领工业革命新浪潮，这项技术原本预计在2050年之前取得革命性进展。而2023年初以来，ChatGPT成为现象级互联网应用，短时间内赢得如此大的关注，掀起了人工智能领域的技术巨浪，全球产业界都充分认识到人工智能技术引领新一轮产业变革的重大意义，人工智能将成为未来十年最具颠覆性的技术类别，成为推动人类进入智能时代的决定性力量。
GPT技术的实现离不开自然语言处理技术的发展，尤其是深度学习和自然语言处理领域的最新进展。自然语言处理（NLP）是人工智能和语言学的一部分，它致力于使用计算机理解人类语言中的句子或词语，分为自然语言理解和自然语言生成。ChatGPT是一款以transformer为基础的超大语言模型，在NLP领域有着广泛的应用。从ChatGPT的发展历程可见，ChatGPT1.0到3.0版本，其模型每一次都有超过十倍的增长。从GPT3开始，它加入了情景学习的要素，使得模型的输出可以联系前后文的语义和语境，产生的结果性能更符合逻辑。而在InstructGPT中加入了人类反馈，成为了GPT系列模型性能取得突破的关键因素，即以RL方式依据人类反馈优化原模型，这就是Reinforcement Learning from Human Feedback。通过对大量的文本数据进行训练，ChatGPT可以回答问题、生成摘要、进行文本生成等任务，同时ChatGPT也存在限制，当前ChatGPT即时翻译可能会遗漏信息，但语境学习提高了准确性。
ChatGPT是基于预训练模型实现的问答系统，它通过大量的语料库训练得到一个强大的语言模型，可以对输入的问题进行理解并给出相应的回答。预训练模型(PLMs)的原理、发展趋势、及如何使用，也是我们探讨的重要内容。在自然语言处理领域中，预训练模型通常指代的是预训练语言模型。预训练语言模型其基本原理在于通过给模型提供上下文信息，让它猜测下一个可能出现的指令、词汇或段落。基于深层Transformer的表示模型，如GPT和BERT等，这些模型利用更大规模的文本数据和更深层的神经网络模型来学习更丰富的文本语义表示，使得自然语言处理进入新的“预训练”时代。而GPT的出现打破了自然语言处理各个任务之间的壁垒，让搭建面向特定任务的自然语言处理模型变得简单易行，使得搭建一个面向特定任务的自然语言处理模型不再需要了解非常多的任务背景，只需要根据任务的输入输出形式应用这些预训练语言模型，就能够达到一个不错的效果。
ChatGPT的成功离不开对大量文本数据的收集和处理，这些数据包括网页内容、书籍、文章等等。这些数据需要经过筛选和清洗，以确保模型的训练效果。从过去几年在大模型发表论文还有引用率来看，我们可以发现预训练模型所构建规模越来越大，使用的数据越来越多，可见更大的模型和多模态是预训练语言模型的未来趋势。与此同时，为了提高ChatGPT的性能，还需要对神经网络模型进行优化。这包括模型的结构设计、参数调整、正则化等等，优化过程需要不断地进行迭代和改进。
另外一点，大家都听说过“涌现现象”，涌现现象是由于多个智能系统间相互作用导致整个系统呈现出新的特性或行为，这种新特性或行为无法从单一的系统中预测或解释。人工智能中的涌现现象通常出现在大规模的分布式系统中，例如深度学习中的神经网络。在神经网络中，每个神经元都只负责传递信息，并且没有整体控制它们之间的信息流。然而，在大型神经网络中，当成千上万个神经元同时激活并交互时，会产生不可预测的新模式或行为，即出现了涌现现象。涌现现象具有重要的意义，因为它们可能代表未知和隐含在系统中的特征和关系。在机器学习和人工智能中，通过识别、分析和利用涌现现象，可以更好地理解和建模复杂的系统，从而提高算法的效率和精度。
综合以上人工智能技术的基础原理，以及对ChatGPT不同应用场景的测试发现，ChatGPT的技术主要是通过数据预处理、模型训练、模型测试实现的。对于ChatGPT模型，需要提供大量的对话文本数据来进行训练。在数据预处理阶段，需要对这些对话文本数据进行清洗、标注、分词和编码等处理，从而得到模型所需的输入数据。在模型训练阶段，ChatGPT需要使用前面预处理得到的数据来进行模型训练，采用的是基于梯度下降的优化算法，通过不断调整模型的参数来提高模型的性能和准确度。在模型测试阶段，需要对已经训练好的模型进行测试和评估，从而确定模型的性能和效果。在测试过程中，可以采用多种指标来评估模型，例如生成准确度、连贯性、多样性等等。
随着科技的发展，人工智能已经逐渐渗透到我们的生活和工作中。对个人而言，ChatGPT赋予人们对于追求美好生活的更大想象空间；对于大部分企业而言，ChatGPT可以作为辅助发展行业的手段，利用好ChatGPT将是企业在新时代成长环境中抓住机遇的关键，如何从中小模型里面把知识迁移过来，这是业界关注以及未来学术会研究的重点之一。
