专栏发布 | LLM圈走马换将？微软广告“黑五”来袭 ！
过去一年并不平凡。从去年11月至今，llm大型语言模型持续破圈、始终盘踞热点话题之列。根据adobe analytics的最新在线购物预测，感恩节本土市场假日季的在线收入，或将有望创达2218亿美元。年度机遇近在眼前，跨境出海企业如何抓住机遇、突破销售记录？
对此，llm或许能够给出答案。微软首席执行官萨提亚·纳德拉在刚刚结束的全球ignite技术大会上曾表示，“生成式ai模型的参数范围很广，从需要 azure 中最强大 gpu 的数万亿参数的 llm，到数十亿参数的特定任务slm(小语言模型)。我们都提供了最佳的前沿模型选择，用户、客户及合作伙伴可以使用这些模型构建自己的ai应用，并满足对成本、延迟和性能的特定需求。”
关于“黑五”的创意图 getty
无疑，以llm为代表的ai新浪潮正在为广告营销行业带来巨大变革与飞跃。本月起，“微软全球营销”将通过一系列专栏文章，为读者进行前沿技术解读。今天为大家奉上的是对llm大型语言模型的技术原理详解及科研视角前瞻。
专栏导读
“由大型语言模型驱动的 ai 系统，正加速改变着每个人的工作与生活。作为全球领先的科技企业，微软始终致力于推动前沿技术创新、应用与普及，为世界赋能。我们以丰富的 ai 经验和资源，秉承责任、可靠、可信原则，将 ai 融入微软现有生态，从提供 ai 工具到构筑 ai 平台，与合作伙伴全方位携手、拥抱技术潮流，予力用户、惠及行业、创造社会价值。”
张祺
微软全球资深副总裁
llm的技术原理
图注：llm训练全景图
llm 作为一种具有强大功能的模型，研究人员通过预训练、微调、提示工程和插件等技术手段，使其备了理解自然语言并进行推理的能力。
预练习（pre-training）
谈到llm的预训练，我们指的是一种训练方法。预训练时，llm学习大规模数据，从中提取出尽可能多的共性特征，从而减轻模型对特定任务的学习负担。预训练模型的发展经历了从bert双向变换器模型，到gpt 自回归变换器模型的转变。其中的典型代表即 openai 的 gpt 系列。今年11月，openai正式推出最新的gpt-4 turbo。主要提升包括：上下文对话长度达到128k，采用全新模型控制技术优化输出，以及gpt-4 turbo的知识库更新到2023年4月等。
关于 chatgpt 的创意图 getty
此外，meta 创建的开源模型 llama，也备受外界关注。今年7月，meta在微软的inspire合作伙伴大会上宣布，与微软合作推出llama2，并获得azure 和 windows的支持。10月，llama2的延伸版本llama long 上线，上下文长度达到32k。
meta 开源模型 llama 创意图 getty
微调（fine-tuning）
微调，是在已有的预训练基础上，通过少量的数据对llm进行训练，按要求实现修改和优化，使之在特定任务上表现出更优性能。微调减少了训练新模型所需的时间和资源，同时减轻了标注数据的压力，是一种快速迁移学习的方法。
关于信息数据的创意图 getty
最新的gpt-4 turbo又一大升级，就是允许开发人员定制化微调，例如修改模型训练过程，进行额外的特定领域预训练、运行自定义强化学习后训练过程等。
提示工程（prompt engineering）
提示工程是指设计和构造适合llm输入的提示文本，以引导其产生特定类型的输出。通过设计合适的提示词，可以引导llm在特定领域或任务上表现出更好的性能。llm 在生成文本时具有一定的创造力和自由度。有人也把它称为思维链（tree-of-thought），类似人类解决问题的思维方式，通过试错的方式在解决空间中进行树状搜索，并在必要时进行回溯。思维链主要包括头脑风暴（brainstorming）、评估（evaluation）、扩展（expansion）和决策（decision）四个阶段构成，形成的一整套链路，使得 llm 能够生成多个潜在的解决方案，评估并改进它们，最终给出用户最佳的解决方案。
关于 llm 的创意图 getty
插件和扩展（plugin & extension）
研究人员还会通过添加额外模块或插件，来实现对llm的功能扩展，增强其在特定任务上的能力。例如，auto-gpt 和 jarvis 是llm功能扩展的典型代表。其中，auto-gpt 是一种基于gpt 的自动化工具，它可以利用 gpt-4 的强大功能自动完成复杂任务。用户给定一个目标，它就会将其分解为子任务，并利用互联网和其他工具自动实现。
图为 auto-gpt 的官网首页截图
jarvis 是一个框架，它利用chatgpt 来规划任务流程，根据 hugging face 的功能介绍来选择适合的模型，执行各个子任务，并根据执行结果生成反馈。jarvis 可以实现多领域、多模态的复杂ai 任务，在语言、视觉、语音等方面都取得了令人印象深刻的结果。
llm如何赋能广告
在解析了 llm 的技术原理后，跨境出海企业最想了解的就是究竟如何将llm应用到广告之中。对此，今年9月，微软全球资深副总裁张祺博士在《聚焦ai大航海时代新契机、新模式、新动能》一文中曾给出过答案——搜索引擎的商业模式，如 adwords和竞价排名等，会随技术的进步、体验的迭代而不断推陈出新。
目前，微软广告（microsoft advertising）正在通过 llm 赋能实现垂直创新，为出海企业带来崭新机遇。
以 llm 为基础，以生成式人工智能（aigc）技术为突破口融入了人工智能副驾 copilot。copilot为用户提供了全新的搜索方式，也为广告主及合作伙伴创造了接触消费者的新机会和新可能。借助生成式ai，我们创造出效果出众体感沉浸 、深度融合的广告内容，逐步将一众广受欢迎的搜索广告形式（如文字广告、购物广告、多媒体广告等）及类别（如酒店广告、旅游广告、邮轮广告、信用卡广告、汽车广告等）引入必应聊天，让用户在会话广告中精准获取商品信息，在对比广告中做出智慧决策。
图注：用户可以通过copilot在聊天中进行商品对比。比如用户想购买一辆新车，就会去对比不同制造商和型号的车辆数据。以此情境为例，对比广告会将各型号汽车的数据整理到一份统一报告中，便于用户对比各项指标。随着搜索+聊天的全新模式日渐风靡，会话广告将愈发普及、并适用于多个场景——比如定制某个城市之旅，再比如购买特定颜色和风格的家具建议等。
专为广告主设计的微软广告平台智能副驾（microsoft advertising platform copilot），贴心的聊天机器人将在线聊天指导您洞悉趋势、制定策略、完成创建，最终帮您实现广告目标。您只需描述需求，之后的工作全部交给copilot, 它将基于流程整体协助交付：从素材提炼产品卖点，到结合微软搜索趋势，再到提交完整广告图文方案。借助微软广告平台智能副驾，只需依据品牌及营销目标，即可定制独一无二的专属方案，几分钟内实现个性化精彩广告。
展望未来
在llm颠覆式技术创新大潮下，微软广告致力于为全体消费者提供更便捷、更高效的个性化创意广告体验，助力垂直创新。我们期待帮助广告主及合作伙伴洞察行业先机，通过打造本土创新产品及服务，助力消费增长、推动本地品牌走向全球，在ai的黄金时代实现业务的垂直增长！
llm专栏作者：耿秀波
微软（亚洲）互联网工程院
首席应用科学家
关于微软广告
微软广告（microsoft advertising）致力于为国内广告主提供动态广告解决方案，与合作伙伴一道，共同发掘全球商机、开拓多元市场，现已覆盖187个国家和地区、35种语言，触达全球超14亿受众，并且拥有持续增长的高价值用户。
在领先的ai技术、生产力工具和创新模式驱动下，本地行业与市场都将焕发新生。微软将通过创新产品和服务，助力本土品牌走向全球，实现高速增长。
本文为《技术赋能》专栏系列文章之一
专栏介绍：ai大航海时代，前沿技术无疑为行业革新、企业增长与创意变现提供了新机遇，一场创新模式的革命已如箭在弦，这正是我们策划此专栏系列文章的初衷。在此，来自微软（亚洲）互联网工程院的首席应用科学家以及高级、资深研究员们，将在系列专栏文章中分享他们对人工智能、大语言模型及其应用领域如何实现技术赋能的洞察及前瞻。更多专栏内容，敬请期待！
手工电弧焊的缺陷
比特币是一种避险资产吗
如何提高模具的使用寿命
郑州联通公司打造了河南首个5G全流程多场景智慧庭审系统
骁龙865外挂基带自圆其说！惨被天玑1000锤爆
专栏发布 | LLM圈走马换将？微软广告“黑五”来袭 ！
Redmi Note系列全球销量突破2亿台 新品Note10系列5月26日发布
三星披露下一代HBM3E内存性能
解读机器人编程与机器人语言
Google产品分析Zlatan Kremonic分享了参加Kaggle竞赛的经验
BOSHIDA 电源模块电源合理应用之输出过载保护
电子标识器已成为了构建智慧管网的核心产品之一
TEA1520系列单片开关电源的应用电路及设计要点
linux备份还原工具有哪些?
苹果Q2智能手表出货350万台 同比增长30%
苹果混合现实MR头戴式设备
华为懵逼，小米痛哭，诺基亚8京东首发，售价3188元！
STM32的向上计数模式有哪些特点及应用场景？
揭秘关于5G手机的伪真相
NB-IoT和LoRa各有优势，在产业应用上形成了两大阵营
对此，llm或许能够给出答案。微软首席执行官萨提亚·纳德拉在刚刚结束的全球ignite技术大会上曾表示，“生成式ai模型的参数范围很广，从需要 azure 中最强大 gpu 的数万亿参数的 llm，到数十亿参数的特定任务slm(小语言模型)。我们都提供了最佳的前沿模型选择，用户、客户及合作伙伴可以使用这些模型构建自己的ai应用，并满足对成本、延迟和性能的特定需求。”
关于“黑五”的创意图 getty
无疑，以llm为代表的ai新浪潮正在为广告营销行业带来巨大变革与飞跃。本月起，“微软全球营销”将通过一系列专栏文章，为读者进行前沿技术解读。今天为大家奉上的是对llm大型语言模型的技术原理详解及科研视角前瞻。
专栏导读
“由大型语言模型驱动的 ai 系统，正加速改变着每个人的工作与生活。作为全球领先的科技企业，微软始终致力于推动前沿技术创新、应用与普及，为世界赋能。我们以丰富的 ai 经验和资源，秉承责任、可靠、可信原则，将 ai 融入微软现有生态，从提供 ai 工具到构筑 ai 平台，与合作伙伴全方位携手、拥抱技术潮流，予力用户、惠及行业、创造社会价值。”
张祺
微软全球资深副总裁
llm的技术原理
图注：llm训练全景图
llm 作为一种具有强大功能的模型，研究人员通过预训练、微调、提示工程和插件等技术手段，使其备了理解自然语言并进行推理的能力。
预练习（pre-training）
谈到llm的预训练，我们指的是一种训练方法。预训练时，llm学习大规模数据，从中提取出尽可能多的共性特征，从而减轻模型对特定任务的学习负担。预训练模型的发展经历了从bert双向变换器模型，到gpt 自回归变换器模型的转变。其中的典型代表即 openai 的 gpt 系列。今年11月，openai正式推出最新的gpt-4 turbo。主要提升包括：上下文对话长度达到128k，采用全新模型控制技术优化输出，以及gpt-4 turbo的知识库更新到2023年4月等。
关于 chatgpt 的创意图 getty
此外，meta 创建的开源模型 llama，也备受外界关注。今年7月，meta在微软的inspire合作伙伴大会上宣布，与微软合作推出llama2，并获得azure 和 windows的支持。10月，llama2的延伸版本llama long 上线，上下文长度达到32k。
meta 开源模型 llama 创意图 getty
微调（fine-tuning）
微调，是在已有的预训练基础上，通过少量的数据对llm进行训练，按要求实现修改和优化，使之在特定任务上表现出更优性能。微调减少了训练新模型所需的时间和资源，同时减轻了标注数据的压力，是一种快速迁移学习的方法。
关于信息数据的创意图 getty
最新的gpt-4 turbo又一大升级，就是允许开发人员定制化微调，例如修改模型训练过程，进行额外的特定领域预训练、运行自定义强化学习后训练过程等。
提示工程（prompt engineering）
提示工程是指设计和构造适合llm输入的提示文本，以引导其产生特定类型的输出。通过设计合适的提示词，可以引导llm在特定领域或任务上表现出更好的性能。llm 在生成文本时具有一定的创造力和自由度。有人也把它称为思维链（tree-of-thought），类似人类解决问题的思维方式，通过试错的方式在解决空间中进行树状搜索，并在必要时进行回溯。思维链主要包括头脑风暴（brainstorming）、评估（evaluation）、扩展（expansion）和决策（decision）四个阶段构成，形成的一整套链路，使得 llm 能够生成多个潜在的解决方案，评估并改进它们，最终给出用户最佳的解决方案。
关于 llm 的创意图 getty
插件和扩展（plugin & extension）
研究人员还会通过添加额外模块或插件，来实现对llm的功能扩展，增强其在特定任务上的能力。例如，auto-gpt 和 jarvis 是llm功能扩展的典型代表。其中，auto-gpt 是一种基于gpt 的自动化工具，它可以利用 gpt-4 的强大功能自动完成复杂任务。用户给定一个目标，它就会将其分解为子任务，并利用互联网和其他工具自动实现。
图为 auto-gpt 的官网首页截图
jarvis 是一个框架，它利用chatgpt 来规划任务流程，根据 hugging face 的功能介绍来选择适合的模型，执行各个子任务，并根据执行结果生成反馈。jarvis 可以实现多领域、多模态的复杂ai 任务，在语言、视觉、语音等方面都取得了令人印象深刻的结果。
llm如何赋能广告
在解析了 llm 的技术原理后，跨境出海企业最想了解的就是究竟如何将llm应用到广告之中。对此，今年9月，微软全球资深副总裁张祺博士在《聚焦ai大航海时代新契机、新模式、新动能》一文中曾给出过答案——搜索引擎的商业模式，如 adwords和竞价排名等，会随技术的进步、体验的迭代而不断推陈出新。
目前，微软广告（microsoft advertising）正在通过 llm 赋能实现垂直创新，为出海企业带来崭新机遇。
以 llm 为基础，以生成式人工智能（aigc）技术为突破口融入了人工智能副驾 copilot。copilot为用户提供了全新的搜索方式，也为广告主及合作伙伴创造了接触消费者的新机会和新可能。借助生成式ai，我们创造出效果出众体感沉浸 、深度融合的广告内容，逐步将一众广受欢迎的搜索广告形式（如文字广告、购物广告、多媒体广告等）及类别（如酒店广告、旅游广告、邮轮广告、信用卡广告、汽车广告等）引入必应聊天，让用户在会话广告中精准获取商品信息，在对比广告中做出智慧决策。
图注：用户可以通过copilot在聊天中进行商品对比。比如用户想购买一辆新车，就会去对比不同制造商和型号的车辆数据。以此情境为例，对比广告会将各型号汽车的数据整理到一份统一报告中，便于用户对比各项指标。随着搜索+聊天的全新模式日渐风靡，会话广告将愈发普及、并适用于多个场景——比如定制某个城市之旅，再比如购买特定颜色和风格的家具建议等。
专为广告主设计的微软广告平台智能副驾（microsoft advertising platform copilot），贴心的聊天机器人将在线聊天指导您洞悉趋势、制定策略、完成创建，最终帮您实现广告目标。您只需描述需求，之后的工作全部交给copilot, 它将基于流程整体协助交付：从素材提炼产品卖点，到结合微软搜索趋势，再到提交完整广告图文方案。借助微软广告平台智能副驾，只需依据品牌及营销目标，即可定制独一无二的专属方案，几分钟内实现个性化精彩广告。
展望未来
在llm颠覆式技术创新大潮下，微软广告致力于为全体消费者提供更便捷、更高效的个性化创意广告体验，助力垂直创新。我们期待帮助广告主及合作伙伴洞察行业先机，通过打造本土创新产品及服务，助力消费增长、推动本地品牌走向全球，在ai的黄金时代实现业务的垂直增长！
llm专栏作者：耿秀波
微软（亚洲）互联网工程院
首席应用科学家
关于微软广告
微软广告（microsoft advertising）致力于为国内广告主提供动态广告解决方案，与合作伙伴一道，共同发掘全球商机、开拓多元市场，现已覆盖187个国家和地区、35种语言，触达全球超14亿受众，并且拥有持续增长的高价值用户。
在领先的ai技术、生产力工具和创新模式驱动下，本地行业与市场都将焕发新生。微软将通过创新产品和服务，助力本土品牌走向全球，实现高速增长。
本文为《技术赋能》专栏系列文章之一
专栏介绍：ai大航海时代，前沿技术无疑为行业革新、企业增长与创意变现提供了新机遇，一场创新模式的革命已如箭在弦，这正是我们策划此专栏系列文章的初衷。在此，来自微软（亚洲）互联网工程院的首席应用科学家以及高级、资深研究员们，将在系列专栏文章中分享他们对人工智能、大语言模型及其应用领域如何实现技术赋能的洞察及前瞻。更多专栏内容，敬请期待！
手工电弧焊的缺陷
比特币是一种避险资产吗
如何提高模具的使用寿命
郑州联通公司打造了河南首个5G全流程多场景智慧庭审系统
骁龙865外挂基带自圆其说！惨被天玑1000锤爆
专栏发布 | LLM圈走马换将？微软广告“黑五”来袭 ！
Redmi Note系列全球销量突破2亿台 新品Note10系列5月26日发布
三星披露下一代HBM3E内存性能
解读机器人编程与机器人语言
Google产品分析Zlatan Kremonic分享了参加Kaggle竞赛的经验
BOSHIDA 电源模块电源合理应用之输出过载保护
电子标识器已成为了构建智慧管网的核心产品之一
TEA1520系列单片开关电源的应用电路及设计要点
linux备份还原工具有哪些?
苹果Q2智能手表出货350万台 同比增长30%
苹果混合现实MR头戴式设备
华为懵逼，小米痛哭，诺基亚8京东首发，售价3188元！
STM32的向上计数模式有哪些特点及应用场景？
揭秘关于5G手机的伪真相
NB-IoT和LoRa各有优势，在产业应用上形成了两大阵营