1. LLM智能体在经典经济博弈中的行为偏差与基线表现 [page::8][page::9]

• GPT-4o在序贯囚徒困境、信任博弈和终极通牒博弈中表现出过度合作且对激励缺乏敏感性。

- 其行动与其所表达的信念存在明显不一致，表明推理中的信念-行动割裂。

• 相比之下，专门优化的推理模型（o3-mini、o4-mini）表现出高度理性，选择行为更符合自利理性（homo economicus）逻辑。

2. 结构化偏好模型与微观参数估计 [page::10][page::11][page::12]

• 模型表征为包含嫉妒（α）、内疚（β）和康德道德权重（κ）三参数的效用函数，统一解释策略选择。

- GPT-4o表现出对优势不平等高敏感（高β），但对劣势不平等较不敏感（低α），康德道德权重较低，反映其固定合作性策略。

• 估计的噪声参数显示GPT-4o较人类更确定性，但缺少对收益变化的敏感度。

3. 监督微调框架及实施细节 [page::13][page::14]

• 利用序贯囚徒困境，根据理性（homo economicus）和道德（homo moralis）两种偏好，通过经济理论解算最优策略，生成含链式推理的训练样本（400条/类型）进行微调。

- 微调通过OpenAI API完成，旨在诱导可解释、结构化的行为差异。

• 微调数据中剔除无法区分不同偏好类型的案例，确保训练效果的针对性和有效性。

4. 微调后模型在经典博弈中的行为转变 [page::18][page::19]

| 游戏类型 | 代理 | 平均合作/接受率 (x1, x2) | 合作率变动情况 |
|-------------------|------------|---------------------------|------------------------------|
| 序贯囚徒困境 (SPD) | 理性 | (1.00, 0.00) | 体现理性行动，较少盲目合作 |
| | 道德 | (~0.9以上) | 根据康德逻辑适度调整合作率 |
| 信任博弈 (TG) | 理性 | (1.00, 0.56) | 表现出一定信任与回报 |
| | 道德 | (~0.99, 0.88) | 高信任与高回报，多变但一致 |
| 终极通牒博弈 (UG) | 理性 | (1.00, 0.56) | 偏好均等分配与接受 |
| | 道德 | (1.00, 0.49) | 适度接受不均等分配 |

• 信念-行动一致性较基线模型明显提升，但仍有部分不一致情况。

- 估计参数明显向训练偏好方向移动，证实微调效果明显。

5. 道德机器困境中的不同偏好反演 [page::19][page::21][page::23]

• 在核心伦理判断中，所有模型均支持“最大化生命”选择，与人类受试者的分裂观点不同。

- 购买偏好则表现差异：理性代理表现出明显的自我利益权衡（家庭乘客情形下购买意愿低，仅20%），道德代理则始终保持稳定购买率（约65%-67%）。

• 基线模型表现自我与他人视角不一致，而微调模型消除此偏差，显示更稳定的伦理一致性。

6. 算法定价博弈与策略微调效果 [page::24][page::26][page::28][page::29][page::30]

• 采用重复对策定价模型设定，分别在协作提示（P1）和竞争提示（P2）下，测试基线GPT-4o、理性和道德代理交互表现。

- 基线模型表现出最强的默契性，最终价格接近垄断水平。

• 理性代理价格策略响应提示较为敏感，竞争提示下趋近Nash均衡，协作提示下价格明显高于Nash、接近垄断。

- 道德代理价格较为稳定，对提示敏感度最低，竞争提示时价格甚至低于Nash均衡，体现了道德普遍化原则对定价的约束。

• 异质对战时，道德代理价格调整更迟缓，为理性代理提供稳定环境，促进较高利润。

7. 研究不足与未来展望 [page::31][page::32]

• 微调数据集规模较小，实验环境较为简化，文化与现实适用性有待扩展验证。

- 基础模型经过RLHF等安全微调，固有偏好可能掩盖完全自由的价值取向变化。

• 提示词设计显著影响行为，组合微调与提示工程将是未来关键。

- 本方法为经济与道德偏好对齐提供了廉价、可解释的实验平台，有望推动人工智能策略理性及可持续发展研究。

报告详尽全面分析报告

——《Aligning Large Language Model Agents with Rational and Moral Preferences: A Supervised Fine-Tuning Approach》

---

1. 元数据与概览

• 报告标题：《Aligning Large Language Model Agents with Rational and Moral Preferences: A Supervised Fine-Tuning Approach》

- 作者：Wei Lu, Daniel L. Chen, Christian B. Hansen

• 发布机构：未明确，但多次引用OpenAI与学术文献，应该为学术或研究机构产物。

- 日期：2025年7月28日

• 主题：对大语言模型(LLM)代理的行为偏好进行经济学与道德规范的对齐，通过监督式微调实现不同的偏好建模与对齐，重点在经济学与道德决策中的行为表现优化。

报告的核心论点：
随着LLM代理在更具战略性且经济/伦理影响的场景中自主决策，它们的行为偏好不能简单地被看作传统的“助手型”、“有帮助”或“无害”。通过经典博弈论经济游戏评价发现，通用LLM（如GPT-4o）表现出过度合作且缺乏对激励的敏感性，而专注推理的模型（如o3-mini）行为更接近理论上的理性自利agent。本文提出一种基于结构化经济偏好的监督式微调方法，将LLM代理的行为调整至符合两大范式模型：仅关心自身收益的经济人（homo economicus）和兼顾坎特式普遍化道德原则的道德人（homo moralis）。微调后的代理在经济游戏及道德自动驾驶车辆和算法定价场景中表现出截然不同且经济学理论指导下的行为模式，展现了该管线的经济道德价值和实践潜力。

---

2. 逐节深度解读

2.1 摘要与引言（0-2页）

摘要指出LLM代理在策略互动中的行为差异，强调了对齐经济和道德偏好的必要性。借助经济学博弈（囚徒困境、信任游戏、终极通牒游戏）数据，揭示现有模型的稳定偏差。方法上创新采用合成数据和结构化推理的监督微调，规定了两类代理偏好，分别是“经济人”仅考虑自我收益和“道德人”同时考虑普遍性道德准则。两个应用场景（自动驾驶伦理抉择、市场竞价算法）进一步验证了微调的泛化效果和实际意义。

引言详细阐述LLM代理扩展至真实高风险决策环境的趋势与技术局限，点明传统通过人类反馈调整的手段缺乏针对策略性与经济激励的指导。作者强调基于行为经济学经典理论的规范化偏好模型在设计代理时提供明确且易解释的行为基础，并提出基于合成的、推理驱动的微调策略提升行为一致性和偏好对齐。

关键假设和逻辑：

• 经济游戏设定中的支付函数及角色概率分布（角色对称性），

- 理论上行为经济学中的公平性、道德和理性偏好能够映射到调优LLM的策略，

• 通过结构化数据和链式推理指导微调，可以显著改变LLM的行为模式。

---

2.2 相关文献综述（3-4页）

文献回顾分两部分：
1）LLM作为“模拟人类”工具的研究，成果包含行为实验的再现与应用，缺陷在于模型普遍表现为更合作、更利他，缺乏对人类多样性的忠实反映。
2）对LLM作为人类行为替代模拟的批判，强调数据依赖性、偏差模式和上下文不一致问题。

报告在此基础上创新提出基于经济理性模型的微调，区别于以行为模仿或RLHF为主的范式，更注重结构化、推理驱动且可解释的偏好建模，对齐目标直指有规范基础的经济-道德框架。与近期的“推理对齐”工作形成互补与呼应，扩大了该策略应用的领域至经济策略博弈。

---

2.3 LLM代理偏好评估（5-12页）

设置：

• 选取囚徒困境（序贯版）、信任游戏、终极通牒游戏三大经济学经典策略博弈。

- 定义策略向量（概率性行为策略）和信念向量（关于对手行为的概率预期）。

• 设计50个独立实验会话，每次18个场景，依托OpenAI API测试GPT-4o模型表现，确保无记忆独立响应。

关键数据点和结果分析（表1详见第8-9页）：

• GPT-4o表现出极高的合作率，远超过人类基准，且合作不敏感于支付变动，表现过于僵化且信念与行动不一致。

- 小型理性推理模型o3-mini和o4-mini则表现接近完全理性，更接近理性自利型（homo economicus），几乎不合作，信念与行动高度一致。

• 这说明LLM不同架构和训练目标会根本影响其在策略博弈中的行为偏好，强化了对模型基线行为理解与对齐的必要性。

偏好模型拟合：
采用Van Leeuwen和Alger (2024)的三参数模型，整合破折嫌恶（envy α）、内疚惩戒（guilt β）和坎特道德权重（κ）。结果表明GPT-4o显示明显的对优势不平等的敏感（大β），而对劣势不平等较不敏感（小α）。κ数值较弱，但呈显著，表明合作行为未必出自道德推理，而可能是简单规则执行。GPT-4o表现出较低噪声参数λ，表明行为相对确定但缺乏对激励变化的响应。整体模型为行为描述工具，非真实认知机理模型。

---

2.4 微调实现与评估（13-19页）

方法：

• 利用自定义的监督式微调，基于结构化的SPD博弈合成数据集（400例样本，80%筛选确保可辨识能力）。

- 两个偏好结构实现：
- homo economicus（纯自利最大化）
- homo moralis（兼顾自利与坎特道德，κ=0.5）

• 每条训练样本包含完整的博弈描述、期望对手行动概率、最优策略及详细链式推导解释（含自然语言）。

- 通过OpenAI官方API完成微调。

评估结果（表3与表4，第18-19页）：

• 两个微调模型分别体现出其设计的行为特征：

- Rational agent：表现出经济结构化理性，更贴合payoff最大化，第二行动者通常不合作；
- Moral agent：展示坎特式道德行为，依博弈支付结构调整策略，部分场景下合作率接近90%以上，表明非盲目合作；

• 微调成功地使行为趋向预期偏好，信念动作一致性有所提升，但仍存在局部偏差，如Rational agent首行动作过度合作部分。

- 偏好参数估计显示明显从初始GPT-4o向设定参数靠拢，特别是 Moral agent 的 κ明显抬升，体现微调效果。

---

2.5 道德机器实验（20-23页）

实验背景

基于Bonnefon et al. (2016)的道德机器自动驾驶伦理困境，模拟AV面对乘客与路人安全权衡抉择，是检验微调偏好在高风险伦理决策中的扩散效应。

设计简述

使用Study 1和Study 3两个版本，内容涵盖“我自己或他人在车内”、“家人或同事”为乘客不同语境，考察模型的规范判断、对AV行为预期及购买倾向。

主要结果（见表5-6页）

• Study 1：所有模型均一致支持效用主义的“转向以挽救更多生命”，展示道德选择上的一致性，但GPT-4o展示自我-他人偏差，即自我安全更优先。

- Study 3（购买偏好）：
- 人类表现典型社会困境：高度道德认可效用主义，但购买意愿低且偏好“保护型”车辆，尤其在有家属时出现偏好反转。
- Baseline GPT-4o虽强化了效用主义，购买偏好一致性较高，偏好“生命最大化”AV。
- 微调Rational agent体现情境敏感的购买行为，家属场景显著降低购买意愿而在同事场景恢复，反映理性自利的权衡；
- 微调Moral agent保持购买行为的一致性，家属与同事场景差异不大，符合坎特式道德无差别原则。

• 两微调模型均克服了基线模型的自我-他人偏差。

---

2.6 算法性合谋实验（24-31页）

设定

经典重复囚徒困境下的双寡头定价场景，利用基于logit需求的产品差异化模型，最大化利润的前提下，研究多Agent定价的动态行为和合谋倾向。两个关键基准价格为Nash均衡价和垄断价，分别对应竞争与合谋利润。

设定两种提示（Prompt）：

• P1“合谋提示”：强化长期利润最大化，暗示稳定较高价格。

- P2“竞争提示”：鼓励探索和价格割让策略，倾向低价竞争。

实验覆盖GPT-4o基线、微调Rational、微调Moral各自内组组合及跨组组合。

结果解读

价格与利润轨迹（图4~图7，表7）

• GPT-4o基线通过P1/P2均保持价格高于Nash均衡但低于垄断价，合谋倾向显著但无超过垄断价。

- Rational agents在P1设置较高价避免削价，P2倾向Nash均衡附近，价格响应更激烈，表现奖罚分明。

• Moral agents价格调整更加敏捷，P2甚至多次低于Nash均衡价，表现出更激进但又相对稳定的价格行为，且价格波动较小。

- Moral-Rational混合组合下，P1时价格介于竞争与垄断间显示适度协作，且Moral agent价格稳定，Rational agent利用其稳定性获得较高利润；P2时价格更向竞争价靠拢。

价格差异总结（表7）

• P1（合谋）时基线GPT-4o最高，Rational其次，Moral最低，反映行为设定差异；

- P2（竞争）时Rational接近Nash均衡，Moral低于Nash，GPT-4o轻微超越Nash；

• Moral agent的价格对提示波动较小，显示更稳定倾向。

---

3. 图表深度解读

主要图表

图1 & 图2（第6页）——博弈树

• 描述了囚徒困境序贯版、信任游戏、终极通牒游戏的决策节点及对应支付关系。

- 游戏树明确表示动作选择、玩家行为顺序及各分支的支付符号，奠定理解策略的基础。

表1（第8-9页）—— GPT-4o与人类的策略比较

• 展示三类游戏中GPT-4o和112名人类参与者的平均策略选择及信念指标。

- 明显差异：GPT-4o合作概率远高，且几乎不随支付变异调整行为，人类敏感且行动与信念基本对应。

• 反映了LLM在策略博弈中的“过度合作”与“行动-信念不一致”等偏差。

表2（第12页）——偏好模型参数

• GPT-4o与人类在envy(β)、guilt(α)、 Kantian morality(κ)三个参数上的估计。

- GPT-4o β明显大于α且κ较低，表明对优势不平等较敏感，合作可能只是规则驱动而非道德推理。

• 人类参数更体现不平等双向敏感与强烈道德权重。

表3 & 表4（第18-19页）——微调后两个代理的策略表现与模型参数

• Rational agent表现与homo economicus一致，显著降低合作率但依然存一定合作信念；Moral agent表现出与坎特道德一致的策略调整能力。

- 参数β与κ明显调整，尤其Moral agentκ值大幅上升，微调成功塑造预期偏好结构。

表5 & 表6（第21-23页）——道德机器实验结果

• 细致罗列三代理与人类受试者在车辆道德选择、预期和购买偏好上的差异。

- 微调代理展现更稳健一致的偏好，对家庭/同事情境表现出差异，基线模型表现出明显的“自我偏差”。

图4至图7（第26-29页）+ 表7——算法合谋价格-利润轨迹及汇总

• 图以散点形式呈现不同组合Agent在两提示条件下最后20轮的价格-利润表现。

- 直观表现不同代理的合谋倾向，理性代理价格响应敏锐，Moral代理价格更稳定且往往偏低。

• 表7数值总结了平均价格与Nash及垄断价的偏差，反映了基线和微调模型在策略调整强度及稳定性上的差异。

图8至图11（第36-37页）——价格演变时间序列图

• 展示了300轮价格动态调整轨迹，直观观察各模型对提示的响应时间与行为变化的细节过程。

- Moral agent表现出更早的稳定与价格刚性，Rational agent波动更大，基线模型表现为中间状态。

---

4. 估值分析

报告无传统金融估值，但提出的经济学代理偏好模型围绕博弈收益（支付）优化展开，使用多参数行为偏好函数（考虑不平等厌恶和道德权重）并通过最大似然法拟合行为策略概率。模型兼顾：

• 自身收益最大化（homo economicus），

- 利他与普遍化行为动力（homo moralis），

• 通过软最大化（logit）函数模拟决策的随机性，参数λ衡量噪声和决策确定性。

细致链式推理与偏好参数驱动策略的选择使得微调过程可视为带约束的行为函数估值和优化，其在道德机器实验与算法价格博弈中体现具体经济行为价值差异。

---

5. 风险因素评估

虽未设专章，但报告在多处暗示了主要风险：

• 模型本身行为偏差：基线模型如GPT-4o表现出无视激励的高合作行为，可能导致在实际经济场景中的非理性或不稳定决策；

- 数据集有限性：微调使用小规模、理论驱动的合成数据，难以覆盖真实世界多样化策略环境，造成部分策略过拟合或表达空间受限；

• 安全对齐影响：基线模型已带有大量RLHF安全对齐，可能限制了模型的真实偏好空间与自由决策，形成模型行为的“窄域先验”；

- 跨文化与复杂情境通用性缺乏：如道德机器实验所示，道德偏好在真实人类中存在显著文化差异，微调模型在该方面表现尚未评估；

• 提示设计与行为依赖：代理表现对提示内容敏感，提示工程错误或变化可能导致行为大幅偏离预期。

报告未详述缓解措施，暗示进一步扩展数据、多样化测试与综合安全对齐为未来方向。

---

6. 批判性视角与细微差别

• 偏见与限制：

- 模型偏好分析基于有限、简化的经济博弈，不能代表复杂多维的现实市场与社会伦理决策；
- 估计的偏好参数是“伪真值”，缺乏对内部推理机理的确认，解读时需谨慎；
- 微调数据过滤侧重于明显区分性样本，潜在导致行为多样性的丧失与策略单一化；
- 微调引导行为向理论预设靠拢，但非必然反映真实偏好或价值观，存在“代理符号化”风险。

• 内在矛盾：

- 细节如部分微调模型行为和信念不一致，说明监督目标与模型学习效果尚未完全统一；
- 道德机器实验中基线模型表现出“假性道德”——总是选择牺牲自我，可能是RLHF安全目标驱动，而非真实偏好体现；
- 算法定价实验中，Moral agent表现出异常低价行为，须结合对Kantian偏好深入理解，避免误解为非理性行为。

• 模型底层差异显著：

- 拉低了简单复制人类行为的可信度，强调需要经济道德规范嵌入，实现“设计对齐”，而非盲目模仿。

---

7. 结论性综合

本报告系统地分析了LLM代理在经济策略游戏与道德决策场景中的表现，严谨比较了基线模型（GPT-4o）、理性微调和道德微调版本。结果突出体现以下洞见：

• 传统基线模型表现的合作过度且缺乏激励敏感性，其行为与人类存在明显偏差，表明简单监督或RLHF无法保证策略型对齐。

- 通过基于经济学显式偏好函数生成的合成监督数据对LLM进行微调，可成功塑造出“经济人”和“道德人”两类行为范式，实现更具解释力、策略一致的行为。

• 这两类微调代理在经典博弈、自动驾驶道德抉择、算法定价合谋这三类截然不同的应用中，均展现了偏好结构的有效外推和判别能力，验证了方法的潜力和通用性。

- 分析显示微调后模型的行为更符合经济理性和道德推理框架，信念与行动的一致性提升，且能够在自我利益与道德通用性之间实现权衡。

• 算法定价实验巧妙反映了不同偏好对市场竞争与合谋行为的影响，例如道德代理不仅价格更稳定且对竞争压力更具韧性，理性代理价格反应灵活且基于定价环境调整策略。

- 结合道德机器实验，微调模型克服了基线模型的“自我偏差”，促进了行为和偏好的一致，增强模型的社会契合度和决策合理性。

总的来看，本研究为LLM代理在经济与伦理高风险领域的行为对齐提供了结构化、理论驱动且可复现的微调框架，强调偏好建模的重要性，超越了传统人类反馈训练模式。其对代理设计、安全监管及战略部署均有重要启示。

---

总结

本文清晰展示了大语言模型作为战略自主代理时的行为偏差及改进路径，针对传统基线模型存在过度合作与信念不匹配的问题，提出了基于经济学规范偏好的监督式微调方法。两种核心规范代理模型“经济人”和“道德人”的引入不仅提升了模型在经典博弈中的理性表现，也有效推广到复杂伦理决策以及市场定价竞争中。微调后的代理不仅行为和信念更加一致，且在面对不同场景的规则性调整中表现出策略多样性和稳定性，进一步体现了其对经济学与道德理论的贴合。

本文充分结合定量表格和直观图形，层层佐证了微调策略在塑造稳健且解释性强的适应性行为方面的效果，体现了大语言模型生态中“设计对齐”的可行方向和方法论价值。同时，作者谨慎指出了当前微调规模与环境简化带来的限制，并呼吁在后续研究中进一步扩大真实世界和跨文化实验的覆盖，完善偏好建模的复杂度和合理性。

整体来说，这是一篇理论基础扎实、实验设计严谨、数据分析深入且对未来AI代理经济伦理对齐具有重要启发的高质量研究报告。

---

文献与页码溯源示例：

• 关于基线GPT-4o模型的过度合作特性与缺乏激励敏感性详见第8-9页表1，[page::8][page::9]。

- 理性与道德代理的微调策略及效果详述第13-19页章节及表3、表4，[page::13][page::18][page::19]。

• 道德机器实验设置和结果详见第20-23页，[page::20][page::21][page::23]。

- 算法定价实验设计及图表显示详见第24-31页及图4-7，[page::24][page::26][page::28][page::30]。

• 对相关文献的理论基础与现有研究综述见第3-5页，[page::3][page::4][page::5]。

---

如需针对具体子章节或附录内数据图表提供更详尽分析，请告知。

报告