32 条回复  ·  3643 次点击
MidCoder 楼主 初学 2025-6-12 13:54:59
@NoOneNoBody 赞同,因为思考本身没有标准答案,这个就不太好定义,不管现在各类评测维度怎么评,其实都无法定义一个模型绝对的好坏,所以可能这本身就是一个不断演进的一个问题,就像不断去开发一个大脑
coefuqin 初学 2025-6-12 14:37:46
全是论点,毫无论据,且论点毫无新意。 你真想有点深刻感悟,你得下沉到具体的技术层面里去,你下沉的深度决定了你的理解深度(如果你彻底理解了 ML ,DL,RL,DRL ,你会有新的更深刻的认知)。现在就是浮在外围感慨万千罢了。 以下是我的认知观点: 1 ,围绕当前 LLM 一切,已经可见发展的天花板,并很快( 1~2 年不会有代际迭代出现)逼近。 2 ,LLM 下一个 3~5 年的突破是结合具身智能,并融合当下发展起来的记忆能力,当然这并不会融合的很好( LLM 和 DRL 的融合)。 3 ,所谓的“AI”口号的下一个具体技术方向是,脉冲深度强化学习( SDL ),这是让具身智能真正有用武之地的一个很有可能能做成( 80%~90%)的路线。 4 ,所谓的“AGI”(取决于怎么定义,如果你认为现在就是 AGI ,亦可)遥遥无期(保守估计 20 年以后的事了)。 5 ,上述 4 点你可以不认可。
MidCoder 楼主 初学 2025-6-12 15:01:58
@coefuqin 首先感谢你的指点,确实对于大模型内部的细节和模型能力本身的迭代演进方面了解不多,这方面确实受限于当前的视野所约束。这里想表达的是,作为一名非大模型领域的人员,当前的 AI 和之前有什么区别,以及站在当前我们应该要做什么,特别是作为一个互联网的工程同学。 我觉得去和专业的大模型算法去拼算法的网络结构和训练细节,并不是我们所擅长的,特别是从事互联网工程很多年的同学,所以作为这样一个角色,站在当前这个环境下,我们应该做什么是我想阐述的。 当然我觉得随着未来模型能够被规模化的应用,覆盖更多的场景。posttrain 会是比较关键的,包括前段时间 deepseek 的出现,也体现出了 RLHF 的重要性,包括采用什么策略进行 RLHF (是 REFL 还是 DPO ,还是 deepseek 提出的 GRPO ),怎么进行好的 SFT 或者 RLHF ,都和更加高质量的数据相关,或者说针对未来要进行垂类的精调,是要有更好的垂类行业数据,这样可以提升模型对垂类行业的理解和模型结果的准确率。而对比 pretrain ,可能会趋于收敛,受限于它本身的训练成本很大,对比 posttrain ,pretrain 更多的是让模型具备更大的上线去提供后续模型能力的无限可能。所以如果未来能够提供更加低成本和更加高效的 posttrain 基建,加上可以快速收集整理垂类行的高质量数据,可以加速模型在各行业的高质量落地。
coefuqin 初学 2025-6-12 15:22:57
@MidCoder #12 "作为一名非大模型领域的人员,当前的 AI 和之前有什么区别,以及站在当前我们应该要做什么,特别是作为一个互联网的工程同学。" 2022 之前 DRL 是主流,2022 之后生成式虽然是主流,但清醒过后就会发现 DRL 才是是真正的发展方向。 我觉得当前( 3~5 年)工程领域最佳实践就是 langchain/dify ,RAG/kAG ,mcp stack ,memory stack ,结合当前的各种前后端/移动端 去适配新旧 idea 。这产生不了跨时代的产品,只是创造二流的平庸产品。 但是想做出跨时代的产品,得有跨时代的前瞻性视野。
coefuqin 初学 2025-6-12 15:27:03
@MidCoder #12 预训练和后训练都已经极限,后训练里强化学习所带来的 reason 能力,是不是真的能力,目前都是争议。互联网数据已经用尽,垂直领域的数据比互联网更少。 真正的数据来源是每个人每天眼睛看到的数据,这个数据是无穷的,但是目前对这些数据的聚合在法律法规人伦道德以及技术手段来说,都还没有突破。
MidCoder 楼主 初学 2025-6-12 15:45:35
@coefuqin 认同,我觉得要试下跨时代的产品,就是需要大家想要的 AGI 的到来。但是过程中确实需要慢慢去迭代,更主要是这个过程更多的是一个定性的问题,并不是一个定量的问题。所以在很多事情上都是摸索着推进,这里包括数据获取、法律法规的演进等。基于当前的视角看,AI 结合场景在未来三年内能够做的事情是相对比较确定的;等到三年之后,可能模型的上线再次没打破,又会进入下一个新的阶段,或许就是这样一步步迭代出一个大家想要的跨时代技术(纯属个人乐观猜想)
coefuqin 初学 2025-6-12 16:18:50
@MidCoder #15 我可以给你一个启发性的场景,什么时候具身智能厂商能演示: 1 ,你手中一个随机打乱的魔方。 2 ,你丢出你手中的魔方到地毯上,随机滚动到一个位置。 3 ,你给指令当前空间中的具身智能机器人:破解你丢出去的魔方并归还给你。 4 ,机器人能自动规划寻找路径,能类人一样用手拾取拾取魔方,能双手在有限时间破解魔方,成功之后将魔方递还给你。 以上这个场景随机出现,并不被厂商预训练。能演示上述场景的厂商,将领先同行一个前瞻性段位。科幻电影里的情景才可能有望在现实中出现。
murmur 小成 2025-6-12 16:20:52
为什么不回归本质 AIGC 这个 C ,第一个干死的就是网文、艺术、音乐类 编码和 RAG 的数据上下文茫茫多,一首歌就 4 分钟还没有上下文 suno ai 这几年太惊艳了,现在专业人士评测 AI 已经做到专业的 70 分了,这可能是普通人一辈子学不来的 为了写歌你要学乐理,配器,编曲,作词,唱歌,录音,混音,母带 但是有 AI 你一句提示词就够了
MidCoder 楼主 初学 2025-6-12 16:27:10
@coefuqin 我觉得这个随着模型的迭代,这个应该是可以实现的,问题就是需要多久时间,这个是不确定的。就这个场景,在确定性指令的情况下,模型都应该是可以实现的,如果指令对应的场景是在现实生活中发生过的,并且可以被记录下来,那么都有可能被模型所学习到,这就是模型迭代学习的过程,通过不断加强数据的获取,确实随着时间推移,容易拿到的数据基本所剩无几了(其实现在基本到了这个阶段),后面可能就是需要结合知识性的数据去构造数据,甚至让模型自我去基于自己的输出数据去学习(其实 RLHF 也是这个过程)。现在比较难的是,模型要解决的问题域明确定义,或者是没有量化定义,所以总能举出一些反例来说明模型还不够聪明,但是这些反例放在发展的视角看,其实就是模型需要进行新的迭代的输入
MidCoder 楼主 初学 2025-6-12 16:32:45
@murmur 但是对于真正专业的来说,还是无法被替代的,因为如果不够专业,也就写不出专业的提示词,写不出专业的提示词,模型也就无法真正的能够创作出高质量的内容。那些专业性不强或者创造性的确实会被容易替代
返回顶部