Hacker News 每日播报

一个基于 AI 的 Hacker News 中文播客项目,每天自动抓取 Hacker News 热门文章,通过 AI 生成中文总结并转换为播客内容。

华为在AI模型和硬件领域取得新进展,推出了新的MoGE架构和Pangu Pro MoE模型,旨在解决MoE模型在分布式推理中的负载不均衡问题。该模型针对华为昇腾芯片进行了深度优化,实验显示在昇腾NPU上实现了更好的负载均衡和更高的执行效率。这体现了华为软硬件结合构建AI生态的战略,为国内AI发展提供了新的可能性。

MoE模型的挑战与华为的解决方案

当前流行的大语言模型中,MoE(Mixture of Experts,专家混合)架构因其能以较低的计算成本利用庞大参数量而受到青睐。然而,MoE架构存在负载不均衡的问题,即部分“专家”被频繁调用,而另一些则很少,这在分布式部署时会影响效率。

为了解决这一问题,华为提出了MoGE(Mixture of Grouped Experts,分组专家混合)架构。MoGE的核心思想是在选择专家时进行分组,并确保在每个预定义的分组内激活相同数量的专家。这种设计天然地带来了更好的负载均衡,尤其是在推理阶段,能显著提升吞吐量。

Pangu Pro MoE模型与昇腾优化

基于MoGE架构,华为构建了Pangu Pro MoE模型。该模型总参数量达720亿,每次处理输入时激活160亿参数。华为对Pangu Pro MoE模型在自家的昇腾300I Duo和800I A2 NPUs上进行了深度优化。

实验结果表明,MoGE架构确实在昇腾NPUs上带来了更好的专家负载均衡和更高的执行效率,无论是训练还是推理。Pangu Pro MoE在单卡上的推理速度能达到1148 tokens/s,通过加速技术甚至可达1528 tokens/s,性能优于同等参数量或更小的密集模型。论文还指出,昇腾NPUs能够通过大规模并行化训练Pangu Pro MoE,使其在千亿参数以下的模型中具有竞争力,甚至超越了一些知名的开源模型。

软硬件结合构建AI生态

华为此次发布的新模型架构和优化成果,展示了其在AI领域的软硬件结合能力。通过推出新的模型架构MoGE并将其深度优化到自家的昇腾硬件上,华为正在构建一个从底层硬件到上层模型的完整AI生态。

这表明华为正试图在AI算力领域占据一席之地。对于开发者而言,这意味着未来可能会有更多基于昇腾硬件的、性能优异的开源模型出现,为国内的AI发展提供了新的选择和可能性。

帮助用户识别虚假产品评论的工具Fakespot在运营九年后正式关停,原因是其母公司Mozilla未能找到可持续的商业模式。Fakespot曾利用AI技术分析评论可信度,揭示了大量电商平台上的不可靠评论。这一关停决定引发了用户失望和社区对Mozilla战略以及假评论检测挑战的广泛讨论。

Fakespot:识别虚假评论的利器

Fakespot最初由创始人因自身被亚马逊假评论误导而创建,旨在帮助用户识别电商平台上的虚假产品评论。该服务利用AI技术分析评论模式、评论者资料等,判断评论的可信度。

Fakespot的技术能力不俗,曾有研究显示,亚马逊畅销商品的评论中约有43%不可靠,服装珠宝类商品甚至高达88%。这些数据凸显了假评论问题的严重性,以及Fakespot这类工具的价值。Fakespot后来获得融资,并于2023年被Mozilla收购,其技术被整合进Firefox浏览器,方便用户直接查看评论可信度。

Mozilla的关停决定与原因

尽管受到用户欢迎,Mozilla最近宣布关停Fakespot(以及另一服务Pocket),理由是未能找到一个可持续的商业模式,决定将资源重新聚焦于Firefox的核心功能和AI创新。

这一决定让许多依赖Fakespot的用户感到失望。在社区讨论中,不少人质疑Mozilla的战略,认为关掉一个解决实际痛点、有用户基础的服务似乎不太明智,可能是在整合或商业化方面出现了问题。

社区讨论与未来展望

关于Fakespot关停的讨论非常活跃。大家探讨了检测假评论的技术难度,认为这是一场永无止境的“猫鼠游戏”。同时,用户也在积极寻找Fakespot的替代品。

社区还在思考像Fakespot这样的服务如何才能持续运营下去,是应该采用订阅模式,还是有其他可能的商业路径。Fakespot的案例再次提醒人们,即使是解决实际问题的有用工具,也必须找到可行的商业模式才能长期生存。

一篇来自arXiv的论文声称在解决希尔伯特第六问题的一个