技术创新研究所（tii）通过引入名为falcon的新大型语言模型（llm）为开源社区做出了重大贡献。该模型拥有令人印象深刻的 180 亿个参数，是一个生成式 llm，提供各种版本，包括 falcon 180b、40b、7.5b 和 1.3b 参数 ai 模型。
当40b推出时，它迅速获得了世界顶级开源ai模型的认可。这个版本的，有40亿个参数，是在惊人的一万亿个代币上训练的。在推出后的两个月里，猎鹰40b在hugging face的开源大型语言模型（llm）排行榜上一直位居榜首。falcon 40b的与众不同之处在于，它完全免版税，重量是革命性的举措，有助于使ai民主化并使其成为更具包容性的技术。
猎鹰40b llm是多语言的，适用于多种语言，包括英语，德语，西班牙语，法语，意大利语，葡萄牙语，波兰语，荷兰语，罗马尼亚语，捷克语和瑞典语。这个基础llm作为一个通用的基本模型，可以微调以满足特定的要求或目标。
猎鹰180b开源法学硕士
falcon 180b是具有180亿个参数的超强大语言模型，经过了3.5万亿个代币的训练。它目前在预训练的开放大型语言模型的拥抱脸排行榜上名列前茅，可用于研究和商业用途。该模型在推理、编码、熟练程度和知识测试等各种任务中表现出色，甚至优于 meta 的 llama 2 等竞争对手。
在闭源模型中，falcon 180b仅次于openai的gpt 4，性能与google的palm 2相当，后者为bard提供动力，尽管其尺寸仅为模型的一半。这证明了模型的质量，因为llm对他们训练的数据特别敏感。tii 团队构建了一个自定义数据管道，使用广泛的过滤和重复数据删除来提取高质量的预训练数据，并在样本级别和字符串级别实施。
为了鼓励该模型的创新使用，猎鹰40b发起了科学家、研究人员和创新者的“提案征集”。最特殊的用例将获得训练计算能力的投资，以研究强大的模型来塑造变革性的凯发k8国际真人的解决方案。值得注意的是，该模型仅使用了 gpt-75 训练计算的 3%，龙猫 ai 的 40% 和 palm-80b 的 62%。
猎鹰开发的显着因素之一是训练数据的质量。为falcon 40b收集的预训练数据是近80万亿个代币，从各种来源收集，包括公共网络爬虫（~<>%），研究论文，法律文本，新闻，文学和社交媒体对话。
在 3.5 万亿个代币上接受培训
falcon模型的训练过程涉及同时使用4096个gpu，每小时总计约7万个gpu。falcon的培训数据集由网络数据组成，并辅以一系列精选内容，包括对话、技术论文、维基百科和一小部分代码。该模型已针对各种对话和教学数据集进行了微调，但不包括托管使用。
尽管性能令人印象深刻，但猎鹰模型没有关于最近事件的最新信息。然而，猎鹰模型的发布被视为开源领域的重大进步，在各种基准测试上优于其他模型，如llama 2，stable lm，red pajama，npt等。该模型比llama 2大5.2倍，在各种基准测试中优于llama 2，openai的gpt 3.5模型和google的palm。这使其成为研究和商业用途的强大工具，也是对开源社区的重大贡献。
未经允许不得转载：凯发k8国际真人 » 什么是tii falcon 180b开源语言模型？
