关于Granite法学硕士项目
Granite模型是来自IBM Granite模型系列的预训练大型语言模型，这些模型在Apache 2.0许可下可供社区和商业用途使用。Granite模型是基于IBM整理的数据从零开始进行预训练的，它属于Meta公司Llama-2-7B模型的开源实现版本。关于 InstructLab
InstructLab是一个由IBM和Red Hat共同开发的开源项目，其目标是提升生成式AI工作中大型语言模型（LLMs）的协同效果与性能。InstructLab致力于构建一个成本低廉且易于使用的开发环境，让即便是那些对机器学习了解甚少的人也能参与到LLMs能力的提升过程中来。借助 InstructLab，您可以更轻松地对模型进行微调、执行推理操作，或使用模型服务解决方案。这使得从智能自动化到个性化内容生成等一系列应用成为可能。如需了解更多关于 InstructLab 的信息，请访问 他们的官方网站。
新的 Docker Hub 和 Quay.io 提供的 OCI 镜像现已上线。
为了让用户能够更轻松地开始使用这些工具，Red Hat发布了OCI镜像，旨在简化granite-7b-lab模型的部署过程（未来几个月内还计划发布更多Granite模型）以及InstructLab工具的相关使用。这些镜像涵盖了从桌面推理到在配备强大GPU的服务器上进行深度模型微调等各种使用场景。Red Hat共发布了两种不同的OCI镜像，以满足不同使用场景和硬件配置的需求。- InstructLab：这款镜像非常适合希望尝试使用 InstructLab 的桌面电脑或 Mac 用户。它无需任何特殊硬件，就能让用户简单了解该平台的功能。在正式扩大使用规模之前，这款镜像非常适合用于原型开发和测试。
- granite-7b-lab：该镜像专为在桌面或 Mac 环境中运行模型及进行推理而优化，采用了 granite-7b-lab 模型。它无需 GPU 即可实现高效且可扩展的推理任务，非常适合小规模部署或本地测试场景。
为什么要使用这些图片呢？
通过将 InstructLab 和 granite-7b-lab 提供在 Quay.io 与 Docker Hub 上，Red Hat 简化了在各种环境中使用和优化大型语言模型的过程。无论您是在 Mac 上进行实验，还是在配备了 GPU 加速功能的服务器上进行部署，这些 OCI 镜像都省去了大量的配置工作和依赖管理环节，让您能够专注于构建和优化自己的 AI 模型。以下是其中一些主要的好处：
- 在桌面电脑或 Mac 上进行推理：无需专用硬件，即可高效地执行本地 AI 推理任务。
- 跨环境的一致性：OCI镜像能够确保您的AI开发环境在从本地测试到云规模部署的整个过程中保持一致性。
下一步行动
由于 granite-7b-lab 和 InstructLab 的 OCI 镜像现已可用，因此在各种环境中开始使用生成式 AI 工作流程变得极其简单。在体验了这些工具之后，不妨考虑通过利用 Red Hat 提供的其他与 AI 相关的产品来提升公司的能力。Red Hat OpenShift AI是一个灵活且可扩展的人工智能与机器学习平台，它帮助企业能够在混合云环境中大规模地开发并部署基于人工智能的应用程序。OpenShift AI为开发团队提供了可靠且性能稳定的支持，使他们能够进行实验、部署模型，并推出创新的应用程序。
Red Hat Enterprise Linux AI 是一个基于基础模型架构的平台，可帮助企业无缝开发、测试并运行属于Granite系列的大型语言模型，以满足各种企业应用需求。
Red Hat Enterprise Linux AI汇集了以下功能：
- Granite系列开源大语言模型遵循Apache-2.0许可证进行发布，其训练数据集的详细信息也完全公开透明。
- InstructLab的模型对齐工具为广大用户打开了社区开发的大型语言模型的大门。
- 这是一个可启动的Red Hat Enterprise Linux镜像，其中包含了像PyTorch这样的流行AI库，同时还针对NVIDIA、Intel和AMD硬件进行了优化，以实现更高效的推理性能。
- 企业级技术支持，以及开源代码保障带来的法律保障。
通过使用这些产品，您不仅能够简化模型的部署与协同工作流程，还能为整个组织构建一个可扩展的基础设施，从而推动人工智能技术的创新与发展。
原文链接： https://developers.redhat.com/articles/2024/10/21/red-hat-publishes-docker-hub-images-granite-7b-llms-and-instructlab#about_granite_llms