Linux on POWER:发行版迁移和二进制兼容性考虑事项

 新葡亰操作系统     |      2020-02-13

除此之外,Scala 官方还罗列了一些相关问题,包括争取在 2020 年年底之前发布第一个候选版本、如何采用类型化抽象语法树 TASTy 处理二进制兼容性问题、宏无法从 2.x 直接迁移到 3.0、以及性能、测试工具与 IDE 支持等,详情查看官方说明:

例如,在包含 glibc 2.3.3 的 SLES9 系统上编译的二进制文件可以在包含 glibc 2.4 的 SLES10 系统上运行,因为 2.4 版本是向后兼容的。不过,在 SLES10 上编译的相同源代码将不能在 SLES9 系统上运行,因为它包含旧的 glibc。仅当您在当前的发行版上开发应用程序,并且想在不提供旧版本兼容库的旧发行版上运行该应用程序时,才会出现这种问题。

如果在从 2 到 3 的迁移期间,迫切需要在这些限制之外发展标准库,开发团队可能最终仍会选择发布 Scala 2.14 版本。

发行版 32 位 64 位
RHEL3 > RHEL4 向前兼容 向前兼容
RHEL4 < RHEL3 向后兼容 向后兼容
SLES9 > SLES8 向前兼容 NA
SLES8 < SLES9 NA NA

主要目标是提供从 Scala 2 到 3 的平滑且增量的迁移路径,要实现此目的,Scala 2.13 和 3.0 将使用相同的标准库,并且它们的编译器后端将以相同的方式输出字节码。

“二进制兼容性概述” 小节讨论的最后一个例子涉及到在两个不同的处理器类型上运行相同的二进制文件:POWER5 处理器和 POWER6 处理器。POWER6 架构是 POWER5 架构的改进,同时又保持与 POWER5 兼容,这就允许您在这两个平台上运行相同的应用程序。

但是,这也意味着对标准库的二进制不兼容更改将不得不等到 Scala 3.x 系列中的稍后版本,届时将拥有补救二进制不兼容的工具。更具体地说,由于 Scala 2.13 在其系列之内保持向前和向后二进制兼容,因此无法添加或删除任何类或方法。

从 glibc 2.3 发布开始,Linux 中的线程模式就改变了,并且 Linux 内核也从 2.4 版本升级到 2.6 版本。在 glibc 2.2 和内核 2.4 中使用的传统 LinuxThreads 模型已被 Native Posix Thread Library (NPTL) 取代。NPTL 是从头构建的,为包含大量线程的应用程序提供出色的性能。可以在 Red Hat 文章 “The Native POSIX Thread Library for Linux” 找到更多关于 NPTL 规范的详细信息(参考资料 部分提供相关链接)。

Scala 官方公布了 Scala 2 接下来的发展计划,开发团队表示工作将转向 Scala 3,而不是开发 Scala 2.14。


重点虽然转移到 Scala 3,但将继续维护 Scala 2.13,以确保社区有足够的时间谨慎地过渡到 Scala 3。

优化性能

共享的 ABI

了解二进制兼容性以及它与运行在 Linux® on POWER™ 上的不同操作环境之间的关系。考察 IBM 支持的两个 Linux on POWER 发行版,即 Red Hat Enterprise Linux (RHEL) 和 SUSE LINUX Enterprise Server (SLES),了解它们各自的各个版本之间的二进制兼容性。总体而言,通过在版本之间维护的稳定 Application Binary Interface (ABI) 可以实现从基于 2.6.9 内核的 RHEL4 顺利迁移到基于 2.6.18 内核的 RHEL5。该方法同样适用于从基于 2.6.5 内核的 SLES9 迁移到基于 2.6.16 内核的 SLES10。了解能够改善 Linux on POWER 应用程序的性能的新技术,并遵循一些步骤确保未来的多个发行版之间的二进制兼容性。[“参考资料” 部分提供额外的参考内容 —— 编辑。]

除了标准库,通过共享 ABI,Scala 3.0 和 2.13 工件可以共同存于类路径上并且可以无缝地互操作,这样可以逐步迁移并简化测试。

表 1. 受支持的特性以及 RHEL 和 SLES 发行版的代码级别

共享标准库

2.6 内核和 POWER6 架构包含能够改进应用程序的性能的特性。性能的改进得益于不同的库、处理器特性和编译器更新。有一些性能改进不需要修改应用程序,而另一些性能改进需要重 新编译源代码。记住,重新编译以获得性能改进可能会损害二进制文件在某些环境中的兼容性。这个小节提供一些例子,它们展示能够改进应用程序性能的 2.6 内核新特性和 POWER6 架构。

澳门新葡亰网站正规吗,共享标准库消除了 Scala 2.13 和 3 之间的主要潜在差异,并有助于迁移。

SLES8 基于 2.4 内核并保护 LinuxThreads 模型,当尝试运行包含 NPTL 线程模型的 SLES9 上的包含大量线程的应用程序时,它将出现问题。可以通过两种途径解决这个问题:

  • Scala 3 将可以更快地投入生产环境。在完善编译器和升级相关工具方面,有许多工作要做,同时将帮助生态系统升级。

  • 无需为 2.14 重建 Scala 库和工具生态系统,从而节省了维护人员的时间以准备 Scala 3。

澳门新葡亰网站注册,Non-uniform Memory Access (NUMA) 是针对 Linux on POWER 在 2.6 内核中引入的,这个特性在 RHEL5 和 SLES10 的最新版本中得到进一步优化。NUMA 解决了系统中的某些处理器因为总线位置不同到达特定内存区域的时间要比其他处理器长的问题。NUMA 通过在每个总线使用更多内存总线和更少处理器来减少系统共享内存总线的争用。尽管这在包含少量处理器的系统中作用不明显,但它能够在系统包含大量处理器时 改善性能。

目前 Scala 3 已经向后兼容,它可以使用由 Scala 2.13 构建的库。为了实现向前兼容,Scala 3 编译器将提供一种机制来确保公共接口位于公共语言子集中,以便可以在 Scala 2.13 中使用它。这意味着作为库作者的开发者可以直接使用某些 Scala 3 内容,而无需从 Scala 2.13 升级。

由于 POWER5 和 POWER6 架构能够扩展到 64 位处理器,大部分应用程序都得益于 2.6 内核级别的 NUMA 支持。设法提高性能的应用程序可以使用 user-land NUMA API。RHEL4 附带了 user-land NUMA API,以及更多关于如何在 NUMA Group 主页使用这些 API 的信息(参考资料 部分提供相关链接)。

除了技术互操作性之外,开发团队还将关注于测试和改进工具,以确保顺利迁移。例如,原定于 2.14 版本中进行的迁移警告将在 2.13 中实施。

  • 对于包含大量处理器的系统,在 RHEL5 中重新编译 NUMA user-land API 会提高性能(如果还没有在 RHEL4 中进行编译的话)。尽管从总体上看应用程序都能够从内核级别 NUMA 支持获得性能改进,但是重新编译这些 user-land API 还可以获得进一步的性能改进。处理器密集型和内存访问频繁的应用程序将获得最大收益,因为 NUMA 减少了处理器访问内存区域的时间。
  • 使用 RHEL5 中的最新编辑器进行重新编译时,其他应用程序也可能获得性能改进。这些编译器添加了利用 POWER6 优化的标志,如本文前面所述。

(文/开源中国)    

NUMA

在 Linux 2.6.15 内核中,NUMA 优化通过指定仅本地处理器能够访问内存,从而改进了跨大型系统(处理器核在 4-8 个以上)运行的工作负载的性能。如果处理器正在查找存储在相邻的 cell board 上的内存中的数据,Linux 2.6.16 内核能够获取该信息并将其移动到本地内存中(运行速度更快),然后在本地内存中执行所需的操作,而不需重新启动该操作。

澳门新葡亰网站正规吗 1

一般而言,大部分非线程应用程序都不会遇到 SLES9 和 SLES10 之间的二进制兼容性问题。不过,在对库和内核版本进行了主要修改之后,最好重新编译源代码,以让应用程序获得最佳的性能。

长期以来,开发团队认为必须有 2.14 版本才能确保顺利过渡到 3,但是经过大量的研究和讨论,现在确信完全不需要 2.14。这样可以带来两方面的好处:

低级内核依赖项

不仅 ABI 在 RHEL4 和 RHEL5 之间保持稳定,并且 RHEL5 中的许多其他 2.6 内核特性也与 RHEL4 兼容。这就允许 RHEL4 应用程序现成地利用 RHEL5 中包含的 Simultaneous Multi-threading (SMT) 和 Native Posix Thread Library (NPTL) 等特性获得性能改进,而不需要重新编译它们的源代码。这些应用程序还可以利用 2.6 内核中的性能改进,如本文前面所述。

¹您可以从 IBM 站点下载 IBM Developer Kit for Linux, Java™ Technology Edition。(参考资料 部分提供相关链接)。

表 2 显示了如何为不同的开发平台生成 32 位和 64 位 Linux 二进制文件:

您可以考虑重新编译以利用 Linux on POWER 的最新编辑器的新特性带来的性能优势。现在,高性能编译器 IBM XL C/C++ Version 8 可以在基础级别的 RHEL4、SLES9 和 SLES10 上使用。IBM XL C/C++ Version 9 可以在 RHEL5 及其更新、SLES10 SP1 和 SP2 上使用。Version 9 添加了针对基于 POWER6 处理器的系统的性能改进。

以下小节详细介绍一些 LSB 规范,并且为编写可以跨不同发行版移植的应用程序提供一些指导原则。

中间件和应用程序兼容性

Red Hat 在 RHEL4 和 RHEL5 之间维护了一个稳定的 ABI,因此可以在这两个版本之间顺利地迁移应用程序。不过,为了确保二进制兼容性,Red Hat 建议您将您的应用程序接口链接到它们所定义的核心库。核心库列表包括:

可以在 developerWorks 文章 “How to use IBM XL C/C++ Advanced Edition V8.0 for Linux on POWER: A guide for GCC users” 上找到更多关于在 Linux on POWER 上使用 XL C/C++ 编辑器的信息。

使用 Linux 2.6.16 内核时,必须根据共享内存的分配方式进行一些更改。如果处理器正在查找存储在相邻的 cell board 上的内存中的数据,Linux 2.6.16 内核能够获取该信息并将其移动到本地内存中(运行速度更快),然后在本地内存中执行所需的操作,而不需重新启动该操作。

二进制兼容性是指能够在特定处理器系列的多个环境中运行二进制文件的能力。这些环境可能是相同 Linux 发行版的不同版本,或者是完全不同的版本。例如,在基于 POWER6™ 处理器并运行 SLES10 的系统上运行可以在基于 POWER5™ 处理器并运行 SLES10 的系统上编译和运行的二进制文件。另一个例子是,在基于 POWER6™ 处理器并运行 SLES10 的系统上运行可以在基于 POWER5™ 处理器并运行 RHEL4 的系统上编译和运行的二进制文件。

PowerPC 和 POWER 处理器兼容性

例如,如果您仔细查看 RHEL 和 SLES 发行版中包含的 glibc 库,就会发现 RHEL4 包含的是版本 2.3.4 而 SLES9 包含的是 2.3.3。小的修改通常是添加了修复包,而不是增加新的特性。RHEL4、RHEL5、SLES9 和 SLES10 都包含相似的线程模型,因此链接到通用库的任何应用程序应该都能够在这 3 个操作环境中运行。您还可以在其他发行版(比如 Gentoo 和 Debian)中找到通用库。

当迁移到基于 2.6 的 Linux 内核时,Simultaneous Multi-threading (SMT) 还可以提供另一项性能收益。SMT 在 POWER6 上得到支持,并且大大改进了多线程应用程序的性能。POWER6 处理器有两个能够在每个处理器周期发出多条指令的硬件指令线程,从而改善了性能。不过,SMT 可能损害线程不是很多的应用程序的性能。可以在 Linux 内核启动时向其传递 smt-enabled=off 禁用 SMT。

当在不同的操作环境中运行应用程序时,另一个考虑事项是低级内核依赖项。应用程序不兼容的一个例子就是将信息从 /proc 文件系统移动到 sysfs 文件系统,如果应用程序在这些文件系统之一中用硬编码值编写的话。/proc 文件系统最初是一个常驻文件系统,它允许用户空间访问包含信息的内核数据结构,比如系统和设备状态信息。这些信息将从 /proc 文件系统移动到 sysfs 文件系统。/proc 文件系统仍然存在,但它仅包含进程信息。

表 3 显示了 32 位和 64 位应用程序在不同的 RHEL 和 SLES 版本上的向后和向前兼容性:

File Hierarchy Standard (FHS) 定义文件和目录在通用类 UNIX® 系统上的布局。如果您的应用程序依赖于其他配置和文件,那么可能需要使用 FHS。FHS 的主要目的是为应用程序提供一个通用的位置,以查找标准配置文件。可以在 Filesystem Hierarchy Standard 的主页上找到关于 FHS 的更多信息。(参考资料 部分提供相关链接)。

可以通过不同的方式生成 32 位和 64 位 Linux 二进制文件,这取决于开发平台:

  • 64 位 Power Architecture 支持完整的 32 位 PowerPC 架构。
  • 64 位 Linux 内核能够处理 32 位系统调用。
  • 32 位运行时环境包含必要的 32 位库。
  • 64 位运行时环境包含必要的 32 位和 64 位库。

POWER 处理器兼容性

从 RHEL4 迁移到 RHEL5

编译器改进

编写能够在多个 Linux 发行版之间移植的应用程序看起来是一个困难的任务,但只要遵循一些简单的实践就可以实现该目的。大部分发行版的最新版本通常包含相同级别的库和内核版本。大部分发行版还使用类似格式的配置和数据文件。

在文章 “Red Hat Enterprise Linux 4 Application Compatibility” 中讨论了核心库和其他兼容性问题(参考资料 部分提供相关链接)。尽管这个文档阐述的是 RHEL4 中的兼容性,但其中的概念和理念适用于 RHEL5 中的应用程序兼容性问题。使用核心库之外的其他库的应用程序仍然可以实现兼容性,但需要进一步执行回归测试。应用程序不保留二进制兼容性的情况包括,应用 程序静态地链接到其他库、依赖内核级别接口,或与 POSIX 标准或 64 位 POWER ABI 定义冲突。

开发平台 编译器 生成的 Linux 二进制文件
32 位 Linux on PowerPC 本机 GCC C 编译器 32 位
64 位 Linux on POWER 本机 XL C/C++ 或 GCC C 编译器 32 位或 64 位
32 位 Linux on PowerPC 或
64 位 Linux on POWER
跨系统编译器,比如 crosstool 32 位或 64 位

尽管已经演示了 32 位和 64 位环境之间的兼容性,但这并不意味着官方发行版支持这种兼容性。Red Hat 在 RHEL3 和 RHEL4 之间向前或向后支持 32 位和 64 位兼容性,而当从 SLES8 迁移到 SLES9 时,SLES8 仅支持 32 位向前兼容性。

  • 通用的打包和安装指南
  • 通用的共享库及其选择
  • 配置文件
  • 文件位置
  • 系统命令
  • 针对系统接口的 Application Binary Interfaces(应用程序和平台级别)