研究目的
研究基于Spark并行计算平台的大规模矩阵求逆块递归算法的效率与可扩展性。
研究成果
该提出的Spark大规模矩阵求逆分块递归算法相比基于MapReduce的实现展现出显著的性能提升，且较MPI程序具备可靠性和容错能力。该算法具有良好的可扩展性，在分布式计算环境中对超大规模矩阵求逆效率颇高。
研究不足
当核心数超过48个时，由于洗牌过程中从远程节点读取数据的时间增加，该算法的可扩展性会受到影响。
1：实验设计与方法选择：
本研究采用基于LU分解的分块递归算法进行矩阵求逆，并针对Spark平台实施进行了优化。
2：样本选择与数据来源：
生成了四个由0到1之间均匀分布的随机数构成的大规模矩阵用于测试。
3：实验设备与材料清单：
实验在一组由具有特定硬件配置的商品服务器组成的集群上进行。
4：实验步骤与操作流程：
通过比较不同配置集群及各种条件下的执行时间来评估算法性能。
5：数据分析方法：
验证了矩阵求逆的精度，并基于执行时间和可扩展性分析了性能。
独家科研数据包，助您复现前沿成果，加速创新突破
获取完整内容-
Spark
1.3
Apache
Parallel computing platform for implementing the matrix inversion algorithm.
-
Hadoop
2.6
Apache
Platform for implementing the MapReduce-based matrix inversion algorithm.
-
MPICH2
MPI platform for implementing the MPI-based matrix inversion program.
-
ScaLAPACK
Library used for matrix inversion in the MPI-based program.
-
登录查看剩余2件设备及参数对照表
查看全部
