RAPIDS Accelerator for Apache Spark v21.06 がリリース
RAPIDS Accelerator for Apache Spark v21.06 がリリースされました。
RAPIDS Accelerator for Apache Spark は NVIDIA の GPU を Apache Spark から活用できるようにするためのライブラリになります。大規模なデータセットに対する演算では、GPU を使用することで処理時間の削減が期待されます。Databricks の環境では、GPU を使用することで ETL 処理が 3.8 倍高速化され、コストは 50% 削減されるそうです。 (出典：https://nvidia.github.io/spark-rapids/)
このバージョンでは array や struct タイプに対する機能追加や、lead/lag といったウィンドウ関数に対するサポートが追加されています。
なお、今回のバージョンからカレンダーバージョニングが使用されているため、前回リリースされた v0.5.0 からバージョンが飛んでいます。(21 が年を表し 06 は月を表す)
