Microsoft lanza soporte de alto rendimiento C# y F# para Apache Spark

Microsoft anunció el lanzamiento de .NET para Apache Spark, agregando nuevos enlaces de lenguaje C# y F# de alto rendimiento al motor de cómputo de big data. Cómo puedes ver esto es una buena razón para tomar un curso de C#.

En la reciente cumbre Spark + AI, Microsoft anunció la versión preliminar de .NET para Apache Spark. Apache Spark está escrito en Scala, por lo que siempre ha tenido soporte nativo para ese idioma. También ha tenido enlaces API durante mucho tiempo para Java, así como los populares lenguajes de ciencia de datos Python y R. Los nuevos enlaces de lenguaje para C# y F# están escritos en una nueva capa de interoperabilidad de Spark. En las pruebas en el benchmark TPC-H, el rendimiento de .NET fue comparable a otros lenguajes, y en algunos casos fue "2 veces más rápido que Python".

Los desarrolladores pueden reutilizar el código y las bibliotecas compatibles con .NET Standard existentes y "pueden acceder a todos los aspectos de Apache Spark, incluidos Spark SQL, DataFrames, Streaming, MLLib". Los desarrolladores de la nube pueden implementar .NET para Apache Spark en Azure de Microsoft con Azure HDInsight y Azure Databricks, o en Amazon Web Services con Amazon EMR Spark y AWS Databricks.

La ejecución de aplicaciones .NET en Spark requiere la instalación de los binarios Microsoft.Spark.Worker, así como un JDK y los binarios estándar de Apache Spark. El desarrollo de una aplicación requiere la instalación del paquete Nuget de Microsoft.Spark.

En la siguiente nota seguiremos hablando de este tema en la que te ampliamos la actualización que Microsoft hizo a lenguaje C para Apache Spark. También puedes ver nuestro curso de Excel y el curso de PHP para que puedas comprender de mejor manera cómo funcionan estos lenguajes de programación.