Herramientas para la Ciencia de Datos - Data Science Tools del Cognitive Class

Las herramientas de las que dispone el Científico de Datos para poder realizar los análisis estadísticos que permitan identificar patrones, tendencias, que las organizaciones usaran para tomar decisiones que mejoren sus resultados, son amplias, muy amplias, iniciamos con software estadístico, pasando por lenguajes de programación, para seguir con frameworks, programas de control de versiones, entre otras; en este artículo te mostraremos la certificación Data Science Tools, online y GRATUITA!!!, otorgada por el IBM Cognitive Class, con la que aprenderás el manejo básico de Python, R, SQL, Jupyter Notebooks, RStudio, IBM Watson, GitHub y muchas otras herramientas de Ciencia de Datos. 

Ingresamos a la web del IBM Cognitive Class a través de la siguiente url https://cognitiveclass.ai/ que nos permitira acceder a la serie de cursos online y gratuitos enfocados en la ciencia de datos, con el resplado y soporte de IBM, luego vamos por el curso Data Science Tools, éste puede ser tomado en cualquier momento, a tu propio ritmo, con una duración de alrededor de  3 horas para concluirlo, el idioma en que se dicta el curso es en inglés; es desde allí donde comenzaremos a dar nuestros primeros pasos en el manejo de herramientas para Ciencia de Datos (Data Science Tools), te mostramos a continuación la cartilla resumen del curso.

El curso consta de 5 módulos:  Language of Data Science, Data Science Tools, Packages, APIs,Datasets and Models, GitHub, Jupyter Notebooks, Jupyter Labs,RStudio IDE,Watson Studio; cada módulo se divide en distintos capítulos, dependiendo de la complejidad del tema, así como lecturas especializadas, previas a tomar el examen asignado a cada módulo,(Review Questions), al finalizar todos los módulos podras acceder al examen final, el cual podras pasar con el  70% como nota aprobatoria, las siguiente imágenes muestran la estructura del Data Science Tools.

Al terminar con todos los módulos del curso,laboratorios, y las Review Questions, pasando el examen final de manera satisfactoria, obtienes la certificación DATA SCIENCE TOOLS, y el IBM badge Data Science Foundations, otorgados por el IBM Cognitive Class que podras colocar en tu CV o compartir en redes sociales como Facebook, Twitter y LinkedIN; recomendamos sobre manera este curso, ya que te permitira obtener una visión más amplia de las herramientas usadas en la Ciencia de Datos. 

El siguiente vídeo muestra como obtener la certificación DATA SCIENCE TOOLS.

Crear calendarios usando el paquete calendR

En nuestra búsqueda por paquetes (packages) que agreguen valor al usuario final, nos encontramos con calendR, este paquete creado para el lenguaje de programación R, permite la creación de calendarios mensuales, anuales y lo mejor de todo es que se integra con ggplot2 para la generación de gráficos, en este artículo te mostraremos los aspectos básicos de dicho paquete.

Iniciamos con la instalación del paquete calendR, haciendo uso de la función install.packages("calendR"), continuamos activandolo haciendo uso de la función library() como lo muestra la siguiente imagen.

La función que nos proporciona el paquete para crear calendarios en calendR(), que por defecto genera el calendario del año en curso, para nuestro caso 2021, como muestran las siguientes imágenes.

Para generar el calendario de un año en particular, agregamos la cláusula year, seguido del año sobre el que deseamos generar el calendario, calendaR( year = 1998) , como lo muestra la siguiente imagen.

Terminamos estableciendo un color en especifico para los fines de semana, agregamos las siguiente cláusulas calendR(year = 1998,start = "M", special.days = "weekend", special.col = "blue"), donde start indica que día empieza la semana por defecto para calendaR es Domingo, pero vamos a forzarlo a que empiece el Lunes (M por Monday, lunes en inglés), luego indicamos que son los fines de semana (weekend) lo que deseamos resaltar del resto de días, y finalmente indicamos el color (blue) para resaltar los fines de semana de cada mes del año.

El siguiente vídeo muestra como crear calendarios usando el paquete calendR

Actualización de RStudio Desktop - RStudio Desktop 1.4 for Windows 10 - Preview release

El entorno de desarrollo (IDE) por excelencia para el lenguaje de programación R, es sin duda, RStudio, al revisar su blog oficial (RStudio Blog), nos encontramos con una entrada con fecha el 02 de diciembre del 2020, anunciando la versión preliminar (preview release) de RStudio 1.4, el siguiente artículo te mostrara como realizar la actualización de tu IDE favorito a su última versión, que al ser una versión preliminar no se muestra de manera directa en la web oficial de RStudio, en un próximo artículo abordaremos las nuevas características y herramientas que nos ofrece este nuevo RStudio.

La primera idea que vino a nuestra mente, luego de leer el artículo relacionado a la versión preliminar de RStudio 1.4, era activar RStudio y realizar la actualización desde el entorno de desarrollo, a través de la barra de opciones Help - Check for Updates, lo cual no dio ningun resultado, ya que la aplicación señalaba que teniamos la última actualización disponible, no permitiendonos realizar el update respectivo, como lo muestra las siguientes imágenes.

Continuando en la barra de opciones - Help - About RStudio, la aplicación señalaba que no se había realizado ninguna actualización y que seguiamos utilizando la versión 1.3 de RStudio.

 

La página oficial de RStudio sigue mostrando los enlaces respectivos para descargar la versión 1.3 de RStudio para Windows 10 y otros sistemas operativos como macOS y Linux, el siguiente enlace RStudio 1.4 - Preview Release nos dirige al área de descarga de la versión preliminar de RStudio Desktop Version, desde donde descargamos la preview release de RStudio 1.4 Desktop para Windows 10, cabe señalar que también se encontraran instaladores para sistemas operativos tales como Fedora, Debian, Ubuntu, macOS entre otros.

Esta es la imagen que encontraras en la web oficial de RStudio indicando la descarga de RStudio Desktop 1.3 

Para descargar RStudio Desktop 1.4 (Preview Release) debes acceder al siguiente enlace, desde donde descargaras el instalador respectivo identificado como RStudio - 1.4.1094 para luego proceder a la instalación de la versión Desktop para Windows de RStudio (10/8/7 de 64 bits).

 

Finalmente, sólo ejecutas el instalador y procedes a la instalación de RStudio Desktop 1.4 para Windows, de tener dudas sobre el proceso de instalación te dejamos el siguiente enlace, que te llevara a nuestro artículo sobre ¿Cómo Instalar RStudio en Windows 10?, al final del procedimiento podras revisar la barra de opciones - Help - About RStudio y ver que ya cuentas con la última versión (versión preliminar - preview release) de RStudio.

Te dejamos enlace al artículo del Blog oficial de RStudio sobre el lanzamiento de RStudio v1.4 Preview: The Little Things escrito por Jonathan McPherson

El siguiente vídeo muestra como instalar RStudio 1.4 para Windows 10

Paquete Six Sigma para crear diagrama de Ishikawa en RStudio

Uno de los primeros acercamientos a concepto relacionados a la calidad y sus herramientas, es a través del diagrama de Ishikawa (Ishikawa diagram), conocido también como diagrama Causa-Efecto (Cause and Effect Diagram) o diagrama espina de pescado (Fishbone diagram), esta herramienta de control de calidad y mejora de procesos, fue creada por el administrador de empresas y químico japonés Kaoru Ishikawa (1915-1989) quien se especializo en la creación de sistemas de calidad, proporcionando un análisis científico a las causas que originan los problemas dentro de procesos industriales, el siguiente articulo muestra como hacer uso del paquete Six Sigma (Six Sigma package) en el lenguaje de programación R para la creación de un diagrama Causa-Efecto en cuestión de minutos de manera rápida y sencilla. 

Iniciamos con el proceso de instalación y activación del paquete SixSigma (SixSigma package) haciendo uso de las funciones install.packages("SixSigma), para luego continuar con la función library(SixSigma), este primer paso nos permitira tener todo listo para la creación del diagrama Causa-Efecto (Cause&Effect diagram) como lo muestra la siguiente imagen.

El código para la creación del diagrama de Ishikawa usando el paquete SixSigma es sencillo y consta de unas cuentas líneas pero debemos ser tener en consideración ciertos detalles en el despliegue y ejecución del mismo, comenzamos con el comando effect <- "Dispersión de mediciones", que establece el problema que estamos analizando, continuamos con causes.gr <- c("Maquinaria, Mano de obra", "Materiales","Medición","Métodos", "Medio ambiente"), este comando en particular establece las distintas categorias para cada una de las causas, para esta demostración hicimos uso del metodo 6M que permite agrupar las principales causas en 6 categorias o ramas principales, tales como: Maquinaria, Mano de obra, Materiales, Medición, Método y Medio Ambiente; terminamos con el comando causes <- vector(mode="list", length=length(causes.gr)) que crea un vector y establece el conteo de las 6 categorias que almacenaran las causas del problema de estudio,tal como lo muestra la siguiente imagen.

El comando causes() nos permite la creación de vectores donde colocaremos cada una de las causas asociadas a las categorias ya establecidas, para finalmente terminar con la creación del diagrama causa-efecto, mediante el uso del comando ss.ceDiag(effect, causes.gr, causes, sub = "Dispersión de mediciones"), tenemos que indicar que cada uno de los comandos señalados en este artículos deben ser ejecutados en el entorno de desarrollo RStudio, línea por línea, uno por uno, ya que si los ejecutamos como un bloque, como un todo, no podremos crear el gráfico respectivo.

El resultado final es el diagrama Causa-Efecto que mostramos a continuación donde a la cabeza se puede apreciar el problema de estudio, las espinas nos muestran las distintas categorias relacionadas al método 6M y las causas asociadas a éstas.

El siguiente vídeo muestra como crear un diagrama de Ishikawa haciendo uso de los paquete QCC y SixSigma en el lenguaje de programación R.

Crear Diagrama Causa-Efecto en R con el paquete QCC (Quality Control Charts)

 El diagrama Causa-Efecto es una herramienta de control de calidad y mejora de procesos que nos permite identificar un problema en especifico para luego establecer sus potenciales causas, se realiza el análisis de dichas causas para establecer las soluciones a éstas y eliminar el problema (efecto) identificado en un inicio. El siguiente artículo muestra como crear un diagrama Causa-Efecto llamado también diagrama de Ishikawa o diagrama espina de pescado (Fishbone Diagram) haciendo uso del lenguaje de programación R y su entorno de desarrollo RStudio, trabajaremos con el paquete QCC (Quality Control Charts).

Iniciamos el proceso de instalación del paquete QCC (Quality Control Charts) haciendo uso de la función install.packages("qcc") que nos permitira descargar el package y tenerlo listo para trabajar con él como lo muestra la siguiente imagen.

Una vez instalado el paquete QCC (Quality Control Charts) procedemos a la activación del mismo, haciendo uso de la función library(qcc) como lo muestra la siguiente imagen.

El comando cause.and.effect forma parte del paquete QCC (Quality Control Charts), dicho comando es el que nos permite la creación del diagrama Causa-Efecto, permitiendonos establecer categorias relacionadas a las causas que originan el problema identificadas durante el análisis del mismo, para la creación del gráfico de control hicimos uso el metodo 6M que establece 6 categorias para las causas que originan el problema, siendo estas: Maquinaria,Mano de obra,Materiales,Medición,Método y Medio ambiente. 

Terminamos la ejecución del bloque de comandos del lenguaje de programación R, con el comando effect="Dispersion en mediciones", que nos permite establecer el efecto, el problema identificado que deseamos eliminar.

La ejecución del bloque de comandos nos permitiran generar el diagrama de Ishikawa, en la parte superior apreciamos el título Cause - Effect Diagram, las espinas o ramas nos muestran las categorias establecidas por el método 6M y las distintas causas relacionadas a éstas, para terminar con el efecto representado en la parte final del diagrama.

El siguiente vídeo muestra como crear un diagrama de ishikawa haciendo uso del entorno de desarrollo RStudio y el paquete QCC (Quality Control Charts).

Generar números aleatorios enteros y decimales en R

El siguiente artículo muestra como generar números aleatorios, tanto enteros como decimales, al hacer uso de las funciones sample() y runif() , a través de diversos ejemplos podras aprender como hacer uso de estas muy útiles funciones del lenguaje de programación R.

La función sample() permite generar números aleatorios enteros, debemos en un principio indicar el rango de números a mostrar sample(1:10), para luego señalar el número de las repeticiones sample(1:10,5), finalmente usamos la cláusula replace, sample(1:10,5,replace= FALSE), esta combinada con los operadores lógicos FALSE o TRUE, permite generar números aleatorios enteros con y sin repitición respectivamente, como muestra la siguiente imagen.

La función runif() permite generar números aleatorio decimales, especificamos la cantidad de repeticiones runif(5), medicante las cláusulas max y min, especificamos el rango de número a mostrar, runif(5,min=1,max=10) , la ejecución de la línea de código en R, nos muestra una serie de 5 números decimales, para redondear a dos decimales dichos resultados podriamos usar la función round(), como muestra la siguiente imagen.

El siguiente vídeo muestra como generar números aleatorios enteros y decimales en el entorno de desarrollo RStudio.

Integración entre Power BI y R

El cuadrante Mágico de Gartner considera a la aplicación de Inteligencia de Negocios Power BI como líder en su sector, el siguiente artículo muestra como configurar la integración entre el lenguaje de programación R y Power BI, para importar registros desde un archivo de Microsoft Excel hacia el lienzo de Power BI, ejecutando en el proceso paquete (packages) y código de R.

El proceso de configuración para la ejecución de código R en Power BI inicia en la pestaña Archivo, al hacer click ésta, vamos por la Opciones y configuraciones, para finalmente hacer click en Opciones.

Aparecera la ventana de configuración donde procedemos a seleccionar la opción Script de R, es en este punto es donde seleccionamos el directorio por defecto, donde tenemos instalado el lenguaje de programación R, así como su entorno de desarrollo que por lo general es RStudio.

Pasamos a la cinta de opciones, donde vamos por la opción Obtener Datos (Get Data), aparecera la ventana de conectores de Power BI, donde seleccionamos Script de R, aparecera la ventana de Script de R donde se ejecutara el código del lenguaje de programación sobre Power BI.

Como puede apreciar en la imagen, estamos ejecutando el paquete (package) readxl, creando el objeto data_001 e importando los registros desde el archivo SuperStore.xlsx, aparecera la ventana de carga donde podremos ver los registros a punto de ser importados al lienzo de Power BI.

El procedimiento termina con los registros en lienzo de Power BI listos para ser análizados, procesados o crear un dashboard con los datos que acaban de ser importados.

El siguiente vídeo muestra como establecer una conexión entre Power BI y R.

Configurar conexión entre Tableau Desktop y R

El siguiente artículo muestra paso a paso como establecer una conexión entre el software de análisis e inteligencia de negocios Tableau Desktop y el lenguaje de programación R, por medio del paquete (package) Rserve que nos permite integrar ambas herramientas y poder ejecutar código en R directamente en Tableau para luego pasar a crear visualizaciones o dashboards.

En el área de edición del entorno de desarrollo RStudio, procedemos a instalar el paquete (package) Rserve.

Continuamos la carga del paquete en memoria mediante la función library(), para luego hacer uso del comando Rserve() que activara el aplicativo, el cual estara listo para realizar la conexión con Tableau Desktop.

Pasamos a Tableau Desktop, en la barra de menú seleccionamos la opción Ayuda, para luego continuar con Administración del Servicio Externo, esto nos permitira acceder a la venta de Conexión de servicio externo, desde donde seleccionamos un servicio externo, en nuestro caso Rserve, como servidor optamos por localhost, el puerto por defecto es el 6311, terminamos probando la conexión y damos click en Aceptar. Esto establecería la integración entre ambas  herramientas Tableau y el lenguaje de programación R, permitiendonos ejecutar código de R en Tableau, en un próximo artículo abordaremos análisis, ejecución de código R, así como creación de visualizaciones y Dashboards en Tableau Desktop. 

El siguiente vídeo muestra como establecer una conexión entre Tableau Desktop y R

Importar registros desde Minitab a RStudio

El software estadístico Minitab es una de las principales herramientas en el campo del control de calidad y en la aplicación del Six Sigma para la mejora de procesos dentro de cualquier industria o sector, el siguiente artículo muestra como importar registros desde un archivo creado en dicha aplicación estadística hacia el área de edición del entorno de desarrollo RStudio.

El principal problema al importar archivos creados en Minitab, es que no hay mucho paquetes (packages) en el lenguaje de programación R para realizar dicha tarea, probamos con el paquete Foreign en su versión 0.8-80 , pero al tratar de realizar la operación éste nos indica que debemos guardar los registros en Minitab (usamos Minitab 18) bajo el formato MTP (Minitab Portable Worksheet File),  el cual ya no es usado por la aplicación, así que tuvimos que hacer un pequeño truco, que te mostraremos a continuación.

 

En Minitab trabajamos con un archivo con dos variables (Edad y Sexo) el cual pasamos a guardar como un archivo CSV (valores separados por comas), luego de esto nos dirigimos a RStudio para realizar el procedimiento de importación de los registros.

Finalmente, procedemos a crear la variable minitab_file que nos permitira importar los registros al área de edición de RStudio, para esto usamos la funcion base read.csv, aunque también podrias usar el paquete (package) readr para tal fin, terminamos visualizando los registros mediante la función View(minitab_file).

El siguiente vídeo muestra como importar registros desde Minitab a RStudio - 7:47

22 Atajos de teclado para RStudio - 1º Parte

Los atajos de teclado, conocidos también bajo el nombre de Keyboard Shortcuts, son combinaciones de distintas teclas que permiten manejar desde el teclado la aplicación que estamos utilizando, dejando de lado el omnipresente Mouse (al menos por un tiempo), el siguiente artículo muestra 11 atajos de teclado para el entorno de desarrollo RStudio. 

11 Atajos de Teclado para RStudio 2º Parte

1 . ALT

Al presionar la tecla ALT activa la barra de menú en RStudio, permitiendonos acceder a todas las opciones que la componen, así como los submenús correspondientes.

2 . CTRL 1

El activar la combinación de teclas CRTL + 1, permite dirigirnos de manera inmediata al área de edición de RStudio.

3 . CTRL 2

El activar la combinación de teclas CRTL + 2, permite dirigirnos  al área de la consola (Console) en la interfaz gráfica del entorno de desarrollo RStudio.

4 . CTRL 3

El activar la combinación de teclas CRTL + 3, permite dirigirnos  al área de ayuda (Help) de RStudio, como lo muestra la siguiente imagen.

5 . CTRL 4

El activar la combinación de teclas CRTL + 4, permite dirigirnos  al área de Historial de comandos (History), como lo muestra la siguiente imagen.

6 . CTRL 5

El activar la combinación de teclas CRTL + 5, permite dirigirnos  al área de archivos del sistema (File) en la interfaz gráfica de RStudio.

7 . CTRL 6

El activar la combinación de teclas CRTL + 6, permite dirigirnos  al área de  gráficos generados (Plots) en la interfaz gráfica de RStudio.

8 . CTRL 7

El activar la combinación de teclas CRTL + 7, permite dirigirnos  al área de paquetes (Packages) donde podemos instalar o  visualizar los paquetes del lenguaje de programación R, en nuestros sistema.

9 . CTRL 8

El activar la combinación de teclas CRTL + 8, permite dirigirnos  al área de Objetos y variables creados en el sistema (Environment) en el entorno de desarrollo RStudio.

10 . CTRL SHIFT N

El activar la combinación de teclas CRTL + SHIFT + N,  que permite crear una nueva hoja de edición (R Script) para crear nuestros programas en el lenguaje de programación R.

11 . CTRL ENTER

El activar la combinación de teclas CRTL + ENTER, luego de escribir un comando o función en RStudio permite ejecutarlos automáticamente.

Hay muchas más combinaciones, mucho más atajos de teclado, estamos seguros que los expuestos en este artículo te serviran para incrementar tu productividad con el entorno de desarrollo RStudio.

11 Atajos de Teclado para RStudio 2º Parte

El siguiente vídeo muestra 21 Atajos de teclado para RStudio