{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# CDFS SWIRE master catalogue\n", "## Preparation of Spitzer data fusion/SWIRE data\n", "\n", "The data is available at 'dmu0_DataFusion-Spitzer'.\n", "\n", "The Spitzer catalogues were produced by the datafusion team are available in the HELP virtual observatory server. They are described there: https://herschel-vos.phys.sussex.ac.uk/browse/df_spitzer/q.\n", "\n", "Lucia told that the magnitudes are aperture corrected.\n", "\n", "In the catalouge, we keep:\n", "\n", "We keep:\n", "- The internal identifier (this one is only in HeDaM data);\n", "- The position;\n", "- The fluxes in aperture 2 (1.9 arcsec) for IRAC bands.\n", "- The Kron flux;\n", "- The stellarity in each band\n", "\n", "A query of the position in the Spitzer heritage archive show that the ELAIS-N1 images were observed in 2004. Let's take this as epoch.\n", "\n", "We do not use the MIPS fluxes as they will be extracted on MIPS maps using XID+." ] }, { "cell_type": "code", "execution_count": 1, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "This notebook was run with herschelhelp_internal version: \n", "33f5ec7 (Wed Dec 6 16:56:17 2017 +0000)\n" ] } ], "source": [ "from herschelhelp_internal import git_version\n", "print(\"This notebook was run with herschelhelp_internal version: \\n{}\".format(git_version()))" ] }, { "cell_type": "code", "execution_count": 2, "metadata": {}, "outputs": [], "source": [ "%matplotlib inline\n", "#%config InlineBackend.figure_format = 'svg'\n", "\n", "import matplotlib.pyplot as plt\n", "plt.rc('figure', figsize=(10, 6))\n", "\n", "from collections import OrderedDict\n", "import os\n", "\n", "from astropy import units as u\n", "from astropy.coordinates import SkyCoord\n", "from astropy.table import Column, Table\n", "import numpy as np\n", "\n", "from herschelhelp_internal.flagging import gaia_flag_column\n", "from herschelhelp_internal.masterlist import nb_astcor_diag_plot, remove_duplicates\n", "from herschelhelp_internal.utils import astrometric_correction, flux_to_mag" ] }, { "cell_type": "code", "execution_count": 3, "metadata": { "collapsed": true }, "outputs": [], "source": [ "OUT_DIR = os.environ.get('TMP_DIR', \"./data_tmp\")\n", "try:\n", " os.makedirs(OUT_DIR)\n", "except FileExistsError:\n", " pass\n", "\n", "RA_COL = \"swire_ra\"\n", "DEC_COL = \"swire_dec\"" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## I - Column selection" ] }, { "cell_type": "code", "execution_count": 4, "metadata": { "collapsed": true }, "outputs": [], "source": [ "imported_columns = OrderedDict({\n", " 'internal_id':'swire_intid', \n", " 'ra_spitzer':'swire_ra', \n", " 'dec_spitzer':'swire_dec', \n", " 'flux_ap2_36':'f_ap_swire_irac1', \n", " 'uncf_ap2_36':'ferr_ap_swire_irac1', \n", " 'flux_kr_36':'f_swire_irac1', \n", " 'uncf_kr_36':'ferr_swire_irac1', \n", " 'stell_36':'swire_stellarity_irac1',\n", " 'flux_ap2_45':'f_ap_swire_irac2', \n", " 'uncf_ap2_45':'ferr_ap_swire_irac2', \n", " 'flux_kr_45':'f_swire_irac2', \n", " 'uncf_kr_45':'ferr_swire_irac2', \n", " 'stell_45':'swire_stellarity_irac2',\n", " 'flux_ap2_58':'f_ap_irac3', \n", " 'uncf_ap2_58':'ferr_ap_irac3', \n", " 'flux_kr_58':'f_irac3', \n", " 'uncf_kr_58':'ferr_irac3', \n", " 'stell_58':'swire_stellarity_irac3',\n", " 'flux_ap2_80':'f_ap_irac4', \n", " 'uncf_ap2_80':'ferr_ap_irac4', \n", " 'flux_kr_80':'f_irac4', \n", " 'uncf_kr_80':'ferr_irac4', \n", " 'stell_80':'swire_stellarity_irac4'\n", " })\n", "\n", "\n", "catalogue = Table.read(\"../../dmu0/dmu0_DataFusion-Spitzer/data/DF-SWIRE_CDFS-SWIRE.fits\")[list(imported_columns)]\n", "for column in imported_columns:\n", " catalogue[column].name = imported_columns[column]\n", "\n", "epoch = 2004\n", "\n", "# Clean table metadata\n", "catalogue.meta = None" ] }, { "cell_type": "code", "execution_count": 5, "metadata": {}, "outputs": [], "source": [ "# Adding magnitude and band-flag columns\n", "for col in catalogue.colnames:\n", " if col.startswith('f_'):\n", " errcol = \"ferr{}\".format(col[1:])\n", " \n", " magnitude, error = flux_to_mag(\n", " np.array(catalogue[col])/1.e6, np.array(catalogue[errcol])/1.e6)\n", " # Note that some fluxes are 0.\n", " \n", " catalogue.add_column(Column(magnitude, name=\"m{}\".format(col[1:])))\n", " catalogue.add_column(Column(error, name=\"m{}\".format(errcol[1:])))\n", " \n", " # Band-flag column\n", " if \"ap\" not in col:\n", " catalogue.add_column(Column(\n", " np.zeros(len(catalogue), dtype=bool), name=\"flag{}\".format(col[1:])))\n", " \n", "# TODO: Set to True the flag columns for fluxes that should not be used for SED fitting." ] }, { "cell_type": "code", "execution_count": 6, "metadata": {}, "outputs": [ { "data": { "text/html": [ "<Table masked=True length=10>\n", "
idx | swire_intid | swire_ra | swire_dec | f_ap_swire_irac1 | ferr_ap_swire_irac1 | f_swire_irac1 | ferr_swire_irac1 | swire_stellarity_irac1 | f_ap_swire_irac2 | ferr_ap_swire_irac2 | f_swire_irac2 | ferr_swire_irac2 | swire_stellarity_irac2 | f_ap_irac3 | ferr_ap_irac3 | f_irac3 | ferr_irac3 | swire_stellarity_irac3 | f_ap_irac4 | ferr_ap_irac4 | f_irac4 | ferr_irac4 | swire_stellarity_irac4 | m_ap_swire_irac1 | merr_ap_swire_irac1 | m_swire_irac1 | merr_swire_irac1 | flag_swire_irac1 | m_ap_swire_irac2 | merr_ap_swire_irac2 | m_swire_irac2 | merr_swire_irac2 | flag_swire_irac2 | m_ap_irac3 | merr_ap_irac3 | m_irac3 | merr_irac3 | flag_irac3 | m_ap_irac4 | merr_ap_irac4 | m_irac4 | merr_irac4 | flag_irac4 |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
deg | deg | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | ||||||||||||||||||||||||||
0 | 363329 | 51.337442 | -29.67298 | nan | nan | nan | nan | nan | 100.95 | 1.97 | 72.32 | 1.35 | 0.97 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 18.8897341918 | 0.0211877198947 | 19.2518539563 | 0.0202674761674 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
1 | 363309 | 51.340422 | -29.67369 | nan | nan | nan | nan | nan | 117.84 | 2.2 | 84.7 | 1.51 | 0.97 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 18.7217681654 | 0.0202700241893 | 19.0802914742 | 0.0193560999904 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
2 | 363227 | 51.345122 | -29.67642 | nan | nan | nan | nan | nan | 38.92 | 2.24 | 36.42 | 2.35 | 0.96 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 19.924567921 | 0.0624884146623 | 19.9966501464 | 0.0700571137062 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
3 | 363185 | 51.346602 | -29.67786 | nan | nan | nan | nan | nan | 20.09 | 4.37 | 20.44 | 5.23 | 0.54 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 20.6425501581 | 0.236170593071 | 20.6237977713 | 0.277808236345 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
4 | 363271 | 51.349012 | -29.67487 | nan | nan | nan | nan | nan | 98.1 | 2.05 | 69.57 | 1.44 | 0.97 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 18.9208274816 | 0.0226886770617 | 19.2939449916 | 0.0224731944064 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
5 | 363270 | 51.354772 | -29.675 | nan | nan | nan | nan | nan | 31.11 | 1.49 | 22.26 | 0.94 | 0.94 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 20.1677499722 | 0.0520008661231 | 20.5311871 | 0.0458486986735 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
6 | 363221 | 51.359252 | -29.67689 | nan | nan | nan | nan | nan | 7.27 | 1.58 | 5.86 | 1.25 | 0.5 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 21.7461639729 | 0.235964677238 | 21.98025596 | 0.231599019786 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
7 | 363158 | 51.366312 | -29.67903 | nan | nan | nan | nan | nan | 511.33 | 5.84 | 369.32 | 4.26 | 0.98 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 17.1282468156 | 0.0124004056789 | 17.4814929328 | 0.0125236549125 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
8 | 363156 | 51.369932 | -29.67912 | nan | nan | nan | nan | nan | 553.95 | 6.06 | 386.9 | 4.2 | 1.0 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 17.0413235832 | 0.0118775366023 | 17.4310031757 | 0.0117862291548 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
9 | 363991 | 51.330622 | -29.65017 | nan | nan | nan | nan | nan | 10.43 | 1.79 | 6.66 | 1.21 | 0.09 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 21.3542892289 | 0.186334401392 | 21.8413144271 | 0.197258379543 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |