{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# ELAIS-N1 master catalogue\n", "## Preparation of Spitzer datafusion SWIRE data\n", "\n", "The Spitzer catalogues were produced by the datafusion team are available in `dmu0_DataFusion-Spitzer`.\n", "Lucia told that the magnitudes are aperture corrected.\n", "\n", "In the catalouge, we keep:\n", "\n", "We keep:\n", "- The internal identifier (this one is only in HeDaM data);\n", "- The position;\n", "- The fluxes in aperture 2 (1.9 arcsec) for IRAC bands.\n", "- The Kron flux;\n", "- The stellarity in each band\n", "\n", "A query of the position in the Spitzer heritage archive show that the ELAIS-N1 images were observed in 2004. Let's take this as epoch.\n", "\n", "We do not use the MIPS fluxes as they will be extracted on MIPS maps using XID+." ] }, { "cell_type": "code", "execution_count": 1, "metadata": { "collapsed": false }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "This notebook was run with herschelhelp_internal version: \n", "284b2ef (Mon Aug 14 20:02:12 2017 +0100)\n" ] } ], "source": [ "from herschelhelp_internal import git_version\n", "print(\"This notebook was run with herschelhelp_internal version: \\n{}\".format(git_version()))" ] }, { "cell_type": "code", "execution_count": 2, "metadata": { "collapsed": true }, "outputs": [], "source": [ "%matplotlib inline\n", "#%config InlineBackend.figure_format = 'svg'\n", "\n", "import matplotlib.pyplot as plt\n", "plt.rc('figure', figsize=(10, 6))\n", "\n", "from collections import OrderedDict\n", "import os\n", "\n", "from astropy import units as u\n", "from astropy.coordinates import SkyCoord\n", "from astropy.table import Column, Table\n", "import numpy as np\n", "\n", "from herschelhelp_internal.flagging import gaia_flag_column\n", "from herschelhelp_internal.masterlist import nb_astcor_diag_plot, remove_duplicates\n", "from herschelhelp_internal.utils import astrometric_correction, flux_to_mag" ] }, { "cell_type": "code", "execution_count": 3, "metadata": { "collapsed": true }, "outputs": [], "source": [ "OUT_DIR = os.environ.get('TMP_DIR', \"./data_tmp\")\n", "try:\n", " os.makedirs(OUT_DIR)\n", "except FileExistsError:\n", " pass\n", "\n", "RA_COL = \"swire_ra\"\n", "DEC_COL = \"swire_dec\"" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## I - Column selection" ] }, { "cell_type": "code", "execution_count": 4, "metadata": { "collapsed": true }, "outputs": [], "source": [ "imported_columns = OrderedDict({\n", " 'internal_id': \"swire_intid\",\n", " 'ra_spitzer': \"swire_ra\",\n", " 'dec_spitzer': \"swire_dec\",\n", " 'flux_ap2_36': \"f_ap_swire_irac_i1\",\n", " 'uncf_ap2_36': \"ferr_ap_swire_irac_i1\",\n", " 'flux_kr_36': \"f_swire_irac_i1\",\n", " 'uncf_kr_36': \"ferr_swire_irac_i1\",\n", " 'stell_36': \"swire_stellarity_irac_i1\",\n", " 'flux_ap2_45': \"f_ap_swire_irac_i2\",\n", " 'uncf_ap2_45': \"ferr_ap_swire_irac_i2\",\n", " 'flux_kr_45': \"f_swire_irac_i2\",\n", " 'uncf_kr_45': \"ferr_swire_irac_i2\",\n", " 'stell_45': \"swire_stellarity_irac_i2\",\n", " 'flux_ap2_58': \"f_ap_irac_i3\",\n", " 'uncf_ap2_58': \"ferr_ap_irac_i3\",\n", " 'flux_kr_58': \"f_irac_i3\",\n", " 'uncf_kr_58': \"ferr_irac_i3\",\n", " 'stell_58': \"swire_stellarity_irac_i3\",\n", " 'flux_ap2_80': \"f_ap_irac_i4\",\n", " 'uncf_ap2_80': \"ferr_ap_irac_i4\",\n", " 'flux_kr_80': \"f_irac_i4\",\n", " 'uncf_kr_80': \"ferr_irac_i4\",\n", " 'stell_80': \"swire_stellarity_irac_i4\",\n", " })\n", "\n", "\n", "catalogue = Table.read(\"../../dmu0/dmu0_DataFusion-Spitzer/data/DF-SWIRE_ELAIS-N1.fits\")[list(imported_columns)]\n", "for column in imported_columns:\n", " catalogue[column].name = imported_columns[column]\n", "\n", "epoch = 2004\n", "\n", "# Clean table metadata\n", "catalogue.meta = None" ] }, { "cell_type": "code", "execution_count": 5, "metadata": { "collapsed": false }, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "/home/yroehlly/herschelhelp_internal/herschelhelp_internal/utils.py:76: RuntimeWarning: invalid value encountered in log10\n", " magnitudes = 2.5 * (23 - np.log10(fluxes)) - 48.6\n" ] } ], "source": [ "# Adding magnitude and band-flag columns\n", "for col in catalogue.colnames:\n", " if col.startswith('f_'):\n", " errcol = \"ferr{}\".format(col[1:])\n", " \n", " magnitude, error = flux_to_mag(\n", " np.array(catalogue[col])/1.e6, np.array(catalogue[errcol])/1.e6)\n", " # Note that some fluxes are 0.\n", " \n", " catalogue.add_column(Column(magnitude, name=\"m{}\".format(col[1:])))\n", " catalogue.add_column(Column(error, name=\"m{}\".format(errcol[1:])))\n", " \n", " # Band-flag column\n", " if \"ap\" not in col:\n", " catalogue.add_column(Column(np.zeros(len(catalogue), dtype=bool), name=\"flag{}\".format(col[1:])))\n" ] }, { "cell_type": "code", "execution_count": 6, "metadata": { "collapsed": false }, "outputs": [ { "data": { "text/html": [ "<Table masked=True length=10>\n", "
idx | swire_intid | swire_ra | swire_dec | f_ap_swire_irac_i1 | ferr_ap_swire_irac_i1 | f_swire_irac_i1 | ferr_swire_irac_i1 | swire_stellarity_irac_i1 | f_ap_swire_irac_i2 | ferr_ap_swire_irac_i2 | f_swire_irac_i2 | ferr_swire_irac_i2 | swire_stellarity_irac_i2 | f_ap_irac_i3 | ferr_ap_irac_i3 | f_irac_i3 | ferr_irac_i3 | swire_stellarity_irac_i3 | f_ap_irac_i4 | ferr_ap_irac_i4 | f_irac_i4 | ferr_irac_i4 | swire_stellarity_irac_i4 | m_ap_swire_irac_i1 | merr_ap_swire_irac_i1 | m_swire_irac_i1 | merr_swire_irac_i1 | flag_swire_irac_i1 | m_ap_swire_irac_i2 | merr_ap_swire_irac_i2 | m_swire_irac_i2 | merr_swire_irac_i2 | flag_swire_irac_i2 | m_ap_irac_i3 | merr_ap_irac_i3 | m_irac_i3 | merr_irac_i3 | flag_irac_i3 | m_ap_irac_i4 | merr_ap_irac_i4 | m_irac_i4 | merr_irac_i4 | flag_irac_i4 |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
deg | deg | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | ||||||||||||||||||||||||||
0 | 584549 | 246.55273 | 54.990584 | 15.81 | 1.34 | 17.25 | 1.63 | 0.46 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.9026703252 | 0.09202318244 | 20.8080272515 | 0.102594203696 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
1 | 584511 | 246.552 | 54.989464 | 14.17 | 1.32 | 18.1 | 4.47 | 0.09 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 21.0215753744 | 0.101141269603 | 20.7558035628 | 0.268134852777 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
2 | 584278 | 246.54063 | 54.987334 | 73.12 | 1.49 | 53.62 | 1.05 | 1.0 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 19.2399095432 | 0.0221245479361 | 19.5766829759 | 0.0212611528347 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
3 | 584143 | 246.54075 | 54.982384 | 19.24 | 4.02 | 21.8 | 7.48 | 0.11 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.6894873307 | 0.226853406607 | 20.553858766 | 0.372537009706 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
4 | 583979 | 246.53593 | 54.980094 | 67.47 | 2.05 | 49.99 | 1.62 | 0.99 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 19.3272232246 | 0.0329888723841 | 19.6527921581 | 0.0351848900122 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
5 | 583513 | 246.52083 | 54.972094 | 25.5 | 1.5 | 26.51 | 1.62 | 0.62 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.3836495489 | 0.063866835574 | 20.3414756807 | 0.0663482705284 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
6 | 583700 | 246.5251 | 54.976784 | 55.04 | 1.53 | 55.97 | 1.75 | 0.77 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 19.5483039369 | 0.0301812571453 | 19.5301117327 | 0.0339474425286 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
7 | 583609 | 246.52057 | 54.976004 | 7.1 | 0.81 | 6.59 | 0.82 | 0.49 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 21.7718541282 | 0.123865679698 | 21.8527864635 | 0.135099193915 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
8 | 583539 | 246.51503 | 54.976924 | 23.25 | 1.03 | 18.98 | 0.98 | 0.81 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.4839426069 | 0.0480992813291 | 20.7042594798 | 0.0560601412362 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
9 | 585467 | 246.58455 | 55.007374 | 88.63 | 619.05 | 93.11 | 610.69 | 0.98 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 19.0310481267 | 7.58349314629 | 18.9775091834 | 7.12112815899 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |