{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# Lockman SWIRE master catalogue\n", "## Preparation of Spitzer datafusion SWIRE data\n", "\n", "The Spitzer catalogues were produced by the datafusion team are available in `dmu0_DataFusion-Spitzer`.\n", "Lucia told that the magnitudes are aperture corrected.\n", "\n", "In the catalouge, we keep:\n", "\n", "We keep:\n", "- The internal identifier (this one is only in HeDaM data);\n", "- The position;\n", "- The fluxes in aperture 2 (1.9 arcsec) for IRAC bands.\n", "- The Kron flux;\n", "- The stellarity in each band\n", "\n", "A query of the position in the Spitzer heritage archive show that the ELAIS-N1 images were observed in 2004. Let's take this as epoch.\n", "\n", "We do not use the MIPS fluxes as they will be extracted on MIPS maps using XID+." ] }, { "cell_type": "code", "execution_count": 1, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "This notebook was run with herschelhelp_internal version: \n", "44f1ae0 (Thu Nov 30 18:27:54 2017 +0000)\n" ] } ], "source": [ "from herschelhelp_internal import git_version\n", "print(\"This notebook was run with herschelhelp_internal version: \\n{}\".format(git_version()))" ] }, { "cell_type": "code", "execution_count": 2, "metadata": {}, "outputs": [], "source": [ "%matplotlib inline\n", "#%config InlineBackend.figure_format = 'svg'\n", "\n", "import matplotlib.pyplot as plt\n", "plt.rc('figure', figsize=(10, 6))\n", "\n", "from collections import OrderedDict\n", "import os\n", "\n", "from astropy import units as u\n", "from astropy.coordinates import SkyCoord\n", "from astropy.table import Column, Table\n", "import numpy as np\n", "\n", "from herschelhelp_internal.flagging import gaia_flag_column\n", "from herschelhelp_internal.masterlist import nb_astcor_diag_plot, remove_duplicates\n", "from herschelhelp_internal.utils import astrometric_correction, flux_to_mag" ] }, { "cell_type": "code", "execution_count": 3, "metadata": { "collapsed": true }, "outputs": [], "source": [ "OUT_DIR = os.environ.get('TMP_DIR', \"./data_tmp\")\n", "try:\n", " os.makedirs(OUT_DIR)\n", "except FileExistsError:\n", " pass\n", "\n", "RA_COL = \"swire_ra\"\n", "DEC_COL = \"swire_dec\"" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## I - Column selection" ] }, { "cell_type": "code", "execution_count": 4, "metadata": { "collapsed": true }, "outputs": [], "source": [ "imported_columns = OrderedDict({\n", " 'internal_id': \"swire_intid\",\n", " 'ra_spitzer': \"swire_ra\",\n", " 'dec_spitzer': \"swire_dec\",\n", " 'flux_ap2_36': \"f_ap_swire_irac1\",\n", " 'uncf_ap2_36': \"ferr_ap_swire_irac1\",\n", " 'flux_kr_36': \"f_swire_irac1\",\n", " 'uncf_kr_36': \"ferr_swire_irac1\",\n", " 'stell_36': \"swire_stellarity_irac1\",\n", " 'flux_ap2_45': \"f_ap_swire_irac2\",\n", " 'uncf_ap2_45': \"ferr_ap_swire_irac2\",\n", " 'flux_kr_45': \"f_swire_irac2\",\n", " 'uncf_kr_45': \"ferr_swire_irac2\",\n", " 'stell_45': \"swire_stellarity_irac2\",\n", " 'flux_ap2_58': \"f_ap_irac_i3\",\n", " 'uncf_ap2_58': \"ferr_ap_irac_i3\",\n", " 'flux_kr_58': \"f_irac_i3\",\n", " 'uncf_kr_58': \"ferr_irac_i3\",\n", " 'stell_58': \"swire_stellarity_irac3\",\n", " 'flux_ap2_80': \"f_ap_irac_i4\",\n", " 'uncf_ap2_80': \"ferr_ap_irac_i4\",\n", " 'flux_kr_80': \"f_irac_i4\",\n", " 'uncf_kr_80': \"ferr_irac_i4\",\n", " 'stell_80': \"swire_stellarity_irac4\",\n", " })\n", "\n", "\n", "catalogue = Table.read(\"../../dmu0/dmu0_DataFusion-Spitzer/data/DF-SWIRE_Lockman-SWIRE.fits\")[list(imported_columns)]\n", "for column in imported_columns:\n", " catalogue[column].name = imported_columns[column]\n", "\n", "epoch = 2004\n", "\n", "# Clean table metadata\n", "catalogue.meta = None" ] }, { "cell_type": "code", "execution_count": 5, "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "/opt/herschelhelp_internal/herschelhelp_internal/utils.py:76: RuntimeWarning: invalid value encountered in log10\n", " magnitudes = 2.5 * (23 - np.log10(fluxes)) - 48.6\n" ] } ], "source": [ "# Adding magnitude and band-flag columns\n", "for col in catalogue.colnames:\n", " if col.startswith('f_'):\n", " errcol = \"ferr{}\".format(col[1:])\n", " \n", " magnitude, error = flux_to_mag(\n", " np.array(catalogue[col])/1.e6, np.array(catalogue[errcol])/1.e6)\n", " # Note that some fluxes are 0.\n", " \n", " catalogue.add_column(Column(magnitude, name=\"m{}\".format(col[1:])))\n", " catalogue.add_column(Column(error, name=\"m{}\".format(errcol[1:])))\n", " \n", " # Band-flag column\n", " if \"ap\" not in col:\n", " catalogue.add_column(Column(np.zeros(len(catalogue), dtype=bool), name=\"flag{}\".format(col[1:])))\n" ] }, { "cell_type": "code", "execution_count": 6, "metadata": {}, "outputs": [ { "data": { "text/html": [ "<Table masked=True length=10>\n", "
idx | swire_intid | swire_ra | swire_dec | f_ap_swire_irac1 | ferr_ap_swire_irac1 | f_swire_irac1 | ferr_swire_irac1 | swire_stellarity_irac1 | f_ap_swire_irac2 | ferr_ap_swire_irac2 | f_swire_irac2 | ferr_swire_irac2 | swire_stellarity_irac2 | f_ap_irac_i3 | ferr_ap_irac_i3 | f_irac_i3 | ferr_irac_i3 | swire_stellarity_irac3 | f_ap_irac_i4 | ferr_ap_irac_i4 | f_irac_i4 | ferr_irac_i4 | swire_stellarity_irac4 | m_ap_swire_irac1 | merr_ap_swire_irac1 | m_swire_irac1 | merr_swire_irac1 | flag_swire_irac1 | m_ap_swire_irac2 | merr_ap_swire_irac2 | m_swire_irac2 | merr_swire_irac2 | flag_swire_irac2 | m_ap_irac_i3 | merr_ap_irac_i3 | m_irac_i3 | merr_irac_i3 | flag_irac_i3 | m_ap_irac_i4 | merr_ap_irac_i4 | m_irac_i4 | merr_irac_i4 | flag_irac_i4 |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
deg | deg | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | ||||||||||||||||||||||||||
0 | 2340449 | 161.007312 | 60.416528 | nan | nan | nan | nan | nan | 12.91 | 1.39 | 9.7 | 1.12 | 0.58 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 21.1226843943 | 0.116899560388 | 21.4330706643 | 0.125363355601 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
1 | 2340443 | 161.007212 | 60.414578 | nan | nan | nan | nan | nan | 13.59 | 1.4 | 12.99 | 1.41 | 0.47 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 21.0669513582 | 0.111849204317 | 21.1159771223 | 0.117851273958 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
2 | 2340450 | 160.989592 | 60.411318 | nan | nan | nan | nan | nan | 68.71 | 8.62 | 201.51 | 12.17 | 0.03 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 19.3074501286 | 0.136210829355 | 18.1392584925 | 0.0655719796135 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
3 | 2340388 | 161.020982 | 60.410408 | nan | nan | nan | nan | nan | 19.18 | 1.46 | 14.07 | 1.13 | 0.63 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 20.6928784929 | 0.0826472814884 | 21.0292647564 | 0.0871984300907 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
4 | 2340428 | 161.014492 | 60.412348 | nan | nan | nan | nan | nan | 31.81 | 1.62 | 31.46 | 1.94 | 0.63 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 20.1435908272 | 0.0552937017198 | 20.1556032043 | 0.0669525822387 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
5 | 2340395 | 161.017472 | 60.409728 | nan | nan | nan | nan | nan | 70.05 | 2.01 | 59.91 | 1.99 | 0.96 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 19.2864796509 | 0.0311538868175 | 19.456251701 | 0.0360643473121 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
6 | 2340367 | 161.024652 | 60.409488 | nan | nan | nan | nan | nan | 20.24 | 1.48 | 20.6 | 1.94 | 0.66 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 20.6344737296 | 0.0793917778183 | 20.6153319491 | 0.102248943555 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
7 | 2340278 | 161.028732 | 60.405258 | nan | nan | nan | nan | nan | 34.82 | 1.66 | 33.8 | 1.66 | 0.95 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 20.045428083 | 0.0517611171711 | 20.0777082493 | 0.0533231390503 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
8 | 2340381 | 161.016142 | 60.406638 | nan | nan | nan | nan | nan | 16.14 | 1.43 | 14.87 | 1.59 | 0.55 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 20.880241174 | 0.096195958662 | 20.9692225787 | 0.116094187328 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
9 | 2340407 | 161.011232 | 60.407538 | nan | nan | nan | nan | nan | 9.78 | 1.34 | 6.96 | 0.95 | 0.5 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | False | 21.424152863 | 0.148761402288 | 21.793476901 | 0.148196752086 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |