{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# ELAIS-N2 master catalogue\n", "## Preparation of Spitzer datafusion SWIRE data\n", "\n", "The Spitzer catalogues were produced by the datafusion team are available in `dmu0_DataFusion-Spitzer`.\n", "Lucia told that the magnitudes are aperture corrected.\n", "\n", "In the catalouge, we keep:\n", "\n", "We keep:\n", "- The internal identifier (this one is only in HeDaM data);\n", "- The position;\n", "- The fluxes in aperture 2 (1.9 arcsec) for IRAC bands.\n", "- The Kron flux;\n", "- The stellarity in each band\n", "\n", "A query of the position in the Spitzer heritage archive show that the ELAIS-N1 images were observed in 2004. Let's take this as epoch. Is ELAIS N2 different?\n", "\n", "We do not use the MIPS fluxes as they will be extracted on MIPS maps using XID+." ] }, { "cell_type": "code", "execution_count": 1, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "This notebook was run with herschelhelp_internal version: \n", "44f1ae0 (Thu Nov 30 18:27:54 2017 +0000)\n" ] } ], "source": [ "from herschelhelp_internal import git_version\n", "print(\"This notebook was run with herschelhelp_internal version: \\n{}\".format(git_version()))" ] }, { "cell_type": "code", "execution_count": 2, "metadata": {}, "outputs": [], "source": [ "%matplotlib inline\n", "#%config InlineBackend.figure_format = 'svg'\n", "\n", "import matplotlib.pyplot as plt\n", "plt.rc('figure', figsize=(10, 6))\n", "\n", "from collections import OrderedDict\n", "import os\n", "\n", "from astropy import units as u\n", "from astropy.coordinates import SkyCoord\n", "from astropy.table import Column, Table\n", "import numpy as np\n", "\n", "from herschelhelp_internal.flagging import gaia_flag_column\n", "from herschelhelp_internal.masterlist import nb_astcor_diag_plot, remove_duplicates\n", "from herschelhelp_internal.utils import astrometric_correction, flux_to_mag" ] }, { "cell_type": "code", "execution_count": 3, "metadata": { "collapsed": true }, "outputs": [], "source": [ "OUT_DIR = os.environ.get('TMP_DIR', \"./data_tmp\")\n", "try:\n", " os.makedirs(OUT_DIR)\n", "except FileExistsError:\n", " pass\n", "\n", "RA_COL = \"swire_ra\"\n", "DEC_COL = \"swire_dec\"" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## I - Column selection" ] }, { "cell_type": "code", "execution_count": 4, "metadata": { "collapsed": true }, "outputs": [], "source": [ "imported_columns = OrderedDict({\n", " 'internal_id': \"swire_intid\",\n", " 'ra_spitzer': \"swire_ra\",\n", " 'dec_spitzer': \"swire_dec\",\n", " 'flux_ap2_36': \"f_ap_irac_i1\",\n", " 'uncf_ap2_36': \"ferr_ap_irac_i1\",\n", " 'flux_kr_36': \"f_irac_i1\",\n", " 'uncf_kr_36': \"ferr_irac_i1\",\n", " 'stell_36': \"swire_stellarity\",\n", " 'flux_ap2_45': \"f_ap_irac_i2\",\n", " 'uncf_ap2_45': \"ferr_ap_irac_i2\",\n", " 'flux_kr_45': \"f_irac_i2\",\n", " 'uncf_kr_45': \"ferr_irac_i2\",\n", " #'stell_45': \"swire_stellarity_irac2\",\n", " 'flux_ap2_58': \"f_ap_irac_i3\",\n", " 'uncf_ap2_58': \"ferr_ap_irac_i3\",\n", " 'flux_kr_58': \"f_irac_i3\",\n", " 'uncf_kr_58': \"ferr_irac_i3\",\n", " #'stell_58': \"swire_stellarity_irac3\",\n", " 'flux_ap2_80': \"f_ap_irac_i4\",\n", " 'uncf_ap2_80': \"ferr_ap_irac_i4\",\n", " 'flux_kr_80': \"f_irac_i4\",\n", " 'uncf_kr_80': \"ferr_irac_i4\",\n", " #'stell_80': \"swire_stellarity_irac4\",\n", " })\n", "\n", "\n", "catalogue = Table.read(\"../../dmu0/dmu0_DataFusion-Spitzer/data/DF-SWIRE_ELAIS-N2.fits\")[list(imported_columns)]\n", "for column in imported_columns:\n", " catalogue[column].name = imported_columns[column]\n", "\n", "epoch = 2004\n", "\n", "# Clean table metadata\n", "catalogue.meta = None" ] }, { "cell_type": "code", "execution_count": 5, "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "/opt/herschelhelp_internal/herschelhelp_internal/utils.py:76: RuntimeWarning: invalid value encountered in log10\n", " magnitudes = 2.5 * (23 - np.log10(fluxes)) - 48.6\n" ] } ], "source": [ "# Adding magnitude and band-flag columns\n", "for col in catalogue.colnames:\n", " if col.startswith('f_'):\n", " errcol = \"ferr{}\".format(col[1:])\n", " \n", " magnitude, error = flux_to_mag(\n", " np.array(catalogue[col])/1.e6, np.array(catalogue[errcol])/1.e6)\n", " # Note that some fluxes are 0.\n", " \n", " catalogue.add_column(Column(magnitude, name=\"m{}\".format(col[1:])))\n", " catalogue.add_column(Column(error, name=\"m{}\".format(errcol[1:])))\n", " \n", " # Band-flag column\n", " if \"ap\" not in col:\n", " catalogue.add_column(Column(np.zeros(len(catalogue), dtype=bool), name=\"flag{}\".format(col[1:])))\n" ] }, { "cell_type": "code", "execution_count": 6, "metadata": {}, "outputs": [ { "data": { "text/html": [ "<Table masked=True length=10>\n", "
idx | swire_intid | swire_ra | swire_dec | f_ap_irac_i1 | ferr_ap_irac_i1 | f_irac_i1 | ferr_irac_i1 | swire_stellarity | f_ap_irac_i2 | ferr_ap_irac_i2 | f_irac_i2 | ferr_irac_i2 | f_ap_irac_i3 | ferr_ap_irac_i3 | f_irac_i3 | ferr_irac_i3 | f_ap_irac_i4 | ferr_ap_irac_i4 | f_irac_i4 | ferr_irac_i4 | m_ap_irac_i1 | merr_ap_irac_i1 | m_irac_i1 | merr_irac_i1 | flag_irac_i1 | m_ap_irac_i2 | merr_ap_irac_i2 | m_irac_i2 | merr_irac_i2 | flag_irac_i2 | m_ap_irac_i3 | merr_ap_irac_i3 | m_irac_i3 | merr_irac_i3 | flag_irac_i3 | m_ap_irac_i4 | merr_ap_irac_i4 | m_irac_i4 | merr_irac_i4 | flag_irac_i4 |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
deg | deg | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | uJy | |||||||||||||||||||||||
0 | 1233719 | 248.275301 | 39.720129 | 33.69 | 4.36 | 70.03 | 4.95 | 0.95 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.0812474725 | 0.140510829705 | 19.2867896841 | 0.0767441698351 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
1 | 1234159 | 248.269131 | 39.728339 | 32.79 | 2.07 | 110.68 | 3.3 | 0.0 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.1106464583 | 0.0685414438502 | 18.7898271238 | 0.0323719685192 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
2 | 1234334 | 248.266851 | 39.731289 | 28.35 | 2.05 | 98.61 | 3.08 | 0.01 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.2686173419 | 0.0785100253882 | 18.915197603 | 0.0339120526382 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
3 | 1234300 | 248.273391 | 39.733599 | 131.74 | 2.43 | 147.16 | 2.41 | 0.36 | nan | nan | nan | nan | 117.81 | 10.61 | 109.83 | 8.62 | nan | nan | nan | nan | 18.6007058522 | 0.0200268633487 | 18.4805255521 | 0.0177808117251 | False | nan | nan | nan | nan | False | 18.72204461 | 0.0977816919827 | 18.798197541 | 0.0852139313941 | False | nan | nan | nan | nan | False |
4 | 1234511 | 248.264271 | 39.734869 | 33.28 | 2.36 | 98.88 | 3.68 | 0.47 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.094541706 | 0.076993312597 | 18.9122288556 | 0.0404076581059 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
5 | 1234350 | 248.272581 | 39.734379 | 30.41 | 1.38 | 36.36 | 1.67 | 0.88 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.1924589496 | 0.049270501893 | 19.9984403136 | 0.0498674219457 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
6 | 1234418 | 248.270721 | 39.734939 | 228.3 | 4.1 | 168.46 | 3.0 | 0.99 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 18.0037352213 | 0.0194985476982 | 18.3337580091 | 0.0193352048811 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
7 | 1234420 | 248.272611 | 39.735839 | 246.53 | 3.02 | 179.53 | 2.18 | 1.0 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 17.9203255607 | 0.0133003015388 | 18.2646574228 | 0.0131838964316 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
8 | 1234485 | 248.272171 | 39.737719 | 40.38 | 1.46 | 53.78 | 1.98 | 0.04 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 19.8845842135 | 0.039256435338 | 19.5734480053 | 0.039973181209 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |
9 | 1234494 | 248.274841 | 39.739139 | 24.64 | 1.2 | 24.34 | 1.29 | 0.71 | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | nan | 20.4208982413 | 0.0528767632187 | 20.4341985653 | 0.0575431267107 | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False | nan | nan | nan | nan | False |