From 6785f4aa749e381081b93e3db46424cc7475eab8 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Nicolas=20L=C5=93uillet?= Date: Wed, 20 Jan 2016 14:37:01 +0100 Subject: [PATCH] [#1590] Add JSON import from wallabag v2 --- docs/en/user/import.rst | 19 +++- docs/img/user/export_wllbg_2.png | Bin 0 -> 7703 bytes .../Controller/WallabagV2Controller.php | 60 +++++++++++ .../ImportBundle/Import/WallabagV1Import.php | 18 ++-- .../ImportBundle/Import/WallabagV2Import.php | 75 ++++++++++++++ .../Resources/config/services.yml | 9 ++ .../views/WallabagV2/index.html.twig | 2 + .../Tests/Controller/ImportControllerTest.php | 2 +- .../Controller/WallabagV2ControllerTest.php | 69 +++++++++++++ .../Tests/Import/WallabagV1ImportTest.php | 12 +-- .../Tests/Import/WallabagV2ImportTest.php | 97 ++++++++++++++++++ .../Tests/fixtures/wallabag-v2.json | 1 + 12 files changed, 344 insertions(+), 20 deletions(-) create mode 100644 docs/img/user/export_wllbg_2.png create mode 100644 src/Wallabag/ImportBundle/Controller/WallabagV2Controller.php create mode 100644 src/Wallabag/ImportBundle/Import/WallabagV2Import.php create mode 100644 src/Wallabag/ImportBundle/Resources/views/WallabagV2/index.html.twig create mode 100644 src/Wallabag/ImportBundle/Tests/Controller/WallabagV2ControllerTest.php create mode 100644 src/Wallabag/ImportBundle/Tests/Import/WallabagV2ImportTest.php create mode 100644 src/Wallabag/ImportBundle/Tests/fixtures/wallabag-v2.json diff --git a/docs/en/user/import.rst b/docs/en/user/import.rst index 8f6cf4c14..235393ce3 100644 --- a/docs/en/user/import.rst +++ b/docs/en/user/import.rst @@ -1,8 +1,8 @@ Migrate to wallabag =================== -From wallabag 1.x ------------------ +From wallabag +------------- Export your data from your wallabag 1.x ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ @@ -15,6 +15,17 @@ On your config page, click on ``JSON export`` in the ``Export your wallabag data You will have a ``wallabag-export-1-1970-01-01.json`` file. +Export your data from your wallabag 2.x +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +On the export sidebar, click on ``JSON``. + +.. image:: ../../img/user/export_wllbg_2.png +:alt: Export from wallabag 2.x + :align: center + +You will have a ``Unread articles.json`` file. + Import your data into wallabag 2.x ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ @@ -24,7 +35,7 @@ Click on ``Import`` link in the menu, select your export file on your computer :alt: Import from wallabag 1.x :align: center -All your wallabag 1.x articles will be imported. +All your wallabag articles will be imported. From Pocket ----------- @@ -46,7 +57,7 @@ Import your data into wallabag 2.x Click on ``Import`` link in the menu, on ``Import contents`` in Pocket section and then on ``Connect to Pocket and import data``. -You need to authorize wallabag to interact with your Pocket account. Your data will be imported. Data import can be a demanding process for your server (we need to work on this import to improve it). +You need to authorize wallabag to interact with your Pocket account. Your data will be imported. Data import can be a demanding process for your server (we need to work on this import to improve it). From Instapaper --------------- diff --git a/docs/img/user/export_wllbg_2.png b/docs/img/user/export_wllbg_2.png new file mode 100644 index 0000000000000000000000000000000000000000..db2d4cf64800cb253bbde138efe02fddff997764 GIT binary patch literal 7703 zcmc&(2{e>_+n?%*%2rQgDSCPuEyT#0JxQ8mD@*o}eK&T-QlV%wh{#U1jIuO#MJSpG zlNdv?@B6-e*WL4+?|nPpd){-t<(!Y>82@qK^Ixv(x83(O)RdX_aqUB)P)yj%7q6jE zJB;DSVGkXQsMqb}gkN-KD#{m8+sJovWo9Id>~+4ZheM$l4kAB0P;t*WV36JotExo* zeFrPk0akAfnOi6ncRKc>f|gg;B+b|F^X~12*=6_1ni*X<8RD*~Wq{l%14ha>w!W3Lh7<9}uTHXq7mL32%r}?Z3I>0|LBOddki0 zGYY8Vt6p9*#Ob~@$H$MoSEqdO`Q+5ElT16JO*w{+9zPlBjf%cy@mrRg+jjX|8B|TU z{HwQa?0;0OC^q{refHV`1B2=8sJ`8(8U_>$7c&wCPl%uwzf9yat{YOtk;h3^{?zZg%f1FuMtFVzD3bo z8o2MW2NurEIP2xHRW}Y#O?_@5{wXP`Cn+gONdNx*W(~u4*MN0uuU4ME7@f<({yH(3 z6Y`neC~?Q`tV<8Mo&|VJ_ZUr89mOw1l$u1IP%ZMDHpWrk-JvHt)P}Oept)szwC>-( zKSnDjb-i)OO-}w}af)WpmZ`35Y-}7X-*Ef(P65Lb4HmhTWGVNt^g{yrBcG+GwXR-$ z058*1Q&V&00y+yUhK85Aam`r5*Oz)}3U}zT9jI??+p{9%Hf9tvB@N4}__4FIvqNhq zllUNFd9nV?8O(yC@P1=?Vq44=NkF-i*2LNRIfx|-MxEvoE*NaRK{&Yqu7DE z6xJYv8+!0H&meQ}!4o4BorP-Ds?8+>{Q4y6ikjNjPtQas#daOJ{{Hb2PG1X~<#G?6 zR6Cc~+|+d4*f{ZxQ!jCKewhF4+1a=T0=k?=WHF66Y7aCi;6_q z4jr;>PLy3+>3{6ri(i(UoQGw`l5{D#y6WZ)j|7&z)|V#R+SKLqT3fHJuB>Fa^w-ZV zEVM881~~B?mzOtDmzlk*Lp01zPEO|Mv7(i^54og=dz#%14$k(N?2_`|DDjx;&W4LO z7uwXh#O-4(n-lYlD}9XS8MlX%0;=pQLqkJPT#dac7%=mWen`*T&8=wXu3fxX)i}{( z6)6AmGWT)5W5*P(zqlHKR!x#Ks`ObTWM*cfM|-!oNN^aprsUnnv|wt6i>-kaTT1L% z^M#pOmL@9IfS{$Xp93qg8*9(z6BN|JV(*_&jY|*M=sy~hV0u*2^7haV@xWw+|#M9zCMn0UpwE} z2yQO1Y*6lz$JtYbU)LG2Uu&)xGfob>|L`GH_aqwI@QAz3ce>Kb(RVOf*KKRVTjYkU z&qB%2tg+v$(nB8Et_MVPX<6CW*7|hE15S}o?!L=Yl%+{3#&-+((~e|nY8odWP<7pn zH(M=1>dKWX*Dhbaht7WWO2esYbx2H}bk@AydaAp$Y<;R+yV@U5$v5deU8c>}w|ncR zfWaF#AD65Oc}(@jT=e!A{XCz^;*NnapV`A-mwSBGk;y@QMaRY2CbFp|%B;pEsgUEu z#N0+&TuIBLZOWd#cv2g0aKYT%T#^5#4{kLh#+VQvPi1>NI5kDgzMd(?J>H&ueb9em zh#YS>@F8M5(qtD@SL&?)K!h?HTUS?itu?NtD)iZa0hkW7D05 z4K~yclK=-}GwTjwLY#z?KgGP*k*4p^RTP0XDsfh@v9TGPI?TawBinODo7b=())WyD z!M5*8+Y8nFvdxbtliHy?7HV1KN1#N-IzsQ>J$2&5P#M1J-Me=~{nORkJvIiN`$L0+ zwMV?Tr9HGfJl>#Bi-=s`Twkspt)kn5nW2a7>2ddNdIdFQ?7wOOQ+_ty-QB$~mYZ+9 zwDX&jCT!~bEcBALp`m?Mtmo)wdaN!!<>gB{Ca&1WO>*0oH5qit`xsbQbkCm;Z0j5? zuA*&=1z~b0HmibzgNMv9nEZX*`4iz@7D?(}JGAzy#0Y9TIuc7OaKma2Jr%2E{ttfq z_~EK(xTI5TGNqeXFm23#*c31>#B<`?*?Eurf|x^4Ep>KPVkF^5N97&mh&p+3ZO9{#5Ey3UtPWJl&IV(eGz(K4<>MY`k_RRP=L5X_#pw& zTOao0sP_&W*UC4R#a>fWdqf}*h~5=<@BX&AIUNvF+vlubZP9e-A(vRAAu|KRb!+Pp zi)N%CS8r3H*~HA=-)riL@EB`9{gC5qO~t40gM%3WbVf1W?Rf?rqtZb+f$LsD^4|`s z%V=hM-g-~c#i=b@gtuB`UXe@S^R6AB5&ch9Vwse-?S~0h< zus~3vZ1N3tq5iPbeq$7SGn)UnoSZS75k_XY8z;=DNNCSD0my70E!fbB-8f*OU zK?A_i*sE{1fL_5sSOZb7@WlzW=ULdu6Q?C4mcu+xbo-3w#mV|EX-~6E^;TE=`S~pX z^PR?E)Q3MOl>eXxZEkKx$Hr#)PL&Rqk#Q}_3i>6^Da_nbXsndm$P;*x{y9M!m%Zby zlZaD~%)CH(Vq#+4ITy3ib+u>0butIlR8-o=D7j5E2|m6nCVsQQ&=l?I*n{4_zD-R{ zDge+FIAMUHwSAR)0JS7C($lS5)3Jalk+vN~0SO5S3em_QLCPHlBclieSEDq3qm9)H zIG~PXg*#fgIs$rmI;(4IalO3V_s-bTdcLc0u~~9#Z}vNXIQOLPYECRPPNQWZmf(lS z^ZOmve}aP#bYG zPdAmk-xk-}eGq!k39B(&cNe4<+@x`Dew~@=zAVx3x<9Kt5EXU~ z7?7JNf#Ze1G;BpXU~LuDR-uh7&P97|uDnkmxy{kcpadTLHTN9S{QYTkNR+fM9 z?A-jkHt_$02aMQjpa3~!kW1w^7b2gY(K8e5$kA?M%&+ZxLbk+pZAU2cM3k5N20xy5 zKF7+&W+6yVM<*o!R3?!C6SnIrvKe%I92Q2XGmA({O6npx<%7t?maSpN&y>Mdz)-R@6$w%C@pi=Wg%V40oLV2#-n|iM=x8;l zPF+jO6Sceh>d5>O61rF{R&AWef2Ge(F5j+$s9)xmt&?w@2g5Arn;~_D3Bkcs514zTJY^nrR`fI9zmOWIt<9oS2=|B*|^`8uS+;jpBqY!T{lU zW!Fa1_)eW_31j2mT4$-TrOfozin$J4mYx43LP(#Ou%~0HVK8ikkJZlAQ9Uf-7=<1j z7&rx`0rcU~h2iH{A+%Tedg5pq4ZcegE?p9!!ZXzpu3fqmg3g9DF>>8yFL`hF`jm`} zp}`w_O&gnRV3C2ozLZz5gfchx?b|o-{OMJbp6@c{g5P z2nq@c3kx%A`J>`3FMN%47G}alMGjPPht2|}0|yQi+&H7Q4vPDOBPkw}Xe3n_J-})n zUY9D-UOJz@R5ZW0lpVUz9{nR zynIq!U48q`9ZY%QF+o8!6Z~TI(C38QPoJ)GhNOV20nU)7g$+S>L`9)PYg3*-KLT&) zYp%dvP%>25qn|$Ila)1^A8rOfx^HG~PR9Rv{P^JL zX!gQ_n`(lTHsE?Yewk+F=tL_k)_-GfBS^BPguS~xvvY9oo;@v4)4bR(U%rIhzyIZ_ zfWh+`X)yN1Hf@*Ww>Jub*bzW-pYEY`^Bg+#A~u#IWN!_FRtU|p16&ju3usjRLypw# z8jg7H_I54MHP6O9C%ZC!{4m3+W7DaXOL2jk4Uy)i6rQP}y(!qd|ecq6)eTY%L4 zCl)$PsKdg_ieFlqYB<%F$K6C!-4o*2#n&jr$Qg1hwDuSnaoE9-om#&;ank(_ zoe*3g;RzH5RK(vI3LxtL`S5qo*S9|Y-f1tc3WCdUdA8wblVzdJ#JAUk^q^hzAbd_A zJN9n0G{h7<)FttF)#H~QJVEE_6(X;jo(hR#y#3Gq^NLNzC9lEUh>mL%*8Q2A_ z$G_%<-MjaM=4f>f&dvgE-Qw2`9v#HBlmq7UX-yCk?gJkVK(TsuRpHA4*+A1v)G*XA zY;Zvy!e0F(PX`Ya02NbmrUG;f2mwTPgM$1sARs`@spolL(9F*0#laYpv3RE{O%07F zA&i`<8ykLr7)FPT0ZD^HL-~1ml{h&$3p(wk0=8s!y-%wD*_ysfFF{A0#QJQ^Hn>A_ zGd|xe-vPM?Q4YVBr4)XMAlM^y0xKR*_6y1b^W%E%h_1{O(WqPt%%&hcJw3muXjIT0 z5#yU*Qk9??qRKp{i69_8*48RQvIG<@V)eP=%*$iPj)B~{9xv{o1?}wmI3A8BnqN0A zprD|DL!2nBa`EEbcN`j;09Zndps+e8Ju)&gMOXtxej?U?pTh&h{fD{yBY~68{`Nn* zNnq2=ot9bozHm%cOOAG~sCCO9ixZvKm6Vk93oRcmP0?}-t(p{)iR z-1^nh(o%>cu7xslBVi#N^A$q<1I{$~Z>SATASwcSva?Wmeu#V>77ftFDFZrQ@R@{D z;u}X=PGBI)eY8~xjt-GlP{n9099x{UCsFPBxs)eQ_OGt4+Q7v?-%mkgwY>&G=RVaf z8M5!QSJ2$KBg{x4&CSfTjC@J6czuJFhle;Ya0`hO2}M4Ow!m4uX!NN+{x~0EYW?}S zWMgAv>lCe=jf=~cXL@^Udb3=OchuxnSQA>zA6A z<~}!oO_0OulV~3CJ9q9xV-JNZK^jCzhwwt0J6EsJ5@czl|HiCx2o!VFNpN}i^(6{q zoQq3TC%c-vdy)4UYg@pE@?z!WQCDB^n>&1e@L zqXtwD($>xL+lEK|S5nZ~M&%xabSScOvYC)M5kN-t6;(OX%8=w#Zhb<;fmRmXcU#1` z`#I2ShOP--TYh8a&UI0|pC80X$6zx?HkW&20Cj<{$gCMn*;% ze3-t2f{x5^_cMR za1cD4!h0|pIzK~02w))KA)o>6E4R1S<3y|;G1h9t2pXZW;LSSNP5e>_gx@Qdy6ob_ z9pb=<08$HL5ynBE2FVUd;65fMZA7;Gyr-sS1UefQtv0^7v7tqBGy-kQ#36LPzu_^W zxL&9y5!a`yO#s!zlc*KmxZS_~hD2?E98l~1!n?xzzgElc>m%A!i8y0vjVy+YRiAZJirzatA8}#Fq>9hmoV2-|?hkv|9tW zXO;oU@rtS{B~o238<+}NJb*2isPz-DT@VE&GaVMU{uFx_GMj`)M$&Kx`j_M+S3GgA-GvD9&z|#Z3woQ6A>&#eH8kme$JF(Wo2cN zTN{oDZqS*ZR|0uiD+GDKEfO_4F>x!?j|a?qh|8?X^6GGsF0`N6tq)Jad+YV`3aFD@ zlCJ4M4rySdbJNo=K9*gIwHJ>MVdnNB4;!30v{mpfgYNApLx*iN^Z`)Dt=BgM4LqP1 zFI>2dJdlF+7SJ!c%)`UOCFA8BoXFywy<>$93O^?+>lE*a6JrabZE=#g7oeUw7=eBL z)xir$dC#TazJ0s>rJe}g?ZZ1eyfjZsG>RF=lb6c5rG2M>1J;@7}#@1Ci=Lc;vvD%pY7BzQIeS o^$ftwzeak0$?`zHsqGysZ>?L}w>^U45iSa=q;`>b;pXlC09?zY&;S4c literal 0 HcmV?d00001 diff --git a/src/Wallabag/ImportBundle/Controller/WallabagV2Controller.php b/src/Wallabag/ImportBundle/Controller/WallabagV2Controller.php new file mode 100644 index 000000000..2e6225f29 --- /dev/null +++ b/src/Wallabag/ImportBundle/Controller/WallabagV2Controller.php @@ -0,0 +1,60 @@ +createForm(UploadImportType::class); + $form->handleRequest($request); + + $wallabag = $this->get('wallabag_import.wallabag_v2.import'); + + if ($form->isValid()) { + $file = $form->get('file')->getData(); + $name = $this->getUser()->getId().'.json'; + + if (in_array($file->getClientMimeType(), $this->getParameter('wallabag_import.allow_mimetypes')) && $file->move($this->getParameter('wallabag_import.resource_dir'), $name)) { + $res = $wallabag + ->setUser($this->getUser()) + ->setFilepath($this->getParameter('wallabag_import.resource_dir').'/'.$name) + ->import(); + + $message = 'Import failed, please try again.'; + + if (true === $res) { + $summary = $wallabag->getSummary(); + $message = 'Import summary: '.$summary['imported'].' imported, '.$summary['skipped'].' already saved.'; + + unlink($this->getParameter('wallabag_import.resource_dir').'/'.$name); + } + + $this->get('session')->getFlashBag()->add( + 'notice', + $message + ); + + return $this->redirect($this->generateUrl('homepage')); + } else { + $this->get('session')->getFlashBag()->add( + 'notice', + 'Error while processing import. Please verify your import file.' + ); + } + } + + return $this->render('WallabagImportBundle:WallabagV2:index.html.twig', [ + 'form' => $form->createView(), + 'import' => $wallabag, + ]); + } +} diff --git a/src/Wallabag/ImportBundle/Import/WallabagV1Import.php b/src/Wallabag/ImportBundle/Import/WallabagV1Import.php index 6f8feaf36..0dac6203e 100644 --- a/src/Wallabag/ImportBundle/Import/WallabagV1Import.php +++ b/src/Wallabag/ImportBundle/Import/WallabagV1Import.php @@ -11,12 +11,12 @@ use Wallabag\CoreBundle\Tools\Utils; class WallabagV1Import implements ImportInterface { - private $user; - private $em; - private $logger; - private $skippedEntries = 0; - private $importedEntries = 0; - private $filepath; + protected $user; + protected $em; + protected $logger; + protected $skippedEntries = 0; + protected $importedEntries = 0; + protected $filepath; public function __construct(EntityManager $em) { @@ -72,13 +72,13 @@ class WallabagV1Import implements ImportInterface public function import() { if (!$this->user) { - $this->logger->error('WallabagV1Import: user is not defined'); + $this->logger->error('WallabagImport: user is not defined'); return false; } if (!file_exists($this->filepath) || !is_readable($this->filepath)) { - $this->logger->error('WallabagV1Import: unable to read file', array('filepath' => $this->filepath)); + $this->logger->error('WallabagImport: unable to read file', array('filepath' => $this->filepath)); return false; } @@ -120,7 +120,7 @@ class WallabagV1Import implements ImportInterface /** * @param $entries */ - private function parseEntries($entries) + protected function parseEntries($entries) { $i = 1; diff --git a/src/Wallabag/ImportBundle/Import/WallabagV2Import.php b/src/Wallabag/ImportBundle/Import/WallabagV2Import.php new file mode 100644 index 000000000..979c671e9 --- /dev/null +++ b/src/Wallabag/ImportBundle/Import/WallabagV2Import.php @@ -0,0 +1,75 @@ +em + ->getRepository('WallabagCoreBundle:Entry') + ->findByUrlAndUserId($importedEntry['url'], $this->user->getId()); + + if (false !== $existingEntry) { + ++$this->skippedEntries; + continue; + } + + // @see ContentProxy->updateEntry + $entry = new Entry($this->user); + $entry->setUrl($importedEntry['url']); + $entry->setTitle($importedEntry['title']); + $entry->setArchived($importedEntry['is_archived']); + $entry->setStarred($importedEntry['is_starred']); + $entry->setContent($importedEntry['content']); + $entry->setReadingTime($importedEntry['reading_time']); + $entry->setDomainName($importedEntry['domain_name']); + $entry->setMimetype($importedEntry['mimetype']); + $entry->setLanguage($importedEntry['language']); + $entry->setPreviewPicture($importedEntry['preview_picture']); + + $this->em->persist($entry); + ++$this->importedEntries; + + // flush every 20 entries + if (($i % 20) === 0) { + $this->em->flush(); + } + ++$i; + } + + $this->em->flush(); + } +} diff --git a/src/Wallabag/ImportBundle/Resources/config/services.yml b/src/Wallabag/ImportBundle/Resources/config/services.yml index e4dde1003..6a11892e7 100644 --- a/src/Wallabag/ImportBundle/Resources/config/services.yml +++ b/src/Wallabag/ImportBundle/Resources/config/services.yml @@ -32,3 +32,12 @@ services: - [ setLogger, [ "@logger" ]] tags: - { name: wallabag_import.import, alias: wallabag_v1 } + + wallabag_import.wallabag_v2.import: + class: Wallabag\ImportBundle\Import\WallabagV2Import + arguments: + - "@doctrine.orm.entity_manager" + calls: + - [ setLogger, [ "@logger" ]] + tags: + - { name: wallabag_import.import, alias: wallabag_v2 } diff --git a/src/Wallabag/ImportBundle/Resources/views/WallabagV2/index.html.twig b/src/Wallabag/ImportBundle/Resources/views/WallabagV2/index.html.twig new file mode 100644 index 000000000..78fe67e46 --- /dev/null +++ b/src/Wallabag/ImportBundle/Resources/views/WallabagV2/index.html.twig @@ -0,0 +1,2 @@ +{% extends "WallabagImportBundle:WallabagV1:index.html.twig" %} +{% block title %}{% trans %}Import > Wallabag v2{% endtrans %}{% endblock %} diff --git a/src/Wallabag/ImportBundle/Tests/Controller/ImportControllerTest.php b/src/Wallabag/ImportBundle/Tests/Controller/ImportControllerTest.php index 30009af49..9f38fa828 100644 --- a/src/Wallabag/ImportBundle/Tests/Controller/ImportControllerTest.php +++ b/src/Wallabag/ImportBundle/Tests/Controller/ImportControllerTest.php @@ -24,6 +24,6 @@ class ImportControllerTest extends WallabagCoreTestCase $crawler = $client->request('GET', '/import/'); $this->assertEquals(200, $client->getResponse()->getStatusCode()); - $this->assertEquals(2, $crawler->filter('blockquote')->count()); + $this->assertEquals(3, $crawler->filter('blockquote')->count()); } } diff --git a/src/Wallabag/ImportBundle/Tests/Controller/WallabagV2ControllerTest.php b/src/Wallabag/ImportBundle/Tests/Controller/WallabagV2ControllerTest.php new file mode 100644 index 000000000..a77c0f6b9 --- /dev/null +++ b/src/Wallabag/ImportBundle/Tests/Controller/WallabagV2ControllerTest.php @@ -0,0 +1,69 @@ +logInAs('admin'); + $client = $this->getClient(); + + $crawler = $client->request('GET', '/import/wallabag-v2'); + + $this->assertEquals(200, $client->getResponse()->getStatusCode()); + $this->assertEquals(1, $crawler->filter('form[name=upload_import_file] > button[type=submit]')->count()); + $this->assertEquals(1, $crawler->filter('input[type=file]')->count()); + } + + public function testImportWallabagWithFile() + { + $this->logInAs('admin'); + $client = $this->getClient(); + + $crawler = $client->request('GET', '/import/wallabag-v2'); + $form = $crawler->filter('form[name=upload_import_file] > button[type=submit]')->form(); + + $file = new UploadedFile(__DIR__.'/../fixtures/wallabag-v2.json', 'wallabag-v2.json'); + + $data = array( + 'upload_import_file[file]' => $file, + ); + + $client->submit($form, $data); + + $this->assertEquals(302, $client->getResponse()->getStatusCode()); + + $crawler = $client->followRedirect(); + + $this->assertGreaterThan(1, $alert = $crawler->filter('div.messages.success')->extract(array('_text'))); + $this->assertContains('Import summary', $alert[0]); + } + + public function testImportWallabagWithEmptyFile() + { + $this->logInAs('admin'); + $client = $this->getClient(); + + $crawler = $client->request('GET', '/import/wallabag-v2'); + $form = $crawler->filter('form[name=upload_import_file] > button[type=submit]')->form(); + + $file = new UploadedFile(__DIR__.'/../fixtures/test.txt', 'test.txt'); + + $data = array( + 'upload_import_file[file]' => $file, + ); + + $client->submit($form, $data); + + $this->assertEquals(302, $client->getResponse()->getStatusCode()); + + $crawler = $client->followRedirect(); + + $this->assertGreaterThan(1, $alert = $crawler->filter('div.messages.success')->extract(array('_text'))); + $this->assertContains('Import failed, please try again', $alert[0]); + } +} diff --git a/src/Wallabag/ImportBundle/Tests/Import/WallabagV1ImportTest.php b/src/Wallabag/ImportBundle/Tests/Import/WallabagV1ImportTest.php index 904834808..1cb5a233f 100644 --- a/src/Wallabag/ImportBundle/Tests/Import/WallabagV1ImportTest.php +++ b/src/Wallabag/ImportBundle/Tests/Import/WallabagV1ImportTest.php @@ -21,17 +21,17 @@ class WallabagV1ImportTest extends \PHPUnit_Framework_TestCase ->disableOriginalConstructor() ->getMock(); - $pocket = new WallabagV1Import($this->em); + $wallabag = new WallabagV1Import($this->em); $this->logHandler = new TestHandler(); $logger = new Logger('test', array($this->logHandler)); - $pocket->setLogger($logger); + $wallabag->setLogger($logger); if (false === $unsetUser) { - $pocket->setUser($this->user); + $wallabag->setUser($this->user); } - return $pocket; + return $wallabag; } public function testInit() @@ -77,7 +77,7 @@ class WallabagV1ImportTest extends \PHPUnit_Framework_TestCase $this->assertFalse($res); $records = $this->logHandler->getRecords(); - $this->assertContains('WallabagV1Import: unable to read file', $records[0]['message']); + $this->assertContains('WallabagImport: unable to read file', $records[0]['message']); $this->assertEquals('ERROR', $records[0]['level_name']); } @@ -91,7 +91,7 @@ class WallabagV1ImportTest extends \PHPUnit_Framework_TestCase $this->assertFalse($res); $records = $this->logHandler->getRecords(); - $this->assertContains('WallabagV1Import: user is not defined', $records[0]['message']); + $this->assertContains('WallabagImport: user is not defined', $records[0]['message']); $this->assertEquals('ERROR', $records[0]['level_name']); } } diff --git a/src/Wallabag/ImportBundle/Tests/Import/WallabagV2ImportTest.php b/src/Wallabag/ImportBundle/Tests/Import/WallabagV2ImportTest.php new file mode 100644 index 000000000..4ebe93bf2 --- /dev/null +++ b/src/Wallabag/ImportBundle/Tests/Import/WallabagV2ImportTest.php @@ -0,0 +1,97 @@ +user = new User(); + + $this->em = $this->getMockBuilder('Doctrine\ORM\EntityManager') + ->disableOriginalConstructor() + ->getMock(); + + $wallabag = new WallabagV2Import($this->em); + + $this->logHandler = new TestHandler(); + $logger = new Logger('test', array($this->logHandler)); + $wallabag->setLogger($logger); + + if (false === $unsetUser) { + $wallabag->setUser($this->user); + } + + return $wallabag; + } + + public function testInit() + { + $wallabagV2Import = $this->getWallabagV2Import(); + + $this->assertEquals('wallabag v2', $wallabagV2Import->getName()); + $this->assertNotEmpty($wallabagV2Import->getUrl()); + $this->assertContains('This importer will import all your wallabag v2 articles.', $wallabagV2Import->getDescription()); + } + + public function testImport() + { + $wallabagV2Import = $this->getWallabagV2Import(); + $wallabagV2Import->setFilepath(__DIR__.'/../fixtures/wallabag-v2.json'); + + $entryRepo = $this->getMockBuilder('Wallabag\CoreBundle\Repository\EntryRepository') + ->disableOriginalConstructor() + ->getMock(); + + $entryRepo->expects($this->exactly(2)) + ->method('findByUrlAndUserId') + ->will($this->onConsecutiveCalls(false, true, false)); + + $this->em + ->expects($this->any()) + ->method('getRepository') + ->willReturn($entryRepo); + + $res = $wallabagV2Import->import(); + + $this->assertTrue($res); + $this->assertEquals(['skipped' => 1, 'imported' => 1], $wallabagV2Import->getSummary()); + } + + public function testImportBadFile() + { + $wallabagV1Import = $this->getWallabagV2Import(); + $wallabagV1Import->setFilepath(__DIR__.'/../fixtures/wallabag-v2.jsonx'); + + $res = $wallabagV1Import->import(); + + $this->assertFalse($res); + + $records = $this->logHandler->getRecords(); + $this->assertContains('WallabagImport: unable to read file', $records[0]['message']); + $this->assertEquals('ERROR', $records[0]['level_name']); + } + + public function testImportUserNotDefined() + { + $wallabagV1Import = $this->getWallabagV2Import(true); + $wallabagV1Import->setFilepath(__DIR__.'/../fixtures/wallabag-v2.json'); + + $res = $wallabagV1Import->import(); + + $this->assertFalse($res); + + $records = $this->logHandler->getRecords(); + $this->assertContains('WallabagImport: user is not defined', $records[0]['message']); + $this->assertEquals('ERROR', $records[0]['level_name']); + } +} diff --git a/src/Wallabag/ImportBundle/Tests/fixtures/wallabag-v2.json b/src/Wallabag/ImportBundle/Tests/fixtures/wallabag-v2.json new file mode 100644 index 000000000..49d782bc5 --- /dev/null +++ b/src/Wallabag/ImportBundle/Tests/fixtures/wallabag-v2.json @@ -0,0 +1 @@ +[{"id":"23","title":"Site d'information fran\u00e7ais d'actualit\u00e9s ind\u00e9pendant et participatif en ligne | Mediapart","url":"https:\/\/www.mediapart.fr\/","is_archived":false,"is_starred":false,"content":"
\u00c9dition CAM\u00e9dia<\/a>\n

Deux nouvelles \u00e9ditions pour d\u00e9battre dans le club sur la la\u00efcit\u00e9 et sur la d\u00e9mocratie<\/a><\/h3>\n

18 janv. 2016 | Par <\/p>\n

CAM\u00e9dia apr\u00e8s un \u00e9change sur \u00ab\u00a0l'\u00e9thique du d\u00e9bat\u00a0\u00bb a lanc\u00e9 deux discussions , l'une sur le th\u00e8me de la la\u00efcit\u00e9, l'autre ( encore en cours) sur celui de la d\u00e9mocratie. Nous sommes heureux de pouvoir signaler la cr\u00e9ation de deux nouvelles \u00e9ditions participatives sur ces th\u00e8mes. Nous vous invitons \u00e0 les lire et \u00e0 participer \u00e0 leurs d\u00e9bats.<\/p>\n<\/div>

\n

De l'importance de r\u00eaver, \u00e9loge du merveilleux<\/a><\/h3>\n

17 janv. 2016 | Par <\/p>\n

Je parlerai ici des r\u00eaves comme moteur de vie, de ces r\u00eaves qui vous rattachent et vous font esp\u00e9rer \u00e0 ce qu\u2019il y a de plus humain dans l\u2019homme, m\u00eame au milieu de la plus noire des d\u00e9tresses.<\/p>\n<\/div>

\n

Fin(s) d'une toute-puissance<\/a><\/h3>\n

18 janv. 2016 | Par <\/p>\n

En ce d\u00e9but d\u2019ann\u00e9e, je recommande la lecture du dernier ouvrage de Guillaume Duval, La France ne sera jamais plus une grande puissance ? Tant mieux !<\/p>\n<\/div>

\n

L\u2019Allier, d\u00e9partement de destruction massive du tissu culturel<\/a><\/h3>\n

18 janv. 2016 | Par <\/p>\n

Les temps sont durs pour les petites structures, les associations culturelles qui, de bourgades en villages, travaillent au c\u0153ur des r\u00e9gions. Leurs subventions sont souvent revues \u00e0 la baisse. Le d\u00e9partement de l\u2019Allier les a carr\u00e9ment supprim\u00e9es. Pour favoriser \u00ab l\u2019\u00e9v\u00e9nementiel \u00bb.<\/p>\n<\/div>

\u00c9dition Les invit\u00e9s de Mediapart<\/a>\n

La d\u00e9mocratie d\u00e9j\u00e0 attaqu\u00e9e par la coop\u00e9ration r\u00e9glementaire transatlantique<\/a><\/h3>\n

18 janv. 2016 | Par <\/p>\n

Lora Verheecke et David Lundy travaillent pour Corporate Europe Observatory, une ONG bas\u00e9e \u00e0 Bruxelles qui enqu\u00eate sur le pouvoir des lobbies des grandes entreprises sur la politique de l\u2019Union europ\u00e9enne. Ils r\u00e9v\u00e8lent que depuis 25 ans le projet de \u00ab coop\u00e9ration r\u00e9glementaire \u00bb men\u00e9 par l\u2019Union europ\u00e9enne et les \u00c9tats-Unis a \u00e9t\u00e9 domin\u00e9 par les grandes entreprises. ET que le TTIP cherche \u00e0 ent\u00e9riner ce projet.<\/p>\n<\/div>

\n

2016, une ann\u00e9e test pour Jacob Zuma et son gouvernement<\/a><\/h3>\n

18 janv. 2016 | Par <\/p>\n

Les turbulences de l\u2019an pass\u00e9 ont toutes les chances de continuer \u00e0 troubler le climat politique et social de l\u2019Afrique du Sud en 2016. La situation exige des changements profonds dans la conduite des affaires du pays. Jacob Zuma tout en admettant la n\u00e9cessit\u00e9 de ces changements, est-il l\u2019homme de la situation ? Son gouvernement r\u00e9pondra-t-il aux attentes des citoyens sud-africains ?<\/p>\n<\/div>

\n

Un mal fou (janvier 2016)<\/a><\/h3>\n

14 janv. 2016 | Par <\/p>\n

J\u2019ai une fringale d\u2019aventure, d\u2019aventures \u00e0 venir. J\u2019ai la fringale de la fringale des aventures et soudain, rupture. Je n\u2019y arrive plus, tout est bloqu\u00e9, tout emp\u00each\u00e9. Faut dire que depuis un an environ, tout est devenu plus compliqu\u00e9. Ecrire va de moins en moins de soi.<\/p>\n<\/div>

\n

Redoublement : le changement \u00e0 bas bruit ?<\/a><\/h3>\n

17 janv. 2016 | Par <\/p>\n

S\u2019il est une caract\u00e9ristique de la forme scolaire fran\u00e7aise bien \u00e9tablie dans la culture des personnels, des \u00e9l\u00e8ves et des parents, c\u2019est bien le redoublement, cens\u00e9 sanctionner des r\u00e9sultats insuffisants pour envisager le passage dans la classe sup\u00e9rieure. Or, en ce domaine, l\u2019\u00e9volution est nette.<\/p>\n<\/div>

\n

Samedi-sciences (196): des chasseurs de mammouths en Arctique il y a 45 000 ans<\/a><\/h3>\n

16 janv. 2016 | Par Michel de Pracontal<\/a><\/p>\n

Les restes d\u2019un mammouth retrouv\u00e9s en Arctique sib\u00e9rien, dat\u00e9s de 45 000 ans, portent les traces de blessures inflig\u00e9es par des chasseurs humains. Les scientifiques pensaient jusqu\u2019ici que notre esp\u00e8ce ne s\u2019\u00e9tait pas aventur\u00e9e dans cette r\u00e9gion glaciale il y a plus de 30 000 ou 35 0000 ans. En r\u00e9alit\u00e9, des hommes ont r\u00e9ussi \u00e0 survivre en Arctique au moins 10 000 ans plus t\u00f4t que l\u2019on croyait.<\/p>\n<\/div>

\n

De la d\u00e9mocratie, du citoyen et de l'\u00e9thique<\/a><\/h3>\n

14 janv. 2016 | Par <\/p>\n

Trois ouvrages sont parus au Seuil, qui font \u00e9tat de la n\u00e9cessit\u00e9 d\u2019int\u00e9grer le citoyen dans la gouvernance de la nation. Non pas \u00e0 titre consultatif mais dot\u00e9 d\u2019un pouvoir d\u00e9lib\u00e9ratif pour constituer une contre-force face aux clans politico-financiers qui dominent la vie publique.<\/p>\n<\/div>","mimetype":"text\/html","language":"fr","reading_time":3,"domain_name":"www.mediapart.fr","preview_picture":"https:\/\/www.mediapart.fr\/images\/social\/800\/mediapart.png","tags":[]},{"id":22,"title":"R\u00e9fugi\u00e9s: l'UE va cr\u00e9er 100\u00a0000\u00a0places d'accueil dans les Balkans","url":"http:\/\/www.liberation.fr\/planete\/2015\/10\/26\/refugies-l-ue-va-creer-100-000-places-d-accueil-dans-les-balkans_1408867","is_archived":false,"is_starred":false,"content":"

Pour un sommet sur les r\u00e9fugi\u00e9s qui devait se concentrer sur des \u00abmesures op\u00e9rationnelles imm\u00e9diates\u00bb<\/em> dans les Balkans, la r\u00e9union, dimanche \u00e0 Bruxelles, de 11\u00a0chefs d\u2019Etat et de gouvernement, dont 8 Europ\u00e9ens, a \u00e9t\u00e9 agit\u00e9e. D\u00e8s leur arriv\u00e9e, Viktor\u00a0Orb\u00e1n (Hongrie) et\u00a0Al\u00e9xis Ts\u00edpras (Gr\u00e8ce) se sont jet\u00e9 des anath\u00e8mes. Le Premier ministre grec a d\u00e9nonc\u00e9 l\u2019attitude \u00abnot in my backyard\u00bb<\/em> (pas de \u00e7a chez moi) de certains Etats europ\u00e9ens, alors que son pays est montr\u00e9 du doigt par d\u2019autres dirigeants, dont\u00a0Orb\u00e1n\u00a0: ils reprochent \u00e0 la Gr\u00e8ce de ne pas suffisamment contr\u00f4ler ses fronti\u00e8res avec la Turquie et ne pas montrer assez de z\u00e8le dans l\u2019enregistrement des demandeurs d\u2019asile.<\/p>\n

Le sommet, convoqu\u00e9 par la Commission europ\u00e9enne, sur suggestion de l\u2019Allemagne, aura au moins permis \u00e0 ces 11\u00a0Etats \u2013\u00a0Autriche, Bulgarie, Croatie, Allemagne, Gr\u00e8ce, Hongrie, Roumanie, Slov\u00e9nie c\u00f4t\u00e9 europ\u00e9en, et 3 pays \u00abnon UE\u00bb, Albanie, Mac\u00e9doine et Serbie\u00a0\u2013 de discuter ensemble.<\/p>\n

400\u00a0policiers europ\u00e9ens en Slov\u00e9nie<\/h3>\n

L\u2019objectif, rappel\u00e9 par Angela Merkel, \u00e9tait de trouver une \u00abr\u00e9ponse coordonn\u00e9e\u00bb<\/em> \u00e0 la crise des r\u00e9fugi\u00e9s. Quelques mesures ont \u00e9t\u00e9 annonc\u00e9es\u00a0: 100\u00a0000\u00a0places d\u2019accueil seront cr\u00e9\u00e9es, dont 50\u00a0000 en Gr\u00e8ce, et le reste le long de la route des Balkans.\u00a0400\u00a0officiers de police de pays europ\u00e9ens partiront en Slov\u00e9nie, actuellement submerg\u00e9e, pour aider au contr\u00f4le des fronti\u00e8res. Frontex, l\u2019agence europ\u00e9enne de surveillance des fronti\u00e8res, s\u2019impliquera aux fronti\u00e8res gr\u00e9co-mac\u00e9donienne et gr\u00e9co-albanaise pour des contr\u00f4les et identifications.<\/p>\n

Ce sommet est intervenu dans un contexte de fortes tensions, marqu\u00e9 par des fermetures de fronti\u00e8res bloquant les r\u00e9fugi\u00e9s dans des zones tampon. Ces obstacles ont \u00e9t\u00e9 partiellement lev\u00e9s ces derniers jours, les autorit\u00e9s tentant d\u2019organiser un \u00abcorridor\u00bb informel vers l\u2019Allemagne, qui pourtant durcit sa politique d\u2019accueil et souhaite d\u00e9sormais ralentir le flux. Mais la situation des r\u00e9fugi\u00e9s est catastrophique. L\u2019ONG Human Rights Watch craint que des r\u00e9fugi\u00e9s ne meurent dans les Balkans. Des groupes de centaines, voire de milliers de personnes, bloqu\u00e9s pr\u00e8s des postes-fronti\u00e8res, se retrouvent dans des conditions humanitaires intenables.<\/p>\n

Depuis mi-septembre, 250\u00a0000\u00a0personnes ont travers\u00e9 les Balkans. En une semaine, la Slov\u00e9nie a vu 60\u00a0000\u00a0r\u00e9fugi\u00e9s fouler le sol de son territoire. Dimanche, 15\u00a0000\u00a0personnes ont transit\u00e9 en Slov\u00e9nie.<\/p>\n

Des zones tampon<\/h3>\n

L\u2019enjeu principal du sommet, aux yeux de nombreux Etats de l\u2019Union europ\u00e9enne, \u00e9tait aussi que les pays des Balkans \u00abprennent leur part\u00bb<\/em> face \u00e0 la crise\u00a0: qu\u2019ils accueillent et enregistrent davantage de r\u00e9fugi\u00e9s. Ces Etats craignent que l\u2019Autriche ou l\u2019Allemagne ne ferment leurs fronti\u00e8res et fassent de leurs pays des \u00abzones tampon\u00bb<\/em>, comme s\u2019en inqui\u00e9tait Boyko Borissov, Premier ministre bulgare.<\/p>\n

\u00ab\u00a0Aujourd\u2019hui, plusieurs Etats du nord de l\u2019Europe veulent que l\u2019on enregistre les migrants puis que l\u2019on d\u00e9termine leur \u00e9ligibilit\u00e9 au statut de r\u00e9fugi\u00e9,<\/em> explique Marc Pierini, du think tank Carnegie Europe. La difficult\u00e9, c\u2019est que les gens sont en mouvement. Pour le faire, il faut se poser quelque part. La crainte des pays interm\u00e9diaires, donc ceux des Balkans, est qu\u2019on enregistre ces personnes sur leur territoire et qu\u2019ils soient contraints de rester sur leur sol. Donc les pays des Balkans ne sont pas d\u00e9sireux d\u2019accueillir ces r\u00e9fugi\u00e9s et ces derniers veulent avancer.\u00bb<\/em><\/p>\n

Le sommet a \u00e9labor\u00e9 quelques principes. L\u2019id\u00e9e g\u00e9n\u00e9rale est de rendre effective la \u00ablogique de hotspot\u00bb\u00a0: un enregistrement des demandeurs d\u2019asile \u00e0 leur point d\u2019entr\u00e9e dans l\u2019Union europ\u00e9enne, suivi de l\u2019expulsion de ceux qui ne correspondraient pas aux crit\u00e8res de la Convention de Gen\u00e8ve, et la r\u00e9partition des autres, via le m\u00e9canisme de relocalisation.<\/p>\n

Dans ce cadre, l\u2019enregistrement des demandeurs d\u2019asile est un \u00e9l\u00e9ment cl\u00e9. \u00abPas d\u2019enregistrement, pas de droit\u00bb<\/em>, a pr\u00e9venu le pr\u00e9sident de la Commission europ\u00e9enne, Jean-Claude Juncker, dimanche soir. Les Etats ont tenu \u00e0 rappeler que les migrants qui refusent de demander l\u2019asile \u00e0 la fronti\u00e8re peuvent se voir refuser l\u2019entr\u00e9e dans un pays.<\/p>\n

Et les Etats \u00abd\u00e9courageront les mouvements de r\u00e9fugi\u00e9s\u00bb<\/em> de fronti\u00e8re en fronti\u00e8re. La politique consistant \u00e0 laisser passer les migrants vers un autre pays est officiellement jug\u00e9e \u00abinacceptable\u00bb<\/em>.<\/p>\n

Se jeter dans la gueule du loup<\/h3>\n

Voil\u00e0 pour la th\u00e9orie. En pratique, la relocalisation ne devrait concerner que 160\u00a0000\u00a0r\u00e9fugi\u00e9s en deux\u00a0ans, alors que pr\u00e8s de 700\u00a0000\u00a0personnes sont arriv\u00e9es en Europe depuis le d\u00e9but de l\u2019ann\u00e9e. De plus, les Etats ne jouent pas le jeu. La semaine pass\u00e9e, seules 854\u00a0places de relocalisation avaient \u00e9t\u00e9 propos\u00e9es.<\/p>\n

Dans ce contexte, il est probable que les Etats des Balkans ne s\u2019impliqueront pas outre mesure dans les solutions propos\u00e9es, craignant de devoir \u00abgarder\u00bb les r\u00e9fugi\u00e9s alors que l\u2019Union europ\u00e9enne tarde \u00e0 mettre en \u0153uvre leur r\u00e9partition.<\/p>\n

Quant aux r\u00e9fugi\u00e9s, ils pr\u00e9f\u00e8rent traverser les fronti\u00e8res par eux-m\u00eames, plut\u00f4t que de se jeter dans ces \u00abhotspots\u00bb, consid\u00e9r\u00e9s comme la gueule du loup.<\/p>\nC\u00e9dric Vallet<\/a>","mimetype":"text\/html","language":"fr","reading_time":4,"domain_name":"www.liberation.fr","preview_picture":"http:\/\/md1.libe.com\/photo\/820275-migrants-et-refugies-se-dirigent-vers-la-frontiere-entre-la-slovenie-et-l-autriche-le-23-octobre-201.jpg?modified_at=1445855324&width=750","tags":[]}]