Archive for August 2018

Wie kann man m3u8 Dateien in Powershell herunterladen

30 August 2018

Leider ist m3u8 kein eindeutig definiertes Format. Aber es wird oft für Streaming von MP4 und ähnlichen verwendet.

Hier ein einfaches Beispiel wie man die Teile aus einer .m3u8-Datei mittels Powershell herunterladen kann:

$m3u8 = "http://irgendwoher.net/Video.m3u8"
$m3u8Local = ".\video.m3u8"
Invoke-WebRequest -UseBasicParsing –Uri $m3u8 –OutFile $m3u8Local

Die m3u8-Datei besteht dann aus irgendwelchen Textzeilen:

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:7
#EXT-X-MEDIA-SEQUENCE:1
#EXT-X-PLAYLIST-TYPE:VOD
#EXTINF:6.006,
afis4sqr_00103518-16×9-720p-720p-3000k_00001.ts
#EXTINF:6.006,
afis4sqr_00103518-16×9-720p-720p-3000k_00002.ts
#EXTINF:6.006,
afis4sqr_00103518-16×9-720p-720p-3000k_00003.ts
#EXT-X-ENDLIST

Die TS-Dateien sind Sequenzen aus der MP4-Datei. Man erhält alle TS-Eintragungen z. B. so:

$ts = Get-Content $m3u8Local | where {$_ -notmatch "#.*"}

Damit werden alle Kommentarzeilen, die mit # beginnen entfernt.

Nun muss man aus $m3u8 Url den Stammpfad ermitteln.

$url = $m3u8.Substring(0,$m3u8.LastIndexOf(‚/‘))

Nun kann man mit dem Stammpfad von $m3u8 und den TS-Dateinamen die einzelnen Teile herunterladen:

$ts | % {Invoke-Webrequest -UseBasicParsing -Uri "$url/$_" -OutFile $_ -Verbose}

Um am Ende aus den einzelnen .TS-Dateien eine komplette .MP4-Datei zu bekommen kann man z. B. FFMPEG benutzen: https://www.ffmpeg.org/download.html. So bekommt man mit diesem Aufruf eine MP4-Datei:

.\ffmpeg.exe –i $m3u8Local -c copy -bsf:a aac_adtstoasc video.mp4

Man hätte aber auch hergehen können und gleich alles ffmpeg überlassen Zwinkerndes Smiley:

ffmpeg –i $m3u8 -c copy -bsf:a aac_adtstoasc .\video.mp4

Aber über den Umweg Powershell war es doch viel schöner. Vor allem hat die Powershell-Lösung auch den Vorteil, dass man die Headerzeilen und den Agenten verändern kann, falls nötig. Ach? Das geht mit ffmpeg auch? Na egal…

Advertisements

Automatisches Konvertieren von MBR-Bootfestplatten in GPT-Bootfestplatten in Windows, besonders auch für Hyper-V VMs

26 August 2018

Seit einigen Jahren gibt es immer mehr UEFI-Systeme. Was aber macht man, wenn man noch auf alter Master-Boot-Record Technologie, kurz MBR basierende Systeme hat? Windows 10 bringt seit der Version v1703 ein neues Programm Namens MBR2GPT.EXE mit. Mittels dieses Programms kann man eine Konvertierung vollautomatisiert durchführen.

Hier die gute und ausführliche Dokumentation von MS: https://docs.microsoft.com/en-us/windows/deployment/mbr-to-gpt. Im Normalfall geht man her, bootet ein Windows PE und führt dann MBR2GPT.EXE aus. Vor dem ersten Start von der konvertierten Festplatte muss man noch im UEFI-BIOS evtl. Einstellungen für den erfolgreichen Start mittels UEFI ändern.

Wie kann man dies nun auf virtuelle Maschinen vom Hyper-V anwenden? Muss man auch extra von WinPE booten oder gibt es eine Offline-Lösung? Tatsächlich gibt es diese, man kann also seine VHD oder VHDX-Images von MBR auf GPT-Partition umstellen, damit wird auch der Umstieg von Generation1-VMs auf Generation2-VMs möglich.

Die folgenden Schritte führt man also alle auf einem Host-System und nicht unter Windows PE durch. Zuerst geht man her und holt sich den Pfad der zu konvertierenden VHD-Datei:

$VMName = "win10Gen1"
$vm=get-vm $VMName
$vm.HardDrives[0].Path

Dann bindet man die VHD-Datei ein und ermittelt die zugehörige Disknummer:

Mount-VHD $vm.HardDrives[0].Path
$disk=get-disk|where location -eq $vm.HardDrives[0].Path
$disk.disknumber

Nun kann man prüfen, ob eine Konvertierung möglich ist:

.\MBR2GPT.EXE /allowFullOS /Validate /disk:$($disk.disknumber)

Dabei ist wichtig /allowFullOS anzugeben, da wir unter einem vollen Windows arbeiten. Wenn alles glatt geht, bekommt man z. B. diese Ausgabe:

MBR2GPT: Attempting to validate disk 1
MBR2GPT: Retrieving layout of disk
MBR2GPT: Validating layout, disk sector size is: 512 bytes
MBR2GPT: Validation completed successfully

Nun kann man den eigentlichen Vorgang starten:

.\MBR2GPT.EXE /allowFullOS /Convert /disk:$($disk.disknumber)

und erhält nach Fertigstellung ungefähr diese Ausgabe:

MBR2GPT will now attempt to convert disk 1.
If conversion is successful the disk can only be booted in GPT mode.
These changes cannot be undone!

MBR2GPT: Attempting to convert disk 1
MBR2GPT: Retrieving layout of disk
MBR2GPT: Validating layout, disk sector size is: 512 bytes
MBR2GPT: Trying to shrink the system partition
MBR2GPT: Trying to shrink the OS partition
MBR2GPT: Creating the EFI system partition
MBR2GPT: Installing the new boot files
MBR2GPT: Performing the layout conversion
MBR2GPT: Migrating default boot entry
MBR2GPT: Adding recovery boot entry
MBR2GPT: Fixing drive letter mapping
MBR2GPT: Conversion completed successfully
MBR2GPT: Before the new system can boot properly you need to switch the firmware to boot to UEFI mode!

Nach diesem Vorgang muss nur noch die VHD-Datei getrennt werden:

Dismount-VHD $vm.HardDrives[0].Path

Nun muss man nur noch eine VM der Generation 2 erstellen und obige VHD-Datei dort einbinden und schon bootet man von GPT und kann nun sogar SecureBoot aktivieren.

Falls es Probleme mit MBR2GPT gibt, sei noch auf die beiden Dateien setuperr.log und setupact.log verwiesen, welche sich in C:\Windows befinden und nähere Infos für evtl. Probleme enthalten. Vor allem die setupact.log enthält viele Details zum Vorgang was MBR2GPT.EXE eigentlich so alles veranstaltet.

Schade ist allerdings, dass MBR2GPT.EXE nicht im Microsoft Hyper-V Server enthalten ist, leider auch nicht in der aktuellen Preview des kommenden Hyper-V Servers. Stellt sich aber die Frage, ob man die Version von Windows 10 benutzen kann? Kann man! MBR2GPT.EXE ist eine reine 64-Bit-Anwendung somit unter Microsoft Hyper-V Server einsetzbar. Es scheint genauso wie auf Windows 10 zu funktionieren, sobald man /allowFullOS angibt läuft es.

Jetzt fehlt eigentlich nur noch ein Script, welches eine VM Generation 1 hernimmt und in eine VM Generation 2 automatisch konvertiert.

S.M.A.R.T Daten von Festplatten und SSDs abfragen

25 August 2018

Falls man Probleme mit Festplatten bekommt, dann helfen oft genauere Informationen zum Problem. Hier bin ich schon Mal kurz auf dieses Thema eingegangen: https://newyear2006.wordpress.com/2016/10/31/laufwerk-unter-windows-auf-mgliche-probleme-prfen/. Im Zweifel benötigt man aber mehr Daten oder noch besser eine Möglichkeit direkt ein Gerät prüfen zu können. Seit Jahren gibt es die Open Source Software SmartMonTools https://sourceforge.net/projects/smartmontools/. Sie ist auf allen bekannten System verfügbar. Für spezielle Einsatzbereiche z. B. beim Microsoft Hyper-V Server gibt es sogar extra eine reine 64-Bit Version. Das tolle an SmartMonTools ist, dass diese aktiv gepflegt werden und nun anfangen NVME-Geräte mit abzudecken.

Installation
Die aktuelle Version ladet man sich am zuverlässigsten beim Github-Mirror herunter: https://github.com/smartmontools/smartmontools/releases. Man bekommt zwar eine Setup-EXE heruntergeladen, muss diese aber nicht ausführen und kann statt dessen direkt mit 7Zip die benötigten Dateien herausholen. Im Grunde wird nur SmartCtl.exe benötigt.

Übersicht verfügbarer Laufwerke
Um eine Übersicht der ansprechbaren Laufwerke zu bekommen, ruft man

.\smartctl.exe –scan

auf und erhält z. B.

/dev/sda -d ata # /dev/sda, ATA device
/dev/sdb -d ata # /dev/sdb, ATA device
/dev/sdc -d ata # /dev/sdc, ATA device
/dev/sdd -d ata # /dev/sdd, ATA device
/dev/sde -d ata # /dev/sde, ATA device
/dev/sdf -d ata # /dev/sdf, ATA device
/dev/sdg -d sat # /dev/sdg [SAT], ATA device

angezeigt. Ruft man auf diesem System

Get-PhysicalDisk | select friendlyname, model

in Powershell auf, so erhält man diese Ausgabe

friendlyname  model
————  —–
PhysicalDisk5 WDC WD10JPVT-16A1YT0
PhysicalDisk6 Elements 25A1
PhysicalDisk1 Samsung SSD 850 PRO 1TB
PhysicalDisk4 WDC WD10JPVT-16A1YT0
PhysicalDisk0 INTEL SSDSC2CW480A
PhysicalDisk3 Samsung SSD 840 EVO 1TB
PhysicalDisk2 Samsung SSD 840 EVO 1TB

Das ist ein schönes durcheinander. Wenn man nun aber eine gewisse Interoperabilität haben möchte, muss man einfach dieses Mapping anwenden:

/dev/sda => PhysicalDisk0
/dev/sdb => PhysicalDisk1
/dev/sdc => PhysicalDisk2
usw.

Diese Regel gilt in den meisten Fällen. Ausnahmen sind in der Anleitung unter Windows am Anfang beschrieben.

Um einfacher Skripte mittels Powershell und SmartMonTools schreiben zu können, habe ich dieses Script erstellt:

Damit kann man ganz einfach zwischen den beiden Formaten hin und her konvertieren:

Convert-LinuxDeviceAndWinPhysicalDrive "/dev/sda"

gibt PhysicalDrive0 zurück und

Convert-LinuxDeviceAndWinPhysicalDrive "PyhsicalDrive0"

gibt /dev/sda zurück.

Allgemeine Informationen zu einem Laufwerk abfragen
Bevor man ins Detail geht, möchte man vielleicht sich vergewissern, dass man das richtige Laufwerk bearbeitet oder anschaut, dies erfolgt mit dem Parameter –i

.\smartctl.exe -i /dev/sdb

dabei erhält man z. B. diese Ausgabe:

smartctl 6.6 2017-11-05 r4594 [x86_64-w64-mingw32-2012r2] (sf-6.6-1)
Copyright (C) 2002-17, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Samsung based SSDs
Device Model:     Samsung SSD 850 PRO 1TB
Serial Number:    S222NXBG110522B
LU WWN Device Id: 5 001138 8302afec0
Firmware Version: EXM02B6Q
User Capacity:    1.024.209.543.168 bytes [1,02 TB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    Solid State Device
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-2, ATA8-ACS T13/1699-D revision 4c
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Sat Aug 25 21:04:37 2018 WEDT
SMART support is: Available – device has SMART capability.
SMART support is: Enabled

S.M.A.R.T. Daten abfragen
Will man nun S.M.A.R.T.-Informationen zu einem Laufwerk haben, so kann man ganz einfach

.\smartctl.exe -A /dev/sdb

verwenden. Dies liefert – je nach Laufwerk – z. B. diese Daten:

smartctl 6.6 2017-11-05 r4594 [x86_64-w64-mingw32-2012r2] (sf-6.6-1)
Copyright (C) 2002-17, Bruce Allen, Christian Franke, http://www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 1
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  5 Reallocated_Sector_Ct   0x0033   099   099   010    Pre-fail  Always       -       7
  9 Power_On_Hours          0x0032   096   096   000    Old_age   Always       -       15905
12 Power_Cycle_Count       0x0032   099   099   000    Old_age   Always       -       2
177 Wear_Leveling_Count     0x0013   099   099   000    Pre-fail  Always       -       20
179 Used_Rsvd_Blk_Cnt_Tot   0x0013   099   099   010    Pre-fail  Always       -       7
181 Program_Fail_Cnt_Total  0x0032   100   100   010    Old_age   Always       -       0
182 Erase_Fail_Count_Total  0x0032   100   100   010    Old_age   Always       -       0
183 Runtime_Bad_Block       0x0013   099   099   010    Pre-fail  Always       -       7
187 Uncorrectable_Error_Cnt 0x0032   095   095   000    Old_age   Always       -       49984
190 Airflow_Temperature_Cel 0x0032   079   100   000    Old_age   Always       -       21
195 ECC_Error_Rate          0x001a   199   199   000    Old_age   Always       -       49984
199 CRC_Error_Count         0x003e   100   100   000    Old_age   Always       -       0
235 POR_Recovery_Count      0x0012   100   100   000    Old_age   Always       -       0
241 Total_LBAs_Written      0x0032   099   099   000    Old_age   Always       -       13132430686

Anleitung
Eine umfangreiche Anleitung mit vielen weiteren Beispielen findet sich auf der Wiki Seite, hier der Link zur aktuellen Version: https://www.smartmontools.org/browser/tags/RELEASE_6_6/
smartmontools/smartctl.8.in
. Zur neuesten Fassung – das ist aber die in der Entwicklung befindlichen Version – gelangt man über: https://www.smartmontools.org/browser/trunk/smartmontools/smartctl.8.in

Beim Versuch eine LibreOffice Erweiterung hinzuzufügen kommt die Fehlermeldung “Could not create Java implementation loader”

12 August 2018

Zum Einsatz kam eine recht neue LibreOffice Version 6.1.0.3 unter Windows 10. Installiert werden sollte die Grammatikhilfe LanguageTool. Dieses Add-On ist unter https://languagetool.org/#libreoffice zu finden.

Wenn man nun versucht in LibreOffice unter Extras->Extension Manager die heruntergeladene Erweiterung LanguageTool-4.2.oxt mittels Hinzufügen zu installieren, kann man diese Fehlermeldung erhalten:

Could not create Java implementation loader

Auf der LanguageTool-Seite steht bereits, dass Java 8 benötigt wird. Aber dies alleine reicht nicht aus, denn Java muss auch in LibreOffice aktiviert sein. Dazu ruft man im Menü Extras->Optionen auf und wählt den Eintrag LibreOffice->Erweitert aus. Hier muss man “Eine Java-Laufzeitumgebung verwenden” aktivieren.

Falls nicht bereits eine Laufzeitumgebung mit Version aufgeführt wird, muss diese noch ausgewählt werden. Man klickt auf Hinzufügen und wählt die passende Java-Runtime z. B. aus dem Verzeichnis C:\Programme\Java\jre1.8.0_181. Hier kann es passieren, dass die Plattformen von LibreOffice und Java-Laufzeitumgebung nicht zueinander passen. Dann erhält man diese Meldung:

Der von Ihnen ausgewählte Ordner enthält keine Java-Laufzeitumgebung. Bitte wählen Sie einen anderen Ordner.

D. h. bei einem 32-Bit LibreOffice benötigt man auch eine 32-Bit Java Laufzeitumgebung. Bei einer 64-Bit LibeOffice Version benötigt man die 64-Bit Java Laufzeitumgebung.