Семантическая раскраска текстов в html и React


Добавить разметку в текст руками легко. Можно на сайте, можно сделать поиск с заменой в Notepad++ или в Atom.

Если это 1 текст. Если текстов много, хочется иметь инструмент для выделения фрагментов текста html-тегами или формирование исходного кода для React.

На Питоне это не сложно (несколько строк кода на цвет).

alt

Если вы знаете Питон и регулярные выражения, переходите по ссылке.

Там и примеры, и исходные коды. Ниже подробное описание.

Разметка текста на примере раскраски исходного кода на Javascript


Рассмотрим функцию:

def jsToHtml(s):

На входе исходный текст javascript, возвращает html.

Задаем переменные, определяющие атрибуты блоков. В примере для наглядности используются стили, в дальнейшем логичней заменить их на классы.

comm = 'style="color: red;"' # цвет для комментариев
blue = 'style="color: blue;"' # синий
...

Разметка.

Первое, что нужно сделать - это заэкранировать символы '&', '<', '>'

s = s.replace('&', '&amp;').replace('<', '&lt;').replace('>', '&gt;')

'&' экранируется, чтобы правильно отображать буквосочетания '&lt;', '&gt;' и прочие '&...;',

Символы '<', '>' экранируются, чтобы не конфликтовать с тэгами.

Можно много чего заэкранировать, но, на мой взгляд, в utf-8 этого достаточно.

    Алгоритм разметки:

  • Берем re-шаблон и ищем все фрагменты текста, которые ему удовлетворяют.

  • Вырезаем каждый фрагмент, добавляем к нему разметку и сохраняем размеченный фрагмент в массиве (заодно сохраняем оригинальный текст: пригодится).

  • На его место вставляем заглушку с номером.

  • И так для каждого цвета.

  • Когда все раскрашено, заменяем заглушки на раскрашенные фрагменты из массива.


Заглушка должна быть уникальной, но у нас же в тексте нет ни одного символа '<' и ни одного '>'.

Делаем заглушку:

f'<{i}>'

где i – номер заглушки. Такого в тексте точно нет.

Что делать, если внутри фрагмента уже есть заглушка?

Например, в исходном тексте были строки:

` пример вложенности: строка /* а в ней комментарий */ `
/* комментарий, ` а в нем строка ` */

Вариантов 2:
  1. Проигнорировать. В этом случае строка будет иметь двойной окрас.

  2. Найти вложенные заглушки и заменить их на исходный (неразмеченный) текст.


Делаем функцию, которая все это реализует (10 строк кода, 10 строк комментария):

def oneRe(reStr, s, attr, ls, multiColor=False):
'''
Ищет в исходной строке s нужные блоки, добавляет в них разметку и сохраняет результат в массиве ls,
на их место вставляет заглушки с номерами (<0>, <1> ...<1528>...).
Возвращает результат в виде строки с заглушками.

reStr - re
s - строка
attr - атрибуты style/class/etc
ls - массив с разметкой
multiColor=False, если надо убрать вложенную разметку
'''

for block in set(re.findall(reStr, s)):
toArr = block
if not multiColor: # если multiColor==False, убрать вложенную разметку
for prev in set(re.findall(r'<[\d]+>', block)): # ищем вложенность: <0> ... <21>
iPrev = int(prev[1:-1], 10) # выделяем номер строки в массиве
toArr = toArr.replace(prev, ls[iPrev][1]) # в строке '<0> qwe <21>' заменяем ссылки(<0>,<21>) на первонач. значения
ls.append([f'<span {attr}>{toArr}</span>', toArr]) # в каждом элеменете массива ls 2 элемента: размеченный текст и оригинал
s = s.replace(block, f'<{len(ls)-1}>')
return s

Это демонстрационный пример: разметка регулярных выражений может быть некорректной, экранированные символы (\', \") не обрабатываются.

Для справки: выражение:

s = s.replace(/A + B/g, 'A - B');

в редакторах Notepad++ и в Atom раскрашено по разному.

Теперь, когда есть oneRe, раскраска фрагментов делается просто. Пример, раскрашивающий строки в апострофах и кавычках:

s = oneRe(r"'[\s\S]*?'", s, green, ls, multiColor=False) # убираем из кода 'строки' в массив ls
s = oneRe(r'"[\s\S]*?"', s, green, ls, multiColor=False) # убираем из кода "строки" в массив ls

Пример боле сложной раскраски. Нужно в js раскрасить выражения в многостроках
`многострочная строка с выражениями ${A + B} и ${A - B}`


for mStr in set(re.findall(r'`[\s\S]+?`', s)): # раскраска переменных внутри многострок
newFstr = mStr
for val in set(re.findall(r"\$\{[\s\S]+?\}", mStr)):
ls.append([f'<span {darkRed}>{val}</span>', val])
newFstr = newFstr.replace(val, f'<{i}>')
i += 1
s = s.replace(mStr, newFstr)

s = oneRe(r'`[\s\S]+?`', s, green, ls, multiColor=True) # убираем из кода `многостроки` в массив ls

сначала находим многосторки:

re.findall(r'`[\s\S]+?`', s) возвращает список блоков текста между символами обратных кавычек.

Каждый блок содержит либо пробелы, либо не пробелы ([\s\S] т.е. что угодно).

Длина блока 1 или более (+).

Без жадности ("?" означает, что символа "`" внутри блока нет).

Копируем найденный блок(переменная mStr) в переменную newFstr.
Находим в блоке подблоки с выражениями ${...}.

re.findall(r"\$\{[\s\S]*?\}", mStr) возвращает список таких подблоков. Сохраняем разметку в массиве ls и заменяем подблок на заглушку в переменной newFstr.
Когда подблоки кончатся, заменяем в исходной строке s первоначальное значение блока на новое.

Set не лишний. Если findall вернет несколько одинаковых блоков, при обработке первого блока в исходном тексте заменятся на заглушки сразу все одинаковые. При обработке второго такого же блока его уже не будет в исходном тексте. Set убирает дублирование.

Файл jsToHtml.py
# -*- coding: utf-8 -*-
'''
AON 2020

'''


import re

# *** *** ***

def oneRe(reStr, s, attr, ls, multiColor=False):
'''
Ищет в исходной строке s нужные блоки, добавляет в них разметку и сохраняет результат в массиве ls,
на их место вставляет заглушки с номерами (<0>, <1> ...<1528>...).
Возвращает результат в виде строки с заглушками.

reStr - re
s - строка
attr - атрибуты style/class/etc
ls - массив с разметкой
multiColor=False, если надо убрать вложенную разметку
'''

i = len(ls) # номер очередной заглушки
for block in set(re.findall(reStr, s)):
toArr = block
if not multiColor: # если multiColor==False, убрать вложенную разметку
for prev in set(re.findall(r'<[\d]+>', block)): # ищем вложенность: <0> ... <21>
iPrev = int(prev[1:-1], 10) # выделяем номер строки в массиве
toArr = toArr.replace(prev, ls[iPrev][1]) # в строке '<0> qwe <21>' заменяем ссылки(<0>,<21>) на первонач. значения
ls.append([f'<span {attr}>{toArr}</span>', toArr]) # в каждом элеменете массива ls 2 элемента: размеченный текст и оригинал
s = s.replace(block, f'<{i}>') # заменяем блок текста на зауглушку с номером
i += 1
return s

# *** *** ***

def operColor(s, ls, color):
'''
раскрашивает операторы.
Должна вызываться последней, когда в тексте не осталось ни строк, ни комментариев
'''

i = len(ls)
for c in ['&lt;=', '&gt;=', '=&lt;', '=&gt;', '&lt;', '&gt;', '&amp;&amp;', '&amp;',
'===', '!==', '==', '!=', '+=', '-=', '++', '--', '||']:
ls.append([f'<span {color}>{c}</span>',0])
s = s.replace(c, f'<{i}>')
i += 1
for c in '!|=+-?:,.[](){}%*/':
ls.append([f'<span {color}>{c}</span>',0])
s = s.replace(c, f'<{i}>')
i += 1
return s

# *** *** ***

def jsToHtml(s):
'''
Демонстрационный раскрасчик кода.
Заменяет строки, комментарии и ключевые слова на элементы разметки <span>.
'''


black = '''style="font-family: 'Courier New', monospace;
background: #fff;
color: black;
font-weight: bold;
border: 1px solid #ddd;
padding: 5px;
text-align: left;
white-space: pre;"'''

comm = 'style="color: red;"'
green = 'style="color: green; font-style: italic;"'
blue = 'style="color: blue;"'
red2 = 'style="color: #840;"'

s = s.replace('&', '&amp;amp;').replace('<', &amp;'&amp;lt;').replace('>', '&amp;gt;') # экранируем символы '&', '<', '>'

ls = []

i = 0
for mStr in set(re.findall(r'`[\s\S]+?`', s)): # раскраска переменных внутри многострок
newFstr = mStr
for val in set(re.findall(r"\$\{[\s\S]+?\}", mStr)):
ls.append([f'<span {darkRed}>{val}</span>', val])
newFstr =newFstr.replace(val, f'<{i}>')
i += 1
s = s.replace(mStr, newFstr)

s = oneRe(r'`[\s\S]+?`', s, green, ls, multiColor=True) # убираем из кода `многостроки` в массив ls
s = oneRe(r"'[\s\S]*?'", s, green, ls, multiColor=False) # убираем из кода 'строки' в массив ls
s = oneRe(r'"[\s\S]*?"', s, green, ls, multiColor=False) # убираем из кода "строки" в массив ls
s = oneRe(r'/[\s\S].*?/g\b', s, green, ls, multiColor=False) # убираем из кода re-строки в массив ls
s = oneRe(r'/[\s\S].*?/\.', s, green, ls, multiColor=False) # убираем из кода re-строки в массив ls
s = oneRe(r'/\*[\s\S]+?\*/', s, comm, ls, multiColor=False) # убираем из кода /* комментарии */ в массив ls (лучший цвет - красный)
s = oneRe(r'//[\s\S]*?\n', s, comm, ls, multiColor=False) # убираем из кода // комментарии в массив ls (лучший цвет - красный)

i = len(ls)

# теперь можно раскрасить синтаксис
for c in ['new', 'JSON', 'Promise', 'then', 'catch', 'let', 'const', 'var', 'true', 'false', 'class', 'from', 'import', 'set', 'list', 'for', 'in', 'if', 'else', 'return', 'null']:
ls.append([f'<span {blue}>{c}</span>',0])
s = re.sub (r'\b%s\b' % c, f'<{i}>', s)
i += 1

# теперь можно раскрасить мои переменные
for c in ['window', 'doc', 'cmd', 'init','init2', 'recalc', 'hide', 'readOnly', 'validate']:
ls.append([f'<span {darkRed}>{c}</span>',0])
s = re.sub (r'\b%s\b' % c, f'<{i}>', s)
i += 1

s = operColor(s, ls, darkBlue) # теперь можно раскрасить операторы

for j in range(len(ls), 0, -1): # восстанавливаем операторы, переменные, комментарии, строки с новым окрасом
s = s.replace(f'<{j-1}>', ls[j-1][0])

return f'<div {black}>{s}</div>'

# *** *** ***


Преобразованме Html в React


Преобразовать html в исходный код React можно на сайте htmltoreact.com. Там же есть ссылка на GitHub.

Меня это не устроило: во первых он формирует не совсем то, что мне надо, во вторых – как я это чудо затащу к себе на сервер.

Написал свой.

Устанавливаем библиотеку lxml (pip install lxml или pip3 install lxml).

Импортируем:

from xml.dom.minidom import parseString
from lxml import html, etree

Преобразуем html-текст в xhtml-текст. Это почти одно и то же, но все теги закрыты.

doc = html.fromstring(htmlText)
ht = etree.tostring(doc, encoding='utf-8').decode()

Полученный xhtml парсим в дом-дерево с помощью минидома.

dom = parseString(ht)

Делаем функцию, которая рекурсивно скачет по нодам и формирует результат в виде исходного кода React.

Dom-дерево после вызова parseString – это нода-папа, у которай есть ноды-дети , у которых есть еще дети и т.д.

Каждая нода – это словарь, содержащий ее описание:


  • nodeName - имя ноды, строка

  • childNodes - ноды-дети, список

  • attributes- атрибуты, словарь

  • У ноды с названием #text есть nodeValue(строка)


Пример:

<div class="A" style="color: red;">Red of course,<br>Сэр</div>

После преобразований получим словарь:
{ 'nodeName':'div',
'attributes': {'style': 'color: red;', 'class': 'A'},
'childNodes': [
{'nodeName':'#text', 'nodeValue': 'Red of course,'},
{'nodeName':'br'},
{'nodeName':'#text', 'nodeValue': 'Сэр'},
],
}

Преобразовать dom в строку несложно (есть pprint), я написал функцию htmlToReact.
При формировании React-кода, class заменяется на className,
формируется атрибут style так, как хочет React,
в текстовых нодах экранируются '{', '}', '<', '>'.

Файл htmlToReact.py

# -*- coding: utf-8 -*-

from xml.dom.minidom import parseString
from lxml import html, etree

# *** *** ***

_react = ''

def htmlToReact(buf):
'''
buf - html-строка
возвращает ReactJS-строку
'''

global _react
_react = ''

try:
r = re.search('<[\\s\\S]+>', buf)
if r:
doc = html.fromstring(r.group(0))
ht = etree.tostring(doc, encoding='utf-8').decode()
xHtmlToReact(parseString(ht).childNodes[0], '')
return _react
else:
return '<empty/>'
except Exception as ex:
s = f'htmlToReact: \n{ex}'
print(s)
return s

# *** *** ***

def sU(a, c):
'''
xlink:show -> xlinkShow
font-weight -> fontWeight
'''

l, _, r = a.partition(c)
return ( (l + r[0].upper() + r[1:]) if r else a).strip()

# *** *** ***

def xHtmlToReact(n, shift='\n '):
'''
Нужен для показа реакт-кода
на входе нода, рекурсия по нодам с заменой минусов на upperCase
результат формирует в global переменной _react
'''

global _react

if n.nodeName.lower() in ['head', 'script']:
return

_react += shift + '<' + n.nodeName.lower()
if n.attributes:
for k, v in n.attributes.items():
if k == 'style':
style = ''
for s in v.split(';'):
if s.strip():
l, _, r = s.partition(':')
style += f'''{sU(l, '-')}: "{r.strip()}", '''
if style:
_react += ' style={{' + style + '}}'
elif k == 'class':
_react += f' className="{v}"'
else:
kk = k.replace('xlink:href', 'href') # deprcated
_react += f''' {sU( sU(kk, ':'), '-' )}="{v}"'''

_react += '>'
if n.childNodes:
for child in n.childNodes:
if child.nodeName == '#text':
tx = child.nodeValue
for x in ['{', '}', '<', '>']:
tx = tx.replace(x, '{"' + x + '"_{_')
tx = tx.replace('_{_', '}')
if tx[-1] == ' ':
tx = tx[:-1] + '\xa0'
_react += tx.replace('\n', '<br/>')
else:
xHtmlToReact(child)

_react += f'{shift}</{n.nodeName.lower()}>'

# *** *** ***



Примеры и исходные тексты здесь.

P.S. На сайтах раскраска питоновского кода (а может и других) не идеальна.
Если в питоновской строке есть буквосочетание &amp;, оно отображается как &.